RagaAI lanserar LLM Hub med öppen källkod för att underlätta utvärdering och säkerhet av språkmodeller
I korthet
RagaAI lanserade "RagaAI LLM Hub", en öppen källkodsplattform för att utvärdera och etablera skyddsräcken för AI-specifika språkmodeller.
AI-testplattform RagaAI meddelade nyligen lanseringen av "RagaAI LLM Hub,” en öppen källkod och företagsklar plattform designad för att utvärdera och etablera skyddsräcken för Stora språkmodeller (LLMs). Med över 100 noggrant utformade mätvärden, syftar plattformen till att förhindra katastrofala misslyckanden i LLMs och Retrieval Augmented Generation (RAG)-applikationer.
RagaAI LLM Hub erbjuder utvecklare och organisationer en robust verktygslåda för att effektivt bedöma och jämföra LLM:er, som täcker viktiga aspekter som relevans och förståelse, innehållskvalitet, Hallucination, Säkerhet och partiskhet, kontextrelevans, skyddsräcken och sårbarhetsskanning. Dessutom tillhandahåller den en svit av metriskt baserade tester för kvantitativ analys.
"Holistisk utvärdering av LLM är ett nyckelkrav i världen av LLM-byggande just nu, eftersom datavetare och företag tar reda på vilken teknik och stack som fungerar för dem. Att diagnostisera ett problem kräver noggrann identifiering av problemet vid källan, och med tanke på hundratals möjliga grundorsaker, kräver det hundratals mätvärden för att fastställa den bakomliggande orsaken.” Gaurav Agarwal, berättade grundaren på RagaAI MPost.
"RagaAI LLM Hubs förmåga till omfattande testning tillför ett betydande värde till en utvecklares arbetsflöde, vilket sparar avgörande tid genom att eliminera ad hoc-analyser och accelerera LLM-utvecklingen med 3x."
RagaAI LLM Hub är utformad för att hantera problem under hela LLM:s livscykel, från proof-of-concept till produktionsapplikationer, och identifierar underliggande problem inom LLM-applikationer och underlättar deras upplösning vid källan, revolutionerande metoder för att säkerställa tillförlitlighet och trovärdighet.
RagaAI hävdar att dess LLM Hub ger denna förmåga genom en rad tester som täcker olika beslutsfattande aspekter:
- Uppmaningar: Den itererar och identifierar optimala uppmaningsmallar samtidigt som skyddsräcken upprättas för att mildra motstridiga attacker.
- Kontexthantering för RAG:er: Det hjälper användare att hitta den optimala balansen mellan LLM-prestanda och kostnad/latens när de arbetar i stor skala.
- Svarsgenerering: Den använder mätvärden för att identifiera hallucinationer i LLM-svar och etablerar skyddsräcken för att förhindra bias, PII-läckage och andra potentiella problem.
Att mildra AI-hallucinationer och bias genom LLM-diagnos
RagaAI LLM Hub hittar applikationer inom olika branscher, inklusive e-handel, finans, marknadsföring, juridik och hälsovård, och stödjer utvecklare och företag i uppgifter som t.ex. chatbots, skapande av innehåll, textsammanfattning och generering av källkod.
Utöver utvärdering, hjälper RagaAI LLM Hub att sätta skyddsräcken för att säkerställa datasekretess och laglig efterlevnad, främja etiska och ansvarig AI praxis, särskilt inom känsliga sektorer som finans, hälsovård och juridik.
"En av våra kunder inom e-handelsområdet använde LLMs för chatbot för kundsupport, och chatboten gav fel svar. Med RagaAI upptäcktes och löstes detta problem framgångsrikt, säger RagaAIs Gaurav Agarwal till MPost. ”Inom sjukförsäkringen är det viktigt att patientens personuppgifter skyddas. Hos en av våra kunder delades en del av den viktiga personliga informationen till tredje part – en enorm datasekretessfråga. Med RagaAI LLM Hub skyddsräcken upptäcktes detta och liknande andra problem i realtid och förhindrades från att hända."
Dessutom syftar det till att minska ryktesrisker genom att följa samhälleliga normer och värderingar.
"RagaAI hjälper till att sätta skyddsräcken som detektering av personligt identifierbar information (PII) i LLM-svar. Detta säkerställer att inga personuppgifter från interna dokument någonsin läcker ut av LLM-applikationen och är avgörande för Responsible AI”, förklarade Gaurav Agarwal. "Detta och andra skyddsräcken som att säkerställa opartiska och rättvisa svar, att inte kommentera konkurrenter och ta bort Material Non Public Information (MNPI) är avgörande för företag eftersom de försöker undvika samhälls- och rykteskada."
Lanseringen av RagaAI LLM Hub följer på en framgångsrik $ 4.7 miljoner i en såddfinansieringsrunda i januari 2024 ledd av pi Ventures, för att utöka sin AI-forskning, utveckling och kundbas över hela USA och Europa.
"Vårt mål är att tillhandahålla den bästa tekniken för att göra LLM:er pålitliga och pålitliga. Det investerar avsevärt för att bygga nyckelteknologier för att hantera kvalitetssäkringsaspekter på LLM. Att göra den här tekniken öppen källkod är vår strävan i riktning mot att göra denna tillgänglig för alla för utvecklargemenskapen att bygga på bästa tillgängliga lösning, säger Gaurav Agarwal.
Ansvarsfriskrivning
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Victor är Managing Tech Editor/Writer på Metaverse Post och täcker artificiell intelligens, krypto, datavetenskap, metaverse och cybersäkerhet inom företagssfären. Han har ett halvt decennium av media- och AI-erfarenhet av att arbeta på välkända medier som VentureBeat, DatatechVibe och Analytics India Magazine. Som mediamentor vid prestigefyllda universitet inklusive Oxford och USC och med en magisterexamen i datavetenskap och analys, är Victor djupt engagerad i att hålla sig à jour med nya trender. Han erbjuder läsarna de senaste och mest insiktsfulla berättelserna från Tech och Web3 landskap.
fler artiklar
Victor är Managing Tech Editor/Writer på Metaverse Post och täcker artificiell intelligens, krypto, datavetenskap, metaverse och cybersäkerhet inom företagssfären. Han har ett halvt decennium av media- och AI-erfarenhet av att arbeta på välkända medier som VentureBeat, DatatechVibe och Analytics India Magazine. Som mediamentor vid prestigefyllda universitet inklusive Oxford och USC och med en magisterexamen i datavetenskap och analys, är Victor djupt engagerad i att hålla sig à jour med nya trender. Han erbjuder läsarna de senaste och mest insiktsfulla berättelserna från Tech och Web3 landskap.
