Stanford-forskere introducerer AI-udviklingsramme for at tackle pålidelighedsproblemer i LLM'er
Kort sagt
Stanford University afslørede en AI-udviklingsramme, designet til at vurdere kredittildelingen og nøjagtigheden af LLM'er.
For nylig har et team af forskere fra Stanford University er kommet med en ramme til at forstå en måde at give kredit og kontrollere nøjagtigheden af store sprogmodeller (LLM'er).
Mens LLM'er besidder betydelig magt, genererer de lejlighedsvis fejl eller producerer unøjagtige oplysninger, der ligner en form for AI hallucination. De demonstrerer en evne til at fremtrylle imaginære scenarier, hvilket giver svar, der mangler pålidelighed. Det bliver derfor bydende nødvendigt at skelne kilden til informationen, især når modellens output skaber problemer.
Efterhånden som flere virksomheder og tjenester dukker op ved hjælp af store sprogmodeller, afhænger hvor meget vi kan stole på disse modeller af, hvordan vi kan kontrollere og bekræfte deres resultater. Det er vigtigt at finde ud af, hvor informationen kommer fra, især hvis modellens output giver problemer.
Forskere er arbejder på måder at spore kilden, og fokuserede hovedsageligt på to ting:
- Træningsdatatilskrivning (TDA): Forståelse af, hvor modellen har lært sine oplysninger.
- Citation Generation: Sørg for, at modellen giver kredit til de rigtige kilder.
Det er vigtigt at sikre, at begge typer tilskrivninger fungerer godt, at stole på outputtet af disse LLM'er i forskellige situationer i den virkelige verden. Desuden stoppede forskerholdet ikke kun ved teorien; de sætter rammerne på prøve i scenarier i den virkelige verden og viser dens praktiske og anvendelighed. Teamet belyser også situationer, hvor tilskrivninger er et must-have.
Forestil dig at lave juridiske dokumenter - det handler ikke kun om ordene på papir. Intern validitet, som involverer sporing tilbage til modellens træningsdata, er afgørende for at bekræfte, hvor informationen kommer fra, og hvor pålidelig den er. I mellemtiden sikrer ekstern gyldighed, opnået gennem oprettelse af citater, materialet i overensstemmelse med juridiske standarder.
På det medicinske område indtager begge typer tilskrivninger ligeledes en afgørende rolle. De tjener som nøglen til at verificere responsnøjagtighed og forstå oprindelsen, der påvirker modellens medicinske viden. Det ligner at besidde et system, der ikke kun reagerer på forespørgsler, men også belyser dets metodologi, hvilket gør det vigtigt i vitale sektorer som jura og medicin.
Afhjælpning af kritiske huller i AI-sprogmodeller
Undersøgelsen kaster yderligere lys over afgørende huller i eksisterende tilgange, hvilket signalerer et paradigmeskifte i forståelsen af modeltilskrivninger. Den afslører fejljusteringer i Training Data Attribution-metoder (TDA), designet til at identificere forkert mærkede datapunkter eller fejlfinde domænemismatches, som kan komme til kort i omfattende sprogmodelapplikationer.
Risiciene opstår, når TDA markerer træningskilder, der, selvom de synes vigtige, kan være irrelevante for testeksemplets specifikke indhold.
Bekræftende metoder, herunder faktatjek og generering af citater, kommer under lup for ikke at give indsigt i model adfærd. Selvom disse metoder verificerer sandheden af udsendte fakta ved hjælp af eksterne kilder, kan de ikke forklare, hvorfor modellen genererede et bestemt output.
Endelig, efterhånden som sprogmodeller udvides til sundhedsvæsen og jura, understreger undersøgelsen behovet for en mere omfattende tilgang. For juridiske applikationer er en dobbeltstrategi afgørende – bekræftende tilskrivninger sikrer lovoverholdelse, mens bidragende tilskrivninger optrævler nuancer fra uddannelsesdokumenter.
Samlet set afslører Stanford-forskningen ikke kun huller; det driver frem mod en mere ansvarlig og nuanceret æra i sprogmodel AI-applikationer.
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Kumar er en erfaren teknisk journalist med speciale i de dynamiske skæringspunkter mellem AI/ML, marketingteknologi og nye områder som krypto, blockchain og NFTs. Med over 3 års erfaring i branchen har Kumar etableret en dokumenteret track record i at skabe overbevisende fortællinger, udføre indsigtsfulde interviews og levere omfattende indsigt. Kumars ekspertise ligger i at producere indhold med stor gennemslagskraft, herunder artikler, rapporter og forskningspublikationer til fremtrædende industriplatforme. Med et unikt færdighedssæt, der kombinerer teknisk viden og historiefortælling, udmærker Kumar sig ved at kommunikere komplekse teknologiske koncepter til forskellige målgrupper på en klar og engagerende måde.
Flere artikler
Kumar er en erfaren teknisk journalist med speciale i de dynamiske skæringspunkter mellem AI/ML, marketingteknologi og nye områder som krypto, blockchain og NFTs. Med over 3 års erfaring i branchen har Kumar etableret en dokumenteret track record i at skabe overbevisende fortællinger, udføre indsigtsfulde interviews og levere omfattende indsigt. Kumars ekspertise ligger i at producere indhold med stor gennemslagskraft, herunder artikler, rapporter og forskningspublikationer til fremtrædende industriplatforme. Med et unikt færdighedssæt, der kombinerer teknisk viden og historiefortælling, udmærker Kumar sig ved at kommunikere komplekse teknologiske koncepter til forskellige målgrupper på en klar og engagerende måde.
