Dagens store sprogmodeller vil være små modeller, ifølge en forsker ved OpenAI
Hyung Won Chung, en dygtig AI-forsker, som tidligere var ansat af Google Brain og i øjeblikket er medlem af OpenAI team, holdt en tankevækkende 45-minutters tale, hvor han udforskede verden af store sprogmodeller i 2023. Chung har erfaring på området; han var den første forfatter til Google-avisen "Skalering af instruktionsfintunede sprogmodeller,” som undersøger, hvordan store sprogmodeller kan trænes til at følge instruktioner.
Chung fremhæver verden af omfattende sprogmodeller som værende dynamisk. I LLM'ernes verden udvikler det ledende princip sig konstant, i modsætning til traditionelle felter, hvor grundlæggende antagelser typisk forbliver stabile. Med den kommende generation af modeller kan det, der i øjeblikket menes at være umuligt eller upraktisk, blive muligt. Han understreger betydningen af at indlede de fleste påstande om LLM-kapaciteter med "for nu". En model kan udføre en opgave; det har den bare ikke gjort endnu.
Store modeller af i dag vil være små modeller om kun få år
Hyung Won Chung, OpenAI
Behovet for omhyggelig dokumentation og reproducerbarhed i AI forskning er en af de vigtigste lektioner, man kan lære af Chungs tale. Det er afgørende at grundigt dokumentere det igangværende arbejde, efterhånden som feltet udvikler sig. Denne strategi garanterer, at eksperimenter hurtigt kan replikeres og genbesøges, hvilket gør det muligt for forskere at bygge videre på tidligere arbejde. Gennem denne praksis erkendes det, at der i fremtiden kan udvikle sig evner, som ikke var praktiske under den indledende forskning.
Chung dedikerer en del af sin tale til at belyse forviklingerne af data og modelparallelisme. For dem, der er interesseret i at dykke dybere ned i de tekniske aspekter af kunstig intelligens, giver dette afsnit værdifuld indsigt i den indre funktion af disse parallelitetsteknikker. Forståelse af disse mekanismer er afgørende for optimering modeluddannelse i stor skala.
Chung hævder, at den nuværende målfunktion, Maximum Likelihood, der bruges til LLM-fortræning er en flaskehals, når det kommer til at opnå virkelig massive skalaer, såsom 10,000 gange kapaciteten af GPT-4. Efterhånden som maskinlæring skrider frem, bliver manuelt designede tabsfunktioner mere og mere begrænsende.
Chung foreslår, at det næste paradigme i AI-udvikling involverer læringsfunktioner gennem separate algoritmer. Denne tilgang, selvom den er i sin vorden, rummer løftet om skalerbarhed ud over de nuværende begrænsninger. Han fremhæver også igangværende bestræbelser, såsom Reinforcement Learning from Human Feedback (RLHF) med Rule Modeling, som skridt i denne retning, selvom der stadig er udfordringer, der skal overvindes.
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
