Dagens stora språkmodeller kommer att bli små modeller, enligt en forskare vid OpenAI
Hyung Won Chung, en skicklig AI-forskare som tidigare var anställd av Google Brain och för närvarande är medlem i OpenAI team, höll ett tankeväckande 45-minuters tal där han utforskade världen av stora språkmodeller 2023. Chung har erfarenhet inom området; han var den första författaren till Google-tidningen "Skala instruktionsfinjusterade språkmodeller,” som undersöker hur stora språkmodeller kan tränas att följa instruktioner.
Chung framhåller världen av omfattande språkmodeller som dynamisk. I LLM-världen utvecklas den vägledande principen ständigt, i motsats till traditionella områden där grundläggande antaganden vanligtvis förblir stabila. Med den kommande generationen av modeller kan det som för närvarande anses vara omöjligt eller opraktiskt bli möjligt. Han betonar betydelsen av att inleda de flesta påståenden om LLM-kapacitet med "för nu". En modell kan utföra en uppgift; det har bara inte gjort det än.
Dagens stora modeller kommer att vara små modeller om bara några år
Hyung Won Chung, OpenAI
Behovet av noggrann dokumentation och reproducerbarhet i AI-forskning är en av de viktigaste lärdomarna att dra från Chungs tal. Det är avgörande att noggrant dokumentera det pågående arbetet när fältet utvecklas. Denna strategi garanterar att experiment snabbt kan replikeras och ses över, vilket gör det möjligt för forskare att bygga vidare på tidigare arbete. Genom denna praktik erkänns det att förmågor kan utvecklas i framtiden som inte var praktiska under den inledande forskningen.
Chung ägnar en del av sitt föredrag åt att belysa invecklade data och modellparallellism. För dem som är intresserade av att fördjupa sig djupare i de tekniska aspekterna av AI, ger det här avsnittet värdefulla insikter om hur dessa parallellitetstekniker fungerar. Att förstå dessa mekanismer är avgörande för att optimera storskalig modellutbildning.
Chung hävdar att den nuvarande målfunktionen, Maximum Likelihood, som används för LLM-förträning är en flaskhals när det gäller att uppnå verkligt massiva skalor, såsom 10,000 XNUMX gånger kapaciteten hos GPT-4. Allt eftersom maskininlärning fortskrider blir manuellt designade förlustfunktioner allt mer begränsande.
Chung föreslår att nästa paradigm inom AI-utveckling involverar inlärning av funktioner genom separata algoritmer. Detta tillvägagångssätt, även om det är i sin linda, har löftet om skalbarhet bortom nuvarande begränsningar. Han lyfter också fram pågående ansträngningar, såsom Reinforcement Learning from Human Feedback (RLHF) med Rule Modeling, som steg i denna riktning, även om utmaningar återstår att övervinna.
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
