Dnešní velké jazykové modely budou podle výzkumníka na malé modely OpenAI
Hyung Won Chung, uznávaný výzkumník AI, který byl dříve zaměstnán společností Google Brain a v současnosti je členem OpenAI týmu, přednesl podnětný 45minutový projev, ve kterém prozkoumal svět velkých jazykových modelů v roce 2023. Chung má v oboru zkušenosti; byl prvním autorem dokumentu Google „Škálování instrukcí vyladěných jazykových modelů,“, která zkoumá, jak lze velké jazykové modely trénovat, aby se řídily pokyny.
Chung zdůrazňuje, že svět rozsáhlých jazykových modelů je dynamický. Ve světě LLM se hlavní princip neustále vyvíjí, na rozdíl od tradičních oborů, kde základní předpoklady obvykle zůstávají stabilní. S nadcházející generací modelů se může stát možným to, co je v současnosti považováno za nemožné nebo nepraktické. Zdůrazňuje, že je důležité u většiny tvrzení o schopnostech LLM uvést „prozatím“. Model může vykonávat úkol; prostě to ještě neudělalo.
Velké modely dneška budou za pár let malými modely
Hyung Won Chung, OpenAI
Potřeba pečlivé dokumentace a reprodukovatelnosti v výzkum AI je jednou z nejdůležitějších lekcí, které si lze z Chungovy řeči vzít. Je důležité důkladně dokumentovat probíhající práci, jak se pole vyvíjí. Tato strategie zaručuje, že experimenty mohou být rychle replikovány a znovu navštěvovány, což výzkumníkům umožňuje stavět na dřívější práci. Prostřednictvím této praxe se uznává, že se v budoucnu mohou vyvinout schopnosti, které nebyly praktické během počátečního výzkumu.
Chung věnuje část své přednášky objasnění složitosti dat a paralelismu modelů. Pro ty, kteří se chtějí ponořit hlouběji do technických aspektů umělé inteligence, poskytuje tato část cenné poznatky o vnitřním fungování těchto technik paralelismu. Pochopení těchto mechanismů je pro optimalizaci klíčové modelářský výcvik ve velkém měřítku.
Chung předpokládá, že současná cílová funkce, maximální pravděpodobnost, používaná pro předškolení LLM, je úzkým hrdlem, pokud jde o dosažení skutečně masivních měřítek, jako je 10,000 XNUMXkrát větší kapacita GPT-4. Jak strojové učení postupuje, manuálně navržené ztrátové funkce jsou stále více omezující.
Chung naznačuje, že další paradigma ve vývoji AI zahrnuje funkce učení prostřednictvím samostatných algoritmů. Tento přístup, i když je v plenkách, je příslibem škálovatelnosti nad rámec současných omezení. Zdůrazňuje také pokračující úsilí, jako je posílení učení z lidské zpětné vazby (RLHF) s modelováním pravidel, jako kroky tímto směrem, i když je třeba překonat problémy.
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
