Dnešné veľké jazykové modely budú podľa výskumníka na malé modely OpenAI
Hyung Won Chung, uznávaný výskumník AI, ktorý bol predtým zamestnaný v Google Brain a v súčasnosti je členom OpenAI tím, predniesol podnetný 45-minútový prejav, v ktorom preskúmal svet veľkých jazykových modelov v roku 2023. Chung má skúsenosti v tejto oblasti; bol prvým autorom článku Google „Škálovanie inštrukcií doladených jazykových modelov,“, ktorá skúma, ako možno veľké jazykové modely trénovať na dodržiavanie pokynov.
Chung zdôrazňuje, že svet rozsiahlych jazykových modelov je dynamický. Vo svete LLM sa hlavný princíp neustále vyvíja, na rozdiel od tradičných oblastí, kde základné predpoklady zvyčajne zostávajú stabilné. S prichádzajúcou generáciou modelov sa môže stať možným to, čo sa v súčasnosti považuje za nemožné alebo nepraktické. Zdôrazňuje význam uvádzania väčšiny tvrdení o schopnostiach LLM výrazom „zatiaľ“. Model môže vykonávať úlohu; len to ešte neurobilo.
Dnešné veľké modely budú o pár rokov malými modelmi
Hyung Won Chung, OpenAI
Potreba dôkladnej dokumentácie a reprodukovateľnosti v výskum AI je jedným z najdôležitejších ponaučení z Chungovho prejavu. Je dôležité dôkladne zdokumentovať prebiehajúcu prácu, ako sa oblasť vyvíja. Táto stratégia zaručuje, že experimenty môžu byť rýchlo replikované a prehodnotené, čo umožňuje výskumníkom stavať na predchádzajúcej práci. Prostredníctvom tejto praxe sa uznáva, že v budúcnosti sa môžu vyvinúť schopnosti, ktoré neboli praktické počas počiatočného výskumu.
Chung venuje časť svojej prednášky objasneniu zložitosti údajov a paralelizmu modelov. Pre tých, ktorí majú záujem hlbšie sa ponoriť do technických aspektov AI, táto časť poskytuje cenné informácie o vnútornom fungovaní týchto techník paralelizmu. Pochopenie týchto mechanizmov je kľúčové pre optimalizáciu modelársky výcvik vo veľkom meradle.
Chung predpokladá, že súčasná cieľová funkcia, maximálna pravdepodobnosť, ktorá sa používa na predbežné školenie LLM, je prekážkou, pokiaľ ide o dosiahnutie skutočne masívneho rozsahu, ako je 10,000 XNUMX-násobok kapacity GPT-4. Ako strojové učenie postupuje, manuálne navrhnuté stratové funkcie sú čoraz obmedzujúcejšie.
Chung naznačuje, že ďalšia paradigma vo vývoji AI zahŕňa funkcie učenia prostredníctvom samostatných algoritmov. Tento prístup, aj keď je v plienkach, je prísľubom škálovateľnosti nad rámec súčasných obmedzení. Zdôrazňuje tiež prebiehajúce úsilie, ako napríklad posilnenie učenia sa z ľudskej spätnej väzby (RLHF) s modelovaním pravidiel, ako kroky týmto smerom, aj keď výzvy, ktoré je ešte potrebné prekonať.
Vylúčenie zodpovednosti
V súlade s Pokyny k projektu Trust, uvedomte si, že informácie uvedené na tejto stránke nie sú zamýšľané a nemali by byť interpretované ako právne, daňové, investičné, finančné alebo iné formy poradenstva. Je dôležité investovať len toľko, koľko si môžete dovoliť stratiť a v prípade akýchkoľvek pochybností vyhľadať nezávislé finančné poradenstvo. Ak chcete získať ďalšie informácie, odporúčame vám pozrieť si zmluvné podmienky, ako aj stránky pomoci a podpory poskytnuté vydavateľom alebo inzerentom. MetaversePost sa zaviazala poskytovať presné a nezaujaté správy, ale podmienky na trhu sa môžu zmeniť bez upozornenia.
O autorovi
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
Ďalšie články
Damir je vedúci tímu, produktový manažér a redaktor v Metaverse Post, pokrývajúce témy ako AI/ML, AGI, LLM, Metaverse a Web3- súvisiace oblasti. Jeho články priťahujú každý mesiac obrovské publikum s viac ako miliónom používateľov. Zdá sa, že je odborníkom s 10-ročnými skúsenosťami v oblasti SEO a digitálneho marketingu. Damir bol spomenutý v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a ďalšie publikácie. Ako digitálny nomád cestuje medzi SAE, Tureckom, Ruskom a SNŠ. Damir získal bakalársky titul z fyziky, o ktorom sa domnieva, že mu dal schopnosti kritického myslenia potrebné na to, aby bol úspešný v neustále sa meniacom prostredí internetu.
