Današnji veliki jezikovni modeli bodo majhni modeli, pravi raziskovalec na OpenAI
Hyung Won Chung, uspešen raziskovalec AI, ki je bil prej zaposlen pri Google Brain in je trenutno član OpenAI ekipa, je imel 45-minutni govor, ki spodbuja k razmišljanju, v katerem je raziskoval svet velikih jezikovnih modelov leta 2023. Chung ima izkušnje na tem področju; bil je prvi avtor Googlovega dokumentaScaling Instruction-Finetined Language Models,”, ki preučuje, kako je mogoče velike jezikovne modele usposobiti za sledenje navodilom.
Chung poudarja, da je svet obsežnih jezikovnih modelov dinamičen. V svetu LLM se vodilno načelo nenehno razvija, v nasprotju s tradicionalnimi področji, kjer temeljne predpostavke običajno ostajajo stabilne. S prihajajočo generacijo modelov bo morda postalo mogoče tisto, kar trenutno velja za nemogoče ali nepraktično. Poudarja pomen uvoda večine trditev o zmožnostih LLM z "za zdaj". Model lahko opravi nalogo; samo tega še ni storilo.
Današnji veliki modeli bodo čez nekaj let majhni modeli
Hyung Won Chung, OpenAI
Potreba po natančni dokumentaciji in ponovljivosti v Raziskave AI je ena najpomembnejših lekcij, ki se jih lahko naučimo iz Chungovega govora. Ključnega pomena je temeljito dokumentiranje tekočega dela, ko se področje razvija. Ta strategija zagotavlja, da je mogoče poskuse hitro ponoviti in ponovno pregledati, kar raziskovalcem omogoča, da gradijo na prejšnjem delu. S to prakso je priznano, da se lahko v prihodnosti razvijejo zmogljivosti, ki med prvotnimi raziskavami niso bile praktične.
Chung posveti del svojega govora razjasnitvi zapletenosti podatkov in vzporednosti modelov. Za tiste, ki se želijo poglobiti v tehnične vidike umetne inteligence, ta razdelek ponuja dragocen vpogled v notranje delovanje teh tehnik paralelizma. Razumevanje teh mehanizmov je ključnega pomena za optimizacijo usposabljanje modelov velikega obsega.
Chung trdi, da je trenutna ciljna funkcija, največja verjetnost, ki se uporablja za predusposabljanje LLM, ozko grlo, ko gre za doseganje resnično ogromnih lestvic, kot je 10,000-kratna zmogljivost GPT-4. Z napredovanjem strojnega učenja postajajo ročno zasnovane funkcije izgube vedno bolj omejujoče.
Chung predlaga, da naslednja paradigma v razvoju AI vključuje učne funkcije prek ločenih algoritmov. Ta pristop, čeprav je v povojih, obeta razširljivost, ki presega trenutne omejitve. Kot korake v tej smeri poudarja tudi stalna prizadevanja, kot je krepitev učenja iz človeških povratnih informacij (RLHF) z modeliranjem pravil, čeprav je treba premagati še izzive.
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
