Aadressi teadlase sõnul on tänapäevased suured keelemudelid väikesed mudelid OpenAI
Hyung Won Chung, kogenud tehisintellekti teadlane, kes töötas varem Google Brainis ja on praegu selle organisatsiooni liige. OpenAI meeskond, pidas mõtlemapaneva 45-minutilise kõne, milles uuris suurte keelemudelite maailma aastal 2023. Chungil on selles valdkonnas kogemusi; ta oli Google'i artikli esimene autorJuhendi peenhäälestatud keelemudelite skaleerimine,”, mis uurib, kuidas suuri keelemudeleid saab õpetada juhiseid järgima.
Chung rõhutab ulatuslike keelemudelite maailma kui dünaamilist. LLM-ide maailmas areneb juhtpõhimõte pidevalt, erinevalt traditsioonilistest valdkondadest, kus põhieeldused jäävad tavaliselt stabiilseks. Tulevase mudelipõlvkonnaga võib võimalikuks saada see, mida praegu peetakse võimatuks või ebapraktiliseks. Ta rõhutab, kui oluline on lisada enamikule väidetele LLM-i võimete kohta sõna "praegu". Modell saab ülesande täita; lihtsalt pole seda veel teinud.
Tänapäeva suured mudelid on vaid mõne aasta pärast väikesed
Hyung Won Chung, OpenAI
Vajadus põhjaliku dokumentatsiooni ja reprodutseeritavuse järele AI-uuringud on üks olulisemaid õppetunde, mida Chungi kõnest õppida. Väga oluline on valdkonna arenedes käimasolevat tööd põhjalikult dokumenteerida. See strateegia tagab, et katseid saab kiiresti korrata ja uuesti üle vaadata, võimaldades teadlastel varasemale tööle tugineda. Selle praktika kaudu tunnistatakse, et tulevikus võivad areneda võimalused, mis ei olnud esialgse uurimistöö ajal praktilised.
Chung pühendab osa oma kõnest andmete ja mudeli paralleelsuse keerukuse selgitamisele. Neile, kes soovivad süveneda AI tehnilistesse aspektidesse, pakub see jaotis väärtuslikku teavet nende paralleelsustehnikate sisemise toimimise kohta. Nende mehhanismide mõistmine on optimeerimise jaoks ülioluline suuremahuline mudelikoolitus.
Chung väidab, et praegune LLM-i eelkoolituse jaoks kasutatav sihtfunktsioon Maximum Likelihood on kitsaskoht, kui on vaja saavutada tõeliselt massiivseid mastaape, näiteks 10,000 XNUMX korda suuremat mahtu. GPT-4. Masinõppe edenedes muutuvad käsitsi kavandatud kadufunktsioonid üha piiravamaks.
Chung soovitab, et AI arendamise järgmine paradigma hõlmab õppimisfunktsioone eraldi algoritmide kaudu. Kuigi see lähenemine on alles lapsekingades, lubab see mastaapsust ületada praegused piirangud. Ta rõhutab ka käimasolevaid jõupingutusi, nagu inimeste tagasisidest õppimise tugevdamine (RLHF) reeglite modelleerimisega, kui sammud selles suunas, kuigi väljakutseid tuleb veel ületada.
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
