Pasak mokslininko, šiandieniniai dideli kalbų modeliai bus maži modeliai OpenAI
Hyung Won Chung, patyręs dirbtinio intelekto tyrinėtojas, anksčiau dirbęs „Google Brain“ ir šiuo metu šios organizacijos narys. OpenAI komanda pasakė susimąstyti skatinančią 45 minučių kalbą, kurioje tyrinėjo didžiųjų kalbų modelių pasaulį 2023 m. Chungas turi patirties šioje srityje; jis buvo pirmasis „Google“ dokumento autoriusInstrukcijų mastelio keitimo pakoreguoti kalbų modeliai,“, kuriame nagrinėjama, kaip didelius kalbos modelius galima išmokyti laikytis instrukcijų.
Chungas pabrėžia, kad plačių kalbos modelių pasaulis yra dinamiškas. LLM pasaulyje pagrindinis principas nuolat kinta, priešingai nei tradicinėse srityse, kuriose pagrindinės prielaidos paprastai išlieka stabilios. Su būsimos kartos modeliais gali tapti įmanoma tai, kas šiuo metu laikoma neįmanoma arba nepraktiška. Jis pabrėžia, kad daugumos teiginių apie LLM galimybes svarbu pasakyti „kol kas“. Modelis gali atlikti užduotį; tiesiog to dar nepadarė.
Dideli šių dienų modeliai bus maži modeliai tik po kelerių metų
Hyung Won Chung, OpenAI
Reikia kruopštaus dokumentavimo ir atkuriamumo AI tyrimai yra viena iš svarbiausių Chungo kalbos pamokų. Labai svarbu kruopščiai dokumentuoti vykdomą darbą, kai sritis vystosi. Ši strategija garantuoja, kad eksperimentai gali būti greitai atkartojami ir peržiūrimi, o tai leidžia tyrėjams remtis ankstesniais darbais. Taikant šią praktiką pripažįstama, kad ateityje gali atsirasti galimybių, kurios nebuvo praktiškos atliekant pradinį tyrimą.
Chungas dalį savo kalbos skiria duomenų ir modelio lygiagretumo subtilybėms išsiaiškinti. Tiems, kurie nori gilintis į techninius AI aspektus, šiame skyriuje pateikiama vertingų įžvalgų apie vidinį šių lygiagretumo metodų veikimą. Norint optimizuoti, labai svarbu suprasti šiuos mechanizmus didelio masto modelių mokymas.
Chungas teigia, kad dabartinė tikslo funkcija „Maksimali tikimybė“, naudojama LLM išankstiniam mokymui, yra kliūtis, kai reikia pasiekti tikrai didžiulius mastus, pvz., 10,000 XNUMX kartų didesnį GPT-4. Tobulėjant mašininiam mokymuisi, rankiniu būdu sukurtos praradimo funkcijos tampa vis labiau ribojančios.
Chungas teigia, kad kita AI kūrimo paradigma apima mokymosi funkcijas naudojant atskirus algoritmus. Šis metodas, nors ir tik pradiniame etape, žada mastelį, viršijantį dabartinius apribojimus. Jis taip pat pabrėžia nuolatines pastangas, tokias kaip mokymosi iš žmogaus grįžtamojo ryšio (RLHF) su taisyklių modeliavimu, kaip žingsnius šia kryptimi, nors iššūkius dar reikia įveikti.
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
