Šodienas lielie valodu modeļi būs mazi modeļi, norāda pētnieks vietnē OpenAI
Hyung Won Chung, izcils mākslīgā intelekta pētnieks, kurš iepriekš strādāja Google Brain un pašlaik ir OpenAI komanda, sniedza pārdomas rosinošu 45 minūšu runu, kurā viņš pētīja lielo valodu modeļu pasauli 2023. gadā. Čungam ir pieredze šajā jomā; viņš bija pirmais Google papīra autorsMērogošanas instrukcija, precizēti valodu modeļi,”, kurā tiek pētīts, kā lielus valodu modeļus var apmācīt ievērot norādījumus.
Chung uzsver plašu valodu modeļu pasauli kā dinamisku. LLM pasaulē vadošais princips pastāvīgi attīstās, atšķirībā no tradicionālajām jomām, kur fundamentālie pieņēmumi parasti paliek stabili. Ar gaidāmo modeļu paaudzi var kļūt iespējams tas, kas pašlaik tiek uzskatīts par neiespējamu vai nepraktisku. Viņš uzsver nozīmi, kāda ir lielākajai daļai apgalvojumu par LLM iespējām priekšā ar “pagaidām”. Modelis var veikt uzdevumu; tas vienkārši vēl nav to izdarījis.
Lielie mūsdienu modeļi būs mazi modeļi tikai pēc dažiem gadiem
Hyung Won Chung, OpenAI
Nepieciešamība pēc rūpīgas dokumentācijas un reproducējamības AI pētījumi ir viena no svarīgākajām mācībām, kas jāgūst no Čuna runas. Ir ļoti svarīgi rūpīgi dokumentēt notiekošo darbu, jomai attīstoties. Šī stratēģija garantē, ka eksperimentus var ātri atkārtot un pārskatīt, ļaujot pētniekiem izmantot agrāko darbu. Izmantojot šo praksi, tiek atzīts, ka nākotnē var attīstīties iespējas, kas sākotnējā pētījuma laikā nebija praktiskas.
Čungs daļu savas runas velta datu un modeļu paralēlisma sarežģītības izskaidrošanai. Tiem, kas vēlas iedziļināties AI tehniskajos aspektos, šī sadaļa sniedz vērtīgu ieskatu šo paralēlisma paņēmienu iekšējā darbībā. Izpratne par šiem mehānismiem ir ļoti svarīga optimizēšanai liela mēroga modeļu apmācība.
Chung uzskata, ka pašreizējā mērķa funkcija Maksimālā iespējamība, ko izmanto LLM iepriekšējai apmācībai, ir vājš kakls, lai sasniegtu patiesi masīvus mērogus, piemēram, 10,000 XNUMX reižu lielāku jaudu. GPT-4. Mašīnmācībai attīstoties, manuāli izstrādātās zaudēšanas funkcijas kļūst arvien ierobežotākas.
Chung ierosina, ka nākamā AI izstrādes paradigma ietver mācīšanās funkcijas, izmantojot atsevišķus algoritmus. Lai gan šī pieeja ir sākumstadijā, tā sola mērogojamību, kas pārsniedz pašreizējos ierobežojumus. Viņš arī uzsver notiekošos centienus, piemēram, mācīšanos no cilvēku atgriezeniskās saites (RLHF) ar noteikumu modelēšanu, kā pasākumus šajā virzienā, lai gan joprojām ir jāpārvar problēmas.
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
