Pētnieki apstrīd lielo valodu modeļu jēdzienu “jaunās spējas”.
Īsumā
AGI apokalipse rada bažas, jo pēkšņi rodas lieli valodu modeļi spēju demonstrēšana kuru mazākiem modeļiem, šķiet, nav.
Šo parādību sauc par “lielo valodu modeļu jaunām spējām”.
Raksta "Vai lielo valodu modeļu jaunās spējas ir mirāža?" apgalvo, ka jauno spēju ietekme nav mirāža, bet gan paredzama izaugsme spējas veikt uzdevumus.
Tie parāda, ka vismaz 92% Big Bench problēmu nav pēkšņa izrāviena lieliem modeļiem, un to modeļu kvalitāte aug vienmērīgi un paredzami, palielinoties modeļu izmēram.
Nesen pārbaudot lielo valodu modeļu iespējamās iespējas, pētnieki apstrīd jēdzienu “jaunās spējas” un atklāj to funkcionalitātes paredzamāku aspektu. Raksts ar nosaukumu "Lielo valodu modeļu jauno spēju realitātes atklāšana” pievērš uzmanību nepareizai metrikas interpretācijai, kas ir radījusi nepareizu priekšstatu, ka šie modeļi spontāni apgūst progresīvas prasmes.
Jēdziens “topošās spējas” kontekstā ar lieliem valodas modeļiem, piemēram, GPT sērija, ir radījusi bažas par šo modeļu potenciālu attīstīt neparedzētas spējas, kas līdzīgas cilvēka apziņai. Šajā rakstā tiek apgalvots, ka šie pieņēmumi ir balstīti uz kļūdainu izpratni par modeļu faktisko uzvedību un iespējām.
Bieži novērotā parādība, kad lielāki modeļi šķietami iegūst jaunas prasmes, piemēram, abstraktu spriešanu, problēmu risināšanu un pat humoru, ir radīta kā "lielo valodu modeļu jaunās spējas". Raksta autori apgalvo, ka šīs spējas nav tik spontānas, kā šķiet, bet gan maldinošas novērtēšanas metrikas rezultāts.
Lai ilustrētu savu domu, pētnieki uzskata uzdevumu “uzminēt mīklu” — problēmu, kurā valodas modelim ir nepieciešams saprast dabiskās valodas mīklu un atbildēt ar pareizo atbildi dabiskajā valodā. Tradicionāli atbilžu kvalitāte tiek novērtēta, izmantojot bināro metriku: atbildei tiek piešķirts vērtējums 1, ja tā precīzi atbilst pareizajai atbildei, un 0, pretējā gadījumā.
Lietas būtība ir metrikas jutīgumā pret uzdevuma sarežģītību un modeļa parametru skaitu. Pētnieki atklāj, ka šī binārā metrika noved pie a maldinoša uztvere par "jaunajām spējām". Mazākiem modeļiem šajā rādītājā bieži ir nenozīmīga precizitāte (EPS), savukārt lielāki modeļi, īpaši tie, kuriem ir liels parametru skaits, sasniedz ievērojamu precizitātes līmeni (acc > 0.5).
Rakstā tiek apgalvots, ka šī šķietamā spēju maiņa neliecina par modeļiem, kas spontāni apgūst sarežģītas prasmes. Tā vietā modeļu spēja izprast un radīt niansētākas atbildes izriet no rūpīgāka to rezultātu novērtējuma. Koncentrējoties uz varbūtības saskaņošanu un semantisko saskaņotību, nevis precīzu virkņu atbilstību, pētnieki parāda, ka modeļu progresēšana izpildījumā iet pa loģiskāku trajektoriju neatkarīgi no to lieluma.
Modeļa veiktspējas evolūcijas izpēte ar mainīgiem parametriem
Analītiskā izmeklēšanā pētnieki atklāj smalko mehāniku, kas slēpjas aiz uztvertajām "jaunajām spējām". lieli valodu modeļi. Pētījumā tiek apšaubīta superdiskrētu metrikas ietekme modeļa veiktspējas novērtēšanā un tiek noskaidrota paredzamāka izpratne par to iespējām, palielinoties modeļa parametriem.
Ekspansīvos valodu modeļos dominējošais jēdziens “jaunās spējas” ir izraisījis diskusijas un radījis bažas par iespējamiem sasniegumiem. Šī pētījuma mērķis ir atdalīt mehāniku, kas ir šīs parādības pamatā, un atšifrēt, vai šiem modeļiem patiešām ir pēkšņas, nepieredzētas iespējas vai arī šos uztvertos sasniegumus var attiecināt uz citu iemeslu.
Pētījuma pamatā ir rūpīgs to metrikas novērtējums, ko izmanto, lai novērtētu modeļa veiktspēju. Pētnieki apgalvo, ka superdiskrētu metrikas, īpaši parastās binārās metrikas, kas nosaka precīzu virkņu atbilstību, izmantošana var izkropļot lielu valodas modeļa spējas. Pētījumā rūpīgi analizēts, kā modeļa ģenerēto atbilžu varbūtības sadalījums attīstās kā modeļa parametru skala.
Pretēji jēdzienam “jaunās spējas”, pētījums atklāj sistemātiskāku tendenci. Pieaugot modeļa lielumam, uzlabojas tā spēja atbilstošām atbildēm piešķirt lielākas varbūtības, bet nepareizām – mazākas. Tas atspoguļo konsekventu modeļa uzlabošanos, lai pareizi atrisinātu problēmas plašā izmēru diapazonā. Būtībā pētījums liecina, ka modeļu mācīšanās process notiek labidefined uzlabošanās trajektoriju, nevis pēkšņu lēcienu.
Autori ievieš paradigmas maiņu, ierosinot aizstāt diskrētos rādītājus ar nepārtrauktiem. Šīs izmaiņas sniedz skaidrāku priekšstatu par veiktspējas attīstību. Veicot analīzi, pētnieki noskaidro, ka aptuveni 92% no Big Bench problēmas uzrāda vienmērīgu un paredzamu kvalitātes pieaugumu, palielinoties modeļa izmēram. Šis atklājums apstrīd priekšstatu, ka lielāki modeļi piedzīvo pēkšņus sasniegumus, un tā vietā izceļ pakāpeniskāku un paredzamāku progresu.
Pētījums paplašina savu ieskatu, lai apstiprinātu savus apgalvojumus. Tas parāda, ka to pašu “jauno spēju” efektu var mākslīgi simulēt, izmantojot parastos autokodētājus, kas liecina, ka metrikas izvēle būtiski ietekmē uztvertos rezultātus. Šī atklāsme paplašina pētījuma seku jomu, demonstrējot tā nozīmīgumu ārpus valodas modeļiem vien.
Pētnieki uzsver, ka viņu rezultāti nav definitīvi noliegt “jauno spēju” vai apziņas potenciālu lielos valodu modeļos. Tomēr viņu atklājumi mudina pētniekus pievērsties šādiem apgalvojumiem ar niansētu perspektīvu. Tā vietā, lai steigā ekstrapolētu un izdarītu ārkārtējus secinājumus, pētījums uzsver rūpīgas izmeklēšanas un visaptverošas analīzes nozīmi.
Lasiet vairāk par AI:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
