Istraživači osporavaju ideju 'sposobnosti u nastajanju' velikih jezičnih modela
Ukratko
AGI apokalipsa je zabrinjavajuća zbog fenomena velikih jezičnih modela iznenada demonstracija sposobnosti koje manji modeli kao da nemaju.
Taj se fenomen naziva "mogućnostima u nastajanju velikih jezičnih modela".
Autori članka “Jesu li nove sposobnosti velikih jezičnih modela fatamorgana?” tvrde da učinak novonastalih sposobnosti nije fatamorgana, već predvidljivi rast u sposobnosti obavljanja zadataka.
Oni pokazuju da najmanje 92% Big Bench problema nema iznenadni napredak za velike modele, a kvaliteta njihovih modela raste glatko i predvidljivo kako se veličina modela povećava.
U nedavnom ispitivanju potencijalnih mogućnosti velikih jezičnih modela, istraživači osporavaju pojam "sposobnosti u nastajanju" i bacaju svjetlo na predvidljiviji aspekt njihove funkcionalnosti. Članak pod naslovom „Otkrivanje stvarnosti novih sposobnosti modela velikih jezika” skreće pozornost na pogrešno tumačenje metrike koje je dovelo do pogrešnog uvjerenja da ovi modeli spontano stječu napredne vještine.
Koncept „sposobnosti u nastajanju” u kontekstu velikih jezičnih modela, kao što je GPT serije, potaknuo je zabrinutost u pogledu mogućnosti da ovi modeli razviju nepredviđene sposobnosti slične ljudskoj svijesti. Ovaj dokument tvrdi da su te pretpostavke utemeljene na pogrešnom razumijevanju stvarnog ponašanja i mogućnosti modela.
Često opaženi fenomen, u kojem veći modeli naizgled stječu novootkrivene sposobnosti kao što su apstraktno razmišljanje, rješavanje problema, pa čak i humor, skovan je kao "sposobnosti u nastajanju velikih jezičnih modela". Autori članka tvrde da te sposobnosti nisu tako spontane kao što se čine, već rezultat pogrešne metrike procjene.
Kako bi ilustrirali svoju tvrdnju, istraživači razmatraju zadatak "pogađanja zagonetke", problem u kojem je jezični model potreban da bi razumio zagonetku prirodnog jezika i odgovorio točnim odgovorom na prirodnom jeziku. Tradicionalno se kvaliteta odgovora procjenjuje pomoću binarne metrike: odgovoru se dodjeljuje ocjena 1 ako se točno podudara s točnim odgovorom, a u protivnom rezultat 0.
Srž stvari leži u osjetljivosti metrike na složenost zadatka i broj parametara modela. Istraživači otkrivaju da ova binarna metrika dovodi do a varljiva percepcija "sposobnosti u nastajanju". Manji modeli često pokazuju zanemarivu točnost (eps) na ovoj metrici, dok se čini da veći modeli, posebno oni s velikim brojem parametara, postižu izvanredne razine točnosti (acc > 0.5).
U članku se tvrdi da ova očita promjena u sposobnostima nije indikacija da modeli spontano stječu složene vještine. Umjesto toga, sposobnost modela da razumiju i generiraju nijansiranije odgovore proizlazi iz pedantnije procjene njihovih rezultata. Usredotočujući se na vjerojatnosno podudaranje i semantičku koherenciju, a ne na točna podudaranja nizova, istraživači pokazuju da napredovanje modela u izvedbi slijedi logičniju putanju, bez obzira na njihovu veličinu.
Istraživanje evolucije izvedbe modela s promjenom parametara
U analitičkoj istrazi, istraživači otkrivaju suptilnu mehaniku koja stoji iza percipiranih "sposobnosti u nastajanju" veliki jezični modeli. Studija dovodi u pitanje utjecaj superdiskretnih metrika u procjeni performansi modela i razjašnjava prediktivnije razumijevanje njihovih mogućnosti kako se parametri modela šire.
Prevladavajući pojam "sposobnosti u nastajanju" u ekspanzivnim jezičnim modelima zaokupio je rasprave i pobudio zabrinutost oko potencijalnih otkrića. Ova studija nastoji razdvojiti mehaniku koja je u pozadini ovog fenomena i dešifrirati pokazuju li ovi modeli doista iznenadne, neviđene sposobnosti ili se ta uočena poboljšanja mogu pripisati drugom uzroku.
U središtu studije nalazi se detaljna procjena metrike korištene za mjerenje izvedbe modela. Istraživači tvrde da bi uporaba superdiskretnih metrika, posebice konvencionalne binarne metrike koja određuje točna podudaranja nizova, mogla iskriviti tumačenje velikih sposobnosti jezičnog modela. Studija pomno analizira kako se distribucija vjerojatnosti odgovora generiranih modelom razvija kao skala parametara modela.
Suprotno pojmu "sposobnosti u nastajanju", studija otkriva sustavniji trend. Kako se veličina modela povećava, poboljšava se njegova sposobnost dodjele većih vjerojatnosti odgovarajućim odgovorima, a manjih vjerojatnosti netočnim. To odražava dosljedno poboljšanje sposobnosti modela da vješto rješava probleme u širokom rasponu veličina. U biti, istraživanje sugerira da proces učenja modela slijedi dobrodefined putanja poboljšanja, a ne nagli skok.
Autori uvode promjenu paradigme predlažući zamjenu diskretnih metrika kontinuiranima. Ova promjena nudi jasniju sliku evolucije performansi. Kroz svoju analizu, istraživači utvrđuju da je otprilike 92% od Big Bench problemi pokazuju gladak i predvidljiv rast kvalitete kako se veličina modela povećava. Ovo otkriće dovodi u pitanje ideju da veći modeli doživljavaju iznenadne proboje i umjesto toga naglašava postupniji i očekivaniji napredak.
Studija proširuje svoje uvide kako bi potvrdila svoje tvrdnje. Pokazuje da se isti učinak "sposobnosti u nastajanju" može umjetno simulirati korištenjem konvencionalnih autokodera, sugerirajući da izbor metrike značajno utječe na percipirane rezultate. Ovo otkriće proširuje opseg implikacija studije, pokazujući njenu relevantnost izvan samih jezičnih modela.
Istraživači naglašavaju da njihovi rezultati nisu definitivno negiraju potencijal za "sposobnosti u nastajanju" ili svijest u velikim jezičnim modelima. Međutim, njihova otkrića potiču istraživače da pristupe takvim tvrdnjama s nijansiranom perspektivom. Umjesto ishitrene ekstrapolacije i oblikovanja ekstremnih zaključaka, studija naglašava važnost detaljnog istraživanja i sveobuhvatne analize.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
