Raziskovalci izpodbijajo idejo o 'nastajajočih sposobnostih' velikih jezikovnih modelov
Na kratko
Apokalipsa AGI je zaskrbljujoča zaradi nenadnega pojava velikih jezikovnih modelov izkazovanje sposobnosti ki jih manjši modeli nimajo.
Ta pojav se imenuje "nastajajoče zmožnosti velikih jezikovnih modelov."
Avtorji članka "Ali so nove sposobnosti velikih jezikovnih modelov privid?" trdijo, da učinek nastajajočih sposobnosti ni fatamorgana, temveč predvidljiva rast sposobnosti za opravljanje nalog.
Pokažejo, da vsaj 92 % problemov Big Bench pri velikih modelih nima nenadnega preboja, kakovost njihovih modelov pa raste gladko in predvidljivo z večanjem velikosti modelov.
V nedavnem pregledu potencialnih zmožnosti velikih jezikovnih modelov raziskovalci izpodbijajo pojem "nastajajočih sposobnosti" in osvetljujejo bolj predvidljiv vidik njihove funkcionalnosti. Članek z naslovom "Razkrivanje resničnosti nastajajočih zmožnosti velikih jezikovnih modelov” opozarja na napačno razlago metrik, ki je vodila v napačno prepričanje, da ti modeli spontano pridobijo napredne veščine.
Koncept „nastajajoče sposobnosti” v kontekstu velikih jezikovnih modelov, kot je GPT serije, je spodbudilo zaskrbljenost glede možnosti, da ti modeli razvijejo nepredvidene zmožnosti, podobne človeški zavesti. Ta članek trdi, da so te predpostavke temeljile na napačnem razumevanju dejanskega vedenja in zmogljivosti modelov.
Pogosto opažen pojav, ko večji modeli navidezno pridobijo nove zmožnosti, kot so abstraktno razmišljanje, reševanje problemov in celo humor, je bil skovan kot »nastajajoče sposobnosti velikih jezikovnih modelov«. Avtorji članka trdijo, da te sposobnosti niso tako spontane, kot se zdijo, temveč so rezultat zavajajoče metrike vrednotenja.
Za ponazoritev svoje točke raziskovalci razmišljajo o nalogi "uganiti uganko", problemu, pri katerem mora jezikovni model razumeti uganko naravnega jezika in odgovoriti s pravilnim odgovorom v naravnem jeziku. Tradicionalno je bila kakovost odgovorov ocenjena z binarno metriko: odgovoru je dodeljena ocena 1, če se natančno ujema s pravilnim odgovorom, in ocena 0 v nasprotnem primeru.
Bistvo zadeve je v občutljivosti metrike na kompleksnost naloge in število parametrov modela. Raziskovalci razkrivajo, da ta binarna metrika vodi do a varljivo dojemanje »nastajajočih sposobnosti«. Manjši modeli pogosto izkazujejo zanemarljivo natančnost (eps) pri tej metriki, medtem ko se zdi, da večji modeli, zlasti tisti z velikim številom parametrov, dosegajo izjemne ravni natančnosti (acc > 0.5).
Članek trdi, da ta navidezni premik v sposobnosti ne kaže na to, da modeli spontano pridobivajo zapletene veščine. Namesto tega zmožnost modelov za razumevanje in ustvarjanje bolj niansiranih odzivov izhaja iz natančnejše ocene njihovih rezultatov. Z osredotočanjem na verjetnostno ujemanje in semantično koherenco namesto na natančna ujemanja nizov raziskovalci kažejo, da napredovanje modelov v izvedbi sledi bolj logični poti, ne glede na njihovo velikost.
Raziskovanje razvoja delovanja modela s spreminjanjem parametrov
V analitični preiskavi raziskovalci odkrijejo subtilno mehaniko v ozadju zaznanih "nastajajočih sposobnosti" veliki jezikovni modeli. Študija dvomi o vplivu superdiskretnih metrik pri ocenjevanju delovanja modela in pojasnjuje bolj napovedno razumevanje njihovih zmožnosti, ko se parametri modela širijo.
Prevladujoča predstava o "nastajajočih sposobnostih" v ekspanzivnih jezikovnih modelih je navdušila razprave in sprožila zaskrbljenost glede morebitnih prebojev. Ta študija skuša razvozlati mehaniko, na kateri temelji ta pojav, in razvozlati, ali ti modeli res kažejo nenadne zmožnosti brez primere ali pa je mogoče te zaznane napredke pripisati drugačnemu vzroku.
V središču študije je natančna ocena metrik, uporabljenih za merjenje uspešnosti modela. Raziskovalci trdijo, da bi lahko uporaba superdiskretnih metrik, zlasti konvencionalne binarne metrike, ki določa natančna ujemanja nizov, izkrivila razlago velikih zmožnosti jezikovnega modela. Študija natančno analizira, kako se porazdelitev verjetnosti odgovorov, ustvarjenih z modelom, razvija kot lestvica parametrov modela.
V nasprotju s pojmom "nastajajočih sposobnosti" študija razkriva bolj sistematičen trend. Z večanjem velikosti modela se izboljšuje njegova sposobnost dodeljevanja večjih verjetnosti ustreznim odgovorom in nižjih verjetnosti nepravilnim. To odraža dosledno izboljšanje zmogljivosti modela za spretno reševanje problemov v širokem razponu velikosti. V bistvu raziskava kaže, da proces učenja modelov sledi dobrodefibolj kot nenaden preskok.
Avtorji uvajajo spremembo paradigme s predlogom zamenjave diskretnih metrik z zveznimi. Ta sprememba ponuja jasnejšo sliko razvoja zmogljivosti. S svojo analizo raziskovalci ugotavljajo, da je približno 92 % Težave z Big Benchom kažejo gladko in predvidljivo rast kakovosti, ko se velikost modela širi. Ta ugotovitev izpodbija idejo, da večji modeli doživljajo nenadne preboje, in namesto tega poudarja bolj postopno in pričakovano napredovanje.
Študija razširja svoje vpoglede, da potrdi svoje trditve. Dokazuje, da je mogoče isti učinek »nastajajoče sposobnosti« umetno simulirati z uporabo običajnih samodejnih kodirnikov, kar nakazuje, da izbira metrik pomembno vpliva na zaznane rezultate. To razkritje širi obseg posledic študije in dokazuje njeno pomembnost onkraj jezikovnih modelov.
Raziskovalci poudarjajo, da njihovi rezultati ne definitivno zanikajo potencial za "nastajajoče sposobnosti" ali zavest v velikih jezikovnih modelih. Vendar njihove ugotovitve spodbujajo raziskovalce, da pristopijo k takim trditvam z niansirano perspektivo. Študija namesto prenagljene ekstrapolacije in oblikovanja skrajnih zaključkov poudarja pomen natančne preiskave in celovite analize.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
