Els investigadors desafien la noció d'"habilitats emergents" dels grans models lingüístics
En breu
L'apocalipsi AGI és una preocupació a causa del fenomen dels grans models lingüístics de sobte demostrant capacitats que els models més petits no semblen tenir.
Aquest fenomen s'anomena "habilitats emergents dels grans models lingüístics".
Els autors de l'article "Les habilitats emergents dels grans models lingüístics són un miratge?" argumenten que l'efecte de les habilitats emergents no és un miratge, sinó un creixement previsible de la capacitat de realitzar tasques.
Mostren que almenys el 92% dels problemes de Big Bench no tenen un avenç sobtat per als models grans, i la qualitat dels seus models creix sense problemes i de manera previsible a mesura que augmenta la mida dels models.
En un examen recent de les capacitats potencials dels grans models de llenguatge, els investigadors desafien la noció de "habilitats emergents" i aclareixen un aspecte més previsible de la seva funcionalitat. L'article titulat "Desvetllant les realitats de les capacitats emergents dels grans models lingüístics” posa en relleu la mala interpretació de les mètriques que ha portat a la idea errònia que aquests models adquireixen de manera espontània habilitats avançades.
El concepte decapacitats emergents” en el context de grans models lingüístics, com ara el GPT sèrie, ha alimentat les preocupacions sobre el potencial d'aquests models per desenvolupar capacitats imprevistes semblants a la consciència humana. Aquest article afirma que aquestes hipòtesis s'han basat en una comprensió defectuosa del comportament i les capacitats reals dels models.
El fenomen observat habitualment, on els models més grans aparentment adquireixen habilitats noves com ara el raonament abstracte, la resolució de problemes i fins i tot l'humor, s'ha encunyat les "habilitats emergents dels grans models de llenguatge". Els autors de l'article afirmen que aquestes habilitats no són tan espontànies com semblen, sinó que són el resultat de mètriques d'avaluació enganyoses.
Per il·lustrar el seu punt, els investigadors consideren la tasca d'"endevinar l'endevinalla", un problema on el model de llenguatge es requereix per comprendre un endevinalla de llenguatge natural i respondre amb la resposta correcta en llenguatge natural. Tradicionalment, la qualitat de les respostes s'ha avaluat mitjançant una mètrica binària: a una resposta se li assigna una puntuació d'1 si coincideix exactament amb la resposta correcta, i una puntuació de 0 en cas contrari.
El quid de la qüestió rau en la sensibilitat de la mètrica a la complexitat de la tasca i al nombre de paràmetres del model. Els investigadors revelen que aquesta mètrica binària condueix a a percepció enganyosa de "habilitats emergents". Els models més petits sovint presenten una precisió insignificant (eps) en aquesta mètrica, mentre que els models més grans, especialment aquells amb un nombre elevat de paràmetres, semblen assolir nivells de precisió notables (acc > 0.5).
L'article sosté que aquest canvi aparent en la capacitat no és indicatiu que els models adquireixen de manera espontània habilitats complexes. En canvi, la capacitat dels models per entendre i generar respostes més matisades prové d'una avaluació més meticulosa dels seus resultats. En centrar-se en la concordança probabilística i la coherència semàntica en lloc de les coincidències exactes de cadena, els investigadors mostren que progressió dels models en el rendiment segueix una trajectòria més lògica, independentment de la seva mida.
Investigar l'evolució del rendiment del model amb paràmetres canviants
En una investigació analítica, els investigadors descobreixen la mecànica subtil darrere de les "habilitats emergents" percebudes de grans models lingüístics. L'estudi qüestiona la influència de les mètriques superdiscretes en l'avaluació del rendiment del model i dilucida una comprensió més predictiva de les seves capacitats a mesura que s'amplien els paràmetres del model.
La noció predominant de "habilitats emergents" en els models lingüístics expansius ha captivat les discussions i ha generat preocupacions sobre possibles avenços. Aquest estudi pretén desentranyar la mecànica subjacent a aquest fenomen i desxifrar si aquests models realment mostren capacitats sobtades i sense precedents o si aquests avenços percebuts es poden atribuir a una causa diferent.
Al cor de l'estudi hi ha una avaluació meticulosa de les mètriques emprades per avaluar el rendiment del model. Els investigadors afirmen que l'ús de mètriques superdiscretes, en particular la mètrica binària convencional que determina coincidències exactes de cadena, podria distorsionar la interpretació de grans habilitats de model lingüístic. L'estudi analitza meticulosament com evoluciona la distribució de probabilitats de les respostes generades pel model a mesura que escala els paràmetres del model.
Contràriament a la noció de "habilitats emergents", l'estudi revela una tendència més sistemàtica. A mesura que augmenta la mida del model, millora la seva capacitat per assignar probabilitats més altes a les respostes adequades i probabilitats més baixes a les incorrectes. Això reflecteix una millora constant en la capacitat del model per resoldre problemes amb habilitat en una àmplia gamma de mides. En essència, la investigació suggereix que el procés d'aprenentatge dels models segueix undefiNecessita una trajectòria de millora més que un salt sobtat.
Els autors introdueixen un canvi de paradigma proposant la substitució de mètriques discretes per altres de contínues. Aquest canvi ofereix una imatge més clara de l'evolució del rendiment. A través de la seva anàlisi, els investigadors asseguren que aproximadament el 92% dels Problemes de Big Ben mostren un creixement suau i previsible de la qualitat a mesura que s'amplia la mida del model. Aquesta troballa desafia la idea que els models més grans experimenten avenços sobtats i, en canvi, destaca una progressió més gradual i anticipada.
L'estudi amplia els seus coneixements per validar les seves afirmacions. Demostra que el mateix efecte de "capacitat emergent" es pot simular artificialment mitjançant codificadors automàtics convencionals, cosa que suggereix que l'elecció de mètriques influeix significativament en els resultats percebuts. Aquesta revelació amplia l'abast de les implicacions de l'estudi, demostrant la seva rellevància més enllà dels models lingüístics.
Els investigadors subratllen que els seus resultats no definegar de manera nitiva el potencial de "habilitats emergents" o consciència en grans models de llenguatge. Tanmateix, les seves troballes animen els investigadors a abordar aquestes afirmacions amb una perspectiva matisada. En lloc d'extrapolar precipitadament i formar conclusions extremes, l'estudi subratlla la importància d'una investigació meticulosa i una anàlisi exhaustiva.
Llegeix més sobre AI:
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
més articles
Damir és el líder d'equip, cap de producte i editor de Metaverse Post, que cobreix temes com AI/ML, AGI, LLMs, Metaverse i Web3-camps relacionats. Els seus articles atrauen una audiència massiva de més d'un milió d'usuaris cada mes. Sembla ser un expert amb 10 anys d'experiència en SEO i màrqueting digital. Damir ha estat esmentat a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i altres publicacions. Viatja entre els Emirats Àrabs Units, Turquia, Rússia i la CEI com a nòmada digital. Damir va obtenir una llicenciatura en física, que creu que li ha donat les habilitats de pensament crític necessàries per tenir èxit en el paisatge en constant canvi d'Internet.
