I ricercatori sfidano il concetto di "capacità emergenti" dei modelli linguistici di grandi dimensioni
In Breve
L’apocalisse dell’AGI è motivo di preoccupazione a causa del fenomeno dei grandi modelli linguistici improvvisi dimostrando abilità che i modelli più piccoli non sembrano avere.
Questo fenomeno è chiamato “capacità emergenti di modelli linguistici di grandi dimensioni”.
Gli autori dell’articolo “Le abilità emergenti dei modelli linguistici di grandi dimensioni sono un miraggio?” sostengono che l’effetto delle abilità emergenti non è un miraggio, ma piuttosto una crescita prevedibile nella capacità di svolgere compiti.
Essi mostrano che almeno il 92% dei problemi della Big Bench non hanno una svolta improvvisa per i modelli di grandi dimensioni, e la qualità dei loro modelli cresce in modo fluido e prevedibile all’aumentare della dimensione dei modelli.
In un recente esame delle potenziali capacità di grandi modelli linguistici, i ricercatori mettono in discussione la nozione di “capacità emergenti” e fanno luce su un aspetto più prevedibile della loro funzionalità. L’articolo intitolato “Svelare la realtà delle abilità emergenti dei modelli linguistici di grandi dimensioni” porta all’attenzione l’errata interpretazione delle metriche che ha portato all’errata convinzione che questi modelli acquisiscano spontaneamente competenze avanzate.
Il concetto di "abilità emergenti” nel contesto di modelli linguistici di grandi dimensioni, come il GPT serie, ha alimentato preoccupazioni riguardo al potenziale di questi modelli di sviluppare capacità impreviste simili alla coscienza umana. Questo articolo afferma che queste ipotesi si basano su una comprensione errata del comportamento e delle capacità effettive dei modelli.
Il fenomeno comunemente osservato, in cui i modelli più grandi apparentemente acquisiscono nuove abilità come il ragionamento astratto, la risoluzione dei problemi e persino l’umorismo, è stato coniato come “capacità emergenti dei modelli linguistici di grandi dimensioni”. Gli autori dell’articolo sostengono che queste capacità non sono così spontanee come sembrano, ma piuttosto il risultato di parametri di valutazione fuorvianti.
Per illustrare il loro punto, i ricercatori considerano il compito di “indovinare l’enigma”, un problema in cui è richiesto al modello linguistico di comprendere un enigma del linguaggio naturale e rispondere con la risposta corretta in linguaggio naturale. Tradizionalmente, la qualità delle risposte viene valutata utilizzando una metrica binaria: a una risposta viene assegnato un punteggio pari a 1 se corrisponde esattamente alla risposta corretta e un punteggio pari a 0 altrimenti.
Il nocciolo della questione risiede nella sensibilità della metrica alla complessità del compito e al numero di parametri del modello. I ricercatori rivelano che questa metrica binaria porta a a percezione ingannevole delle “capacità emergenti”. I modelli più piccoli spesso mostrano una precisione trascurabile (eps) su questa metrica, mentre i modelli più grandi, in particolare quelli con un numero elevato di parametri, sembrano raggiungere livelli di precisione notevoli (acc > 0.5).
L'articolo sostiene che questo apparente cambiamento di abilità non è indicativo di modelli che acquisiscono spontaneamente abilità complesse. Invece, la capacità dei modelli di comprendere e generare risposte più sfumate deriva da una valutazione più meticolosa dei loro risultati. Concentrandosi sulla corrispondenza probabilistica e sulla coerenza semantica piuttosto che sulle corrispondenze esatte delle stringhe, i ricercatori dimostrano che progressione dei modelli nella performance segue una traiettoria più logica, indipendentemente dalla sua dimensione.
Analisi dell'evoluzione delle prestazioni del modello con la modifica dei parametri
In un'indagine analitica, i ricercatori scoprono i sottili meccanismi dietro le percepite "capacità emergenti" di modelli linguistici di grandi dimensioni. Lo studio mette in discussione l’influenza delle metriche superdiscrete nella valutazione delle prestazioni del modello e chiarisce una comprensione più predittiva delle loro capacità man mano che i parametri del modello si espandono.
La nozione prevalente di “capacità emergenti” nei modelli linguistici espansivi ha affascinato le discussioni e sollevato preoccupazioni su potenziali scoperte. Questo studio cerca di districare i meccanismi alla base di questo fenomeno e decifrare se questi modelli mostrano effettivamente capacità improvvise e senza precedenti o se questi progressi percepiti possono essere attribuiti a una causa diversa.
Al centro dello studio c’è una valutazione meticolosa delle metriche utilizzate per valutare le prestazioni del modello. I ricercatori sostengono che l’uso di parametri superdiscreti, in particolare della metrica binaria convenzionale che determina le corrispondenze esatte delle stringhe, potrebbe distorcere l’interpretazione di grandi dimensioni. abilità del modello linguistico. Lo studio analizza meticolosamente come la distribuzione di probabilità delle risposte generate dal modello si evolve con la scala dei parametri del modello.
Contrariamente al concetto di “capacità emergenti”, lo studio rivela una tendenza più sistematica. All’aumentare delle dimensioni del modello, migliora la sua capacità di assegnare probabilità più elevate alle risposte appropriate e probabilità più basse a quelle errate. Ciò riflette un miglioramento costante della capacità del modello di risolvere abilmente problemi in un'ampia gamma di dimensioni. In sostanza, la ricerca suggerisce che il processo di apprendimento dei modelli segue un processo bendefipercorso di miglioramento definito piuttosto che un salto improvviso.
Gli autori introducono un cambiamento di paradigma proponendo la sostituzione di metriche discrete con metriche continue. Questa modifica offre un quadro più chiaro dell'evoluzione delle prestazioni. Attraverso la loro analisi, i ricercatori accertano che circa il 92% dei Problemi della grande panchina mostrano una crescita graduale e prevedibile della qualità man mano che le dimensioni del modello si espandono. Questa scoperta mette in discussione l’idea che i modelli più grandi subiscano scoperte improvvise e evidenzia invece una progressione più graduale e anticipata.
Lo studio estende le sue intuizioni per convalidare le sue affermazioni. Dimostra che lo stesso effetto di “capacità emergente” può essere simulato artificialmente utilizzando codificatori automatici convenzionali, suggerendo che la scelta delle metriche influenza in modo significativo i risultati percepiti. Questa rivelazione amplia la portata delle implicazioni dello studio, dimostrando la sua rilevanza al di là dei soli modelli linguistici.
I ricercatori sottolineano che i loro risultati non lo fanno definegare in modo nitivo il potenziale di “capacità emergenti” o coscienza in ampi modelli linguistici. Tuttavia, i loro risultati incoraggiano i ricercatori ad affrontare tali affermazioni con una prospettiva sfumata. Piuttosto che estrapolare frettolosamente e giungere a conclusioni estreme, lo studio sottolinea l’importanza di un’indagine meticolosa e di un’analisi completa.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
