I grandi modelli linguistici di oggi saranno piccoli modelli, secondo un ricercatore di OpenAI
Hyung Won Chung, un esperto ricercatore di intelligenza artificiale precedentemente impiegato da Google Brain e attualmente membro del OpenAI team, ha tenuto un discorso stimolante di 45 minuti in cui ha esplorato il mondo dei grandi modelli linguistici nel 2023. Chung ha esperienza sul campo; è stato il primo autore del documento di Google “Adattamento dei modelli linguistici ottimizzati per le istruzioni," che esamina come grandi modelli linguistici possono essere addestrati a seguire le istruzioni.
Chung sottolinea che il mondo dei modelli linguistici estesi è dinamico. Nel mondo degli LLM, il principio guida è in continua evoluzione, a differenza dei campi tradizionali in cui i presupposti fondamentali rimangono generalmente stabili. Con la prossima generazione di modelli, ciò che attualmente si ritiene impossibile o poco pratico potrebbe diventare possibile. Sottolinea l'importanza di far precedere la maggior parte delle affermazioni sulle capacità LLM con "per ora". Un modello può eseguire un'attività; semplicemente non lo ha ancora fatto.
I grandi modelli di oggi diventeranno piccoli tra pochi anni
Hyung Won Chung, OpenAI
La necessità di una documentazione meticolosa e di una riproducibilità in Ricerca sull'intelligenza artificiale è una delle lezioni più importanti da imparare dal discorso di Chung. È fondamentale documentare accuratamente il lavoro in corso man mano che il campo si sviluppa. Questa strategia garantisce che gli esperimenti possano essere rapidamente replicati e rivisitati, consentendo ai ricercatori di basarsi sul lavoro precedente. Attraverso questa pratica, si riconosce che in futuro potrebbero svilupparsi capacità che non erano pratiche durante la ricerca iniziale.
Chung dedica una parte del suo discorso a chiarire le complessità dei dati e del parallelismo dei modelli. Per coloro che sono interessati ad approfondire gli aspetti tecnici dell'intelligenza artificiale, questa sezione fornisce preziosi spunti sul funzionamento interno di queste tecniche di parallelismo. Comprendere questi meccanismi è fondamentale per l’ottimizzazione formazione su modelli su larga scala.
Chung ipotizza che l'attuale funzione obiettivo, la massima verosimiglianza, utilizzata per la pre-formazione LLM sia un collo di bottiglia quando si tratta di raggiungere scale veramente enormi, come 10,000 volte la capacità di GPT-4. Con il progredire dell’apprendimento automatico, le funzioni di perdita progettate manualmente diventano sempre più limitanti.
Chung suggerisce che il prossimo paradigma nello sviluppo dell’intelligenza artificiale prevede funzioni di apprendimento attraverso algoritmi separati. Questo approccio, sebbene nella sua fase iniziale, promette una scalabilità oltre i vincoli attuali. Sottolinea inoltre gli sforzi in corso, come l’apprendimento per rinforzo dal feedback umano (RLHF) con la modellazione delle regole, come passi in questa direzione, sebbene le sfide rimangano da superare.
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
