CEO-ul Hugging Face prezice că modelele AI mai mici vor domina 2024
Pe scurt
2024 va vedea creșterea modelelor lingvistice mici, pe măsură ce companiile depășesc limitele eficienței, rentabilității și accesibilității.
Pentru inteligență artificială, anul 2024 este gata să marcheze un punct de cotitură semnificativ – odată cu creșterea modelelor lingvistice mici (SLM), pe măsură ce companiile depășesc limitele eficienței, rentabilității și accesibilității.
Călătoria de la dominația modelelor de limbă mari (LLM) masive până la apariția unor SLM-uri compacte și puternice promite să remodeleze Peisajul AI.
Această afirmație și-a găsit susținerea forma Clam Delangue, co-fondator și CEO al Fata îmbrățișată.
„Phi-2 de la Microsoft AI este acum modelul numărul unu în tendințe pe Hugging Face. 2024 va fi anul modelelor mici AI!” spuse Delangue, într-o Postare pe LinkedIn.
În plus, la începutul lunii decembrie, startup-ul francez de IA Mistral, la scurt timp după ce a strâns o sumă substanțială $ 415 de milioane de runda de finanțare, a introdus Mixtral 8x7B, un SLM cu sursă deschisă care a câștigat rapid teren pentru capacitatea sa de a rivaliza cu calitatea GPT-3.5 pe anumite benchmark-uri, totul în timp ce rulează pe un singur computer cu o memorie RAM modestă de 100 de gigaocteți.
Abordarea lui Mistral, numită modelul „amestec rar de experți”, combină modele mai mici antrenate pentru sarcini specifice, obținând o eficiență remarcabilă.
Să nu fiu mai prejos, gigantul tehnologiei Microsoft a intrat în arenă cu Phi-2, cea mai recentă versiune a SLM-ului său de acasă. Deosebit de mic, cu doar 2.7 miliarde de parametri, Phi-2 este proiectat să ruleze pe un telefon mobil, demonstrând angajamentul industriei de a reduce modelele fără a compromite capacitățile.
Modele ca GPT-3, cu 175 de miliarde de parametri uluitor, a demonstrat capacitatea de a genera text asemănător omului, de a răspunde la întrebări și de a rezuma documente. Cu toate acestea, dezavantajele inerente ale LLM, inclusiv preocupările legate de eficiență, cost și personalizare, au deschis calea pentru ascensiunea SLM.
Factorii care determină dezvoltarea modelelor lingvistice la scară mică
SLM-urile se laudă cu o abordare simplificată, cu mai puțini parametri, rezultând o viteză de inferență mai rapidă și un debit mai mare. Cerințele lor reduse de memorie și stocare fac procesele de calcul agile, provocând credința convențională că capacitatea modelului trebuie întotdeauna să fie paralelă cu creșterea apetitului pentru date.
În timp ce modelele de limbaj mari ca GPT-3 suportă costuri exorbitante – adesea în zeci de milioane de dolari pentru dezvoltare – SLM-urile reprezintă o alternativă rentabilă.
Aceste modele pot fi instruite, implementate și operate pe hardware-ul de bază ușor disponibil, făcându-le o alegere viabilă din punct de vedere financiar pentru companii. Mai mult, cerințele lor modeste de resurse îi poziționează drept candidații ideali pentru aplicații în edge computing, care rulează offline pe dispozitive cu putere redusă.
În mod similar, un punct forte al SLM-urilor constă în personalizarea lor. Spre deosebire de omologii lor mai mari, care reprezintă compromisuri între domenii, SLM-urile pot fi reglate fin pentru aplicații specifice. Ciclurile lor rapide de iterație facilitează experimentarea practică, permițând dezvoltatorilor să adapteze modelele la nevoi speciale.
Pe măsură ce ne apropiem de 2024, creșterea modelelor de limbaj mici semnalează o eră transformatoare în inteligența artificială. Scena este pregătită pentru Anul modelelor AI mici, în care inovația și accesibilitatea converg către redefine posibilitățile inteligenței artificiale.
Declinare a responsabilităţii
În conformitate cu Ghidurile proiectului Trust, vă rugăm să rețineți că informațiile furnizate pe această pagină nu sunt destinate și nu trebuie interpretate ca fiind consiliere juridică, fiscală, investițională, financiară sau orice altă formă de consiliere. Este important să investești doar ceea ce îți poți permite să pierzi și să cauți sfaturi financiare independente dacă ai îndoieli. Pentru informații suplimentare, vă sugerăm să consultați termenii și condițiile, precum și paginile de ajutor și asistență furnizate de emitent sau agent de publicitate. MetaversePost se angajează să raporteze corecte, imparțial, dar condițiile de piață pot fi modificate fără notificare.
Despre autor
Kumar este un jurnalist tehnic cu experiență, cu o specializare în intersecțiile dinamice ale AI/ML, tehnologie de marketing și domenii emergente, cum ar fi cripto, blockchain și NFTs. Cu peste 3 ani de experiență în industrie, Kumar și-a stabilit o experiență dovedită în elaborarea de narațiuni convingătoare, realizarea de interviuri perspicace și furnizarea de informații cuprinzătoare. Expertiza lui Kumar constă în producerea de conținut de mare impact, inclusiv articole, rapoarte și publicații de cercetare pentru platforme proeminente din industrie. Cu un set unic de abilități care combină cunoștințele tehnice și povestirea, Kumar excelează în comunicarea conceptelor tehnologice complexe către diverse audiențe într-o manieră clară și captivantă.
Mai multe articole
Kumar este un jurnalist tehnic cu experiență, cu o specializare în intersecțiile dinamice ale AI/ML, tehnologie de marketing și domenii emergente, cum ar fi cripto, blockchain și NFTs. Cu peste 3 ani de experiență în industrie, Kumar și-a stabilit o experiență dovedită în elaborarea de narațiuni convingătoare, realizarea de interviuri perspicace și furnizarea de informații cuprinzătoare. Expertiza lui Kumar constă în producerea de conținut de mare impact, inclusiv articole, rapoarte și publicații de cercetare pentru platforme proeminente din industrie. Cu un set unic de abilități care combină cunoștințele tehnice și povestirea, Kumar excelează în comunicarea conceptelor tehnologice complexe către diverse audiențe într-o manieră clară și captivantă.
