El CEO d'Hugging Face prediu que els models d'IA més petits dominaran el 2024
En breu
El 2024 veurà l'augment dels petits models lingüístics, a mesura que les empreses superen els límits de l'eficiència, la rendibilitat i l'accessibilitat.
per intel·ligència artificial, l'any 2024 està a punt de marcar un punt d'inflexió important, amb l'auge dels Small Language Models (SLM), a mesura que les empreses superen els límits de l'eficiència, la rendibilitat i l'accessibilitat.
El viatge des del domini dels grans models lingüístics massius (LLM) fins a l'aparició d'SLM compactes i potents promet remodelar el Paisatge de l'IA.
Aquesta afirmació ha trobat el seu suport a Clam Delangue, cofundadora i CEO de Cara abraçada.
"Phi-2 de Microsoft AI és ara el model de tendència número u a Hugging Face. El 2024 serà l'any dels petits models d'IA!" va dir Delangue, en a Publicació de LinkedIn.
A més, a principis de desembre, la startup francesa d'IA Mistral, poc després de recaptar un important $ 415 milions de finançament, va presentar Mixtral 8x7B, un SLM de codi obert que ha guanyat força ràpidament per la seva capacitat per competir amb la qualitat de GPT-3.5 en determinats punts de referència, tot mentre s'executa en un únic ordinador amb uns modests 100 gigabytes de memòria RAM.
L'enfocament de Mistral, anomenat model de "mescla escassa d'experts", combina models més petits entrenats per a tasques específiques, aconseguint una eficiència notable.
No et perdis, gegant de la tecnologia Microsoft va entrar a l'arena amb Phi-2, l'última versió del seu SLM de producció pròpia. Notablement petit amb només 2.7 milions de paràmetres, Phi-2 està dissenyat per funcionar amb un telèfon mòbil, mostrant el compromís de la indústria per reduir la mida dels models sense comprometre les capacitats.
Models com GPT-3, amb 175 milions de paràmetres sorprenents, va mostrar la capacitat de generar text semblant a l'ésser humà, respondre preguntes i resumir documents. Tanmateix, els inconvenients inherents dels LLM, incloses les preocupacions relacionades amb l'eficiència, el cost i la personalització, han obrir el camí per a l'ascens dels SLM.
Factors que impulsen el desenvolupament de models lingüístics a petita escala
Els SLM compten amb un enfocament simplificat amb menys paràmetres, el que resulta en una velocitat d'inferència més ràpida i un rendiment més elevat. Els seus requisits de memòria i emmagatzematge reduïts fan que els processos computacionals siguin àgils, desafiant la creença convencional que la capacitat del model sempre ha de ser paral·lela al creixement de la gana de dades.
Mentre que els grans models lingüístics com GPT-3 incorrer en costos exorbitants, sovint en desenes de milions de dòlars per al desenvolupament, els SLM representen una alternativa rendible.
Aquests models es poden entrenar, desplegar i operar amb maquinari de productes bàsics fàcilment disponible, cosa que els converteix en una opció financerament viable per a les empreses. A més, els seus modests requisits de recursos els situen com a candidats ideals per a aplicacions en informàtica de punta, que funcionen fora de línia en dispositius de poca potència.
De la mateixa manera, una fortalesa clau dels SLM rau en la seva personalització. A diferència dels seus homòlegs més grans, que representen compromisos entre dominis, els SLM es poden ajustar amb precisió per a aplicacions específiques. Els seus ràpids cicles d'iteració faciliten l'experimentació pràctica, permetent als desenvolupadors adaptar models a necessitats particulars.
A mesura que ens apropem al 2024, l'auge dels petits models de llenguatge assenyala una era transformadora en la intel·ligència artificial. L'escenari està preparat per a l'Any dels Petits Models d'IA, on la innovació i l'accessibilitat convergeixen a redefine les possibilitats de la intel·ligència artificial.
renúncia
En línia amb la Directrius del projecte Trust, si us plau, tingueu en compte que la informació proporcionada en aquesta pàgina no pretén ni s'ha d'interpretar com a assessorament legal, fiscal, d'inversió, financer o de cap altra forma. És important invertir només el que et pots permetre perdre i buscar assessorament financer independent si tens dubtes. Per obtenir més informació, us suggerim que feu referència als termes i condicions, així com a les pàgines d'ajuda i assistència proporcionades per l'emissor o l'anunciant. MetaversePost es compromet a fer informes precisos i imparcials, però les condicions del mercat estan subjectes a canvis sense previ avís.
About The Autor
Kumar és un periodista tecnològic experimentat amb una especialització en les interseccions dinàmiques d'IA/ML, tecnologia de màrqueting i camps emergents com ara cripto, blockchain i NFTs. Amb més de 3 anys d'experiència en el sector, Kumar ha establert una trajectòria demostrada en l'elaboració de narracions convincents, la realització d'entrevistes minucioses i l'oferiment d'informació exhaustiva. L'experiència de Kumar rau en la producció de contingut d'alt impacte, inclosos articles, informes i publicacions de recerca per a plataformes de la indústria destacades. Amb un conjunt d'habilitats únics que combina coneixements tècnics i narració, Kumar destaca per comunicar conceptes tecnològics complexos a diversos públics d'una manera clara i atractiva.
més articles
Kumar és un periodista tecnològic experimentat amb una especialització en les interseccions dinàmiques d'IA/ML, tecnologia de màrqueting i camps emergents com ara cripto, blockchain i NFTs. Amb més de 3 anys d'experiència en el sector, Kumar ha establert una trajectòria demostrada en l'elaboració de narracions convincents, la realització d'entrevistes minucioses i l'oferiment d'informació exhaustiva. L'experiència de Kumar rau en la producció de contingut d'alt impacte, inclosos articles, informes i publicacions de recerca per a plataformes de la indústria destacades. Amb un conjunt d'habilitats únics que combina coneixements tècnics i narració, Kumar destaca per comunicar conceptes tecnològics complexos a diversos públics d'una manera clara i atractiva.
