CEO Hugging Face predviđa da će manji modeli umjetne inteligencije dominirati 2024
Ukratko
2024. ćemo vidjeti uspon malih jezičnih modela, jer tvrtke pomiču granice učinkovitosti, isplativosti i pristupačnosti.
Za umjetna inteligencija, 2024. godina je spremna označiti značajnu prekretnicu — s porastom malih jezičnih modela (SLM-ova), dok tvrtke pomiču granice učinkovitosti, isplativosti i pristupačnosti.
Putovanje od dominacije masivnih Large Language Models (LLM) do pojave kompaktnih, snažnih SLM-ova obećava preoblikovanje AI pejzaž.
Ova je tvrdnja naišla na podršku Clama Delanguea, suosnivača i izvršnog direktora tvrtke Zagrljeno lice.
“Phi-2 tvrtke Microsoft AI sada je model broj jedan u trendu na Hugging Face. 2024. bit će godina malih AI modela!” rekao je Delangue, u a Post na LinkedIn-u.
Nadalje, početkom prosinca, francuski AI startup Mistral, ubrzo nakon podizanja značajne cijene $ 415 milijuna rundi financiranja, predstavio je Mixtral 8x7B, SLM otvorenog koda koji je brzo postao popularan zbog svoje sposobnosti da parira kvaliteti GPT-3.5 na određenim mjerilima, a sve to radeći na jednom računalu sa skromnih 100 gigabajta RAM-a.
Mistralov pristup, nazvan modelom 'rijetke mješavine stručnjaka', kombinira manje modele osposobljene za specifične zadatke, postižući izuzetnu učinkovitost.
Da ne duljim, tehnološki div microsoft ušao u arenu s Phi-2, najnovijom verzijom svog domaćeg SLM-a. Posebno malen sa samo 2.7 milijardi parametara, Phi-2 dizajniran je za rad na mobilnom telefonu, pokazujući predanost industrije smanjenju modela bez ugrožavanja mogućnosti.
Modeli poput GPT-3, s nevjerojatnih 175 milijardi parametara, pokazao je sposobnost generiranja ljudskog teksta, odgovaranja na pitanja i sažimanja dokumenata. Međutim, inherentne mane LLM-a, uključujući brige vezane uz učinkovitost, cijenu i prilagodljivost, otvorile su put usponu SLM-a.
Čimbenici koji pokreću razvoj modela jezika malog razmjera
SLM-ovi se mogu pohvaliti pojednostavljenim pristupom s manje parametara, što rezultira većom brzinom zaključivanja i većom propusnošću. Njihovi smanjeni zahtjevi za memorijom i pohranom čine računalne procese agilnima, izazivajući konvencionalno uvjerenje da kapacitet modela uvijek mora biti paralelan s rastom apetita za podacima.
Dok veliki jezični modeli poput GPT-3 stvarati pretjerane troškove – često u desecima milijuna dolara za razvoj – SLM-ovi predstavljaju isplativu alternativu.
Ovi se modeli mogu obučavati, implementirati i njima se može upravljati na lako dostupnom standardnom hardveru, što ih čini financijski održivim izborom za tvrtke. Štoviše, njihovi skromni zahtjevi za resursima postavljaju ih kao idealne kandidate za aplikacije u rubnom računalstvu, koje rade izvan mreže na uređajima slabije snage.
Slično tome, ključna snaga SLM-ova leži u njihovoj prilagodljivosti. Za razliku od svojih većih parnjaka, koji predstavljaju kompromise među domenama, SLM-ovi se mogu fino podesiti za određene aplikacije. Njihovi brzi ciklusi ponavljanja olakšavaju praktično eksperimentiranje, omogućujući programerima da prilagode modele određenim potrebama.
Kako se približavamo 2024., porast malih jezičnih modela signalizira transformativnu eru u umjetnoj inteligenciji. Pozornica je spremna za Godinu malih AI modela, gdje se inovacija i pristupačnost spajaju s redefine mogućnosti umjetne inteligencije.
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Kumar je iskusan tehnološki novinar sa specijalizacijom u dinamičkim raskrižjima AI/ML-a, marketinške tehnologije i novih područja kao što su kripto, blockchain i NFTs. S više od 3 godine iskustva u industriji, Kumar ima dokazanu reputaciju u izradi uvjerljivih priča, provođenju pronicljivih intervjua i pružanju sveobuhvatnih uvida. Kumarova stručnost leži u izradi sadržaja visokog utjecaja, uključujući članke, izvješća i istraživačke publikacije za istaknute industrijske platforme. S jedinstvenim skupom vještina koje kombiniraju tehničko znanje i pripovijedanje, Kumar se ističe u komuniciranju složenih tehnoloških koncepata različitoj publici na jasan i privlačan način.
Više članaka
Kumar je iskusan tehnološki novinar sa specijalizacijom u dinamičkim raskrižjima AI/ML-a, marketinške tehnologije i novih područja kao što su kripto, blockchain i NFTs. S više od 3 godine iskustva u industriji, Kumar ima dokazanu reputaciju u izradi uvjerljivih priča, provođenju pronicljivih intervjua i pružanju sveobuhvatnih uvida. Kumarova stručnost leži u izradi sadržaja visokog utjecaja, uključujući članke, izvješća i istraživačke publikacije za istaknute industrijske platforme. S jedinstvenim skupom vještina koje kombiniraju tehničko znanje i pripovijedanje, Kumar se ističe u komuniciranju složenih tehnoloških koncepata različitoj publici na jasan i privlačan način.
