Hugging Face CEO forudsiger, at mindre AI-modeller vil dominere 2024
Kort sagt
2024 vil se fremkomsten af små sprogmodeller, da virksomheder flytter grænserne for effektivitet, omkostningseffektivitet og tilgængelighed.
Til kunstig intelligens, er året 2024 klar til at markere et væsentligt vendepunkt - med fremkomsten af små sprogmodeller (SLM'er), hvor virksomheder flytter grænserne for effektivitet, omkostningseffektivitet og tilgængelighed.
Rejsen fra dominansen af massive store sprogmodeller (LLM'er) til fremkomsten af kompakte, kraftfulde SLM'er lover at omforme AI landskab.
Denne påstand har fundet sin støtteform Clam Delangue, medstifter og CEO af Knusende ansigt.
"Phi-2 fra Microsoft AI er nu den mest populære model på Hugging Face. 2024 bliver de små AI-modellers år!" sagde Delangue, i en LinkedIn-indlæg.
Desuden, i begyndelsen af december, opstartede franske AI Mistral, kort efter at hæve en betydelig $ 415 millioner finansieringsrunde introducerede Mixtral 8x7B, en open source SLM, der hurtigt har vundet indpas for sin evne til at konkurrere med kvaliteten af GPT-3.5 på visse benchmarks, alt sammen mens de kører på en enkelt computer med beskedne 100 gigabyte RAM.
Mistrals tilgang, kaldet en 'sparsom blanding af eksperter'-model, kombinerer mindre modeller, der er trænet til specifikke opgaver, hvilket opnår bemærkelsesværdig effektivitet.
Ikke at blive overgået, teknologigigant microsoft kom ind på arenaen med Phi-2, den seneste version af sin hjemmedyrkede SLM. Phi-2.7, der er særdeles lille med kun 2 milliarder parametre, er designet til at køre på en mobiltelefon, hvilket viser branchens forpligtelse til at reducere modeller uden at gå på kompromis med mulighederne.
Modeller som GPT-3, der kan prale af svimlende 175 milliarder parametre, viste evnen til at generere menneskelignende tekst, besvare spørgsmål og opsummere dokumenter. Imidlertid har de iboende ulemper ved LLM'er, herunder bekymringer relateret til effektivitet, omkostninger og tilpasningsmuligheder, banet vejen for fremskridt i SLM'er.
Faktorer, der driver udvikling af små sprogmodeller
SLM'er kan prale af en strømlinet tilgang med færre parametre, hvilket resulterer i hurtigere inferenshastighed og højere gennemløb. Deres reducerede hukommelses- og lagerkrav gør beregningsprocesser agile, hvilket udfordrer den konventionelle overbevisning om, at modelkapacitet altid skal være parallel med væksten i dataappetit.
Mens store sprogmodeller gerne GPT-3 pådrager sig ublu omkostninger - ofte i titusvis af millioner dollars til udvikling - SLM'er er et omkostningseffektivt alternativ.
Disse modeller kan trænes, implementeres og betjenes på let tilgængeligt råvarehardware, hvilket gør dem til et økonomisk levedygtigt valg for virksomheder. Desuden placerer deres beskedne ressourcekrav dem som ideelle kandidater til applikationer inden for edge computing, der kører offline på enheder med lavere strømstyrke.
På samme måde ligger en nøglestyrke ved SLM'er i deres tilpasningsmuligheder. I modsætning til deres større modstykker, som repræsenterer kompromiser på tværs af domæner, kan SLM'er finjusteres til specifikke applikationer. Deres hurtige iterationscyklusser letter praktiske eksperimenter, hvilket giver udviklere mulighed for at tilpasse modeller til særlige behov.
Når vi nærmer os 2024, signalerer fremkomsten af små sprogmodeller en transformativ æra inden for kunstig intelligens. Scenen er sat til Year of Small AI Models, hvor innovation og tilgængelighed mødes til redefine mulighederne for kunstig intelligens.
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Kumar er en erfaren teknisk journalist med speciale i de dynamiske skæringspunkter mellem AI/ML, marketingteknologi og nye områder som krypto, blockchain og NFTs. Med over 3 års erfaring i branchen har Kumar etableret en dokumenteret track record i at skabe overbevisende fortællinger, udføre indsigtsfulde interviews og levere omfattende indsigt. Kumars ekspertise ligger i at producere indhold med stor gennemslagskraft, herunder artikler, rapporter og forskningspublikationer til fremtrædende industriplatforme. Med et unikt færdighedssæt, der kombinerer teknisk viden og historiefortælling, udmærker Kumar sig ved at kommunikere komplekse teknologiske koncepter til forskellige målgrupper på en klar og engagerende måde.
Flere artikler
Kumar er en erfaren teknisk journalist med speciale i de dynamiske skæringspunkter mellem AI/ML, marketingteknologi og nye områder som krypto, blockchain og NFTs. Med over 3 års erfaring i branchen har Kumar etableret en dokumenteret track record i at skabe overbevisende fortællinger, udføre indsigtsfulde interviews og levere omfattende indsigt. Kumars ekspertise ligger i at producere indhold med stor gennemslagskraft, herunder artikler, rapporter og forskningspublikationer til fremtrædende industriplatforme. Med et unikt færdighedssæt, der kombinerer teknisk viden og historiefortælling, udmærker Kumar sig ved at kommunikere komplekse teknologiske koncepter til forskellige målgrupper på en klar og engagerende måde.
