Carnegie Mellon-forskare presenterar MLC LLM för att köra språkmodeller på vilken enhet som helst
I korthet
MLC LLM och Web LLM tillåter användare att distribuera språkmodeller på vilken enhet som helst, vilket möjliggör nya applikationer och användningsområden för förståelse av naturligt språk.
Carnegie Mellon University forskare har presenterat MLC LLM, en uppsättning verktyg som kan revolutionera hur språkmodeller körs på vilken enhet som helst. Sådana modeller tillåter användare att skapa en rad naturliga språkapplikationer, såsom virtuella assistenter och smarta chatbots. Genom separata prestandaoptimeringar kan MLC LLM nu användas på olika plattformar och scenarier.
Det nya verktyget, känt som Web LLM, är också en del av detta initiativ. Det möjliggör lansering av språkmodeller direkt i webbläsaren, vilket innebär att användare inte behöver ladda ner systemet manuellt, som kan vara flera gigabyte stort. Vicuna 7B-modellen, som har 7 miljarder parametrar, har skapats på detta sätt. Detta kan vara extremt användbart när man designar mer passande virtuella assistenter och chatbots eftersom de kräver stora mängder parametrar.
Med MLC LLM och Web LLM är det nu möjligt att distribuera vilken som helst språkmodell valfritt på vilken enhet som helst. Forskarna vid Carnegie Mellon har rapporterat att detta skulle öppna upp en rad applikationer som inte var möjliga tidigare. Några språkmodell kan nu distribueras på olika datorenheter, såsom bärbara datorer och telefoner, eller till och med processorer och videoacceleratorer. Detta öppnar upp en värld av möjligheter för naturlig språkbehandling och maskininlärning.
Det nya initiativet från Carnegie Mellon banar väg för en rad nya tillämpningar och användningsområden för förståelse av naturligt språk. Eftersom du kan använda dessa språkmodeller på vilken enhet som helst, är det mycket lättare att distribuera sådan teknik i många olika scenarier. Oavsett om det är för virtuella assistenter eller automatiserad kundtjänst kan detta nya verktyg ha en drastisk inverkan på hur dessa uppgifter utförs.
Carnegie Mellons forskargrupp utvecklade MLC LLM för att köras på alla enheter, inklusive iPhones och andra smarta hemenheter, med en modern processor och 6 GB eller mer RAM. Detta strömlinjeformade tillvägagångssätt innebär att enheter nu kan köra språkmodeller med nästan realtidsgenereringshastighet, även när de är optimerade av externa utvecklare och inte Apples ingenjörer.
Förutom att möjliggöra naturliga interaktioner med produkter, kan MLC LLM också användas för att optimera enhetshanteringsuppgifter. Med endast 4GB till 6GB RAM som behövs för att köras, kommer denna revolutionerande språkmodell att vara ett utmärkt komplement till framtida iPhone-modeller och skulle potentiellt kunna rullas in i produktion utan den långa utvecklingsprocess.
Genom att introducera MLC LLM språkmodell, Carnegie Mellon-forskare har skapat ett effektivt och robust sätt att köra språkmodeller på vilken enhet som helst. MLC LLM-systemet är ett genombrott inom naturlig språkbehandling och kommer att aktivera användare att interagera naturligt med sina enheter mer effektivt. Det har också potential att avsevärt påskynda utvecklingsprocessen för framtida enhetshanteringsuppgifter. Möjligheterna är oändliga med MLC LLM, och Carnegie Mellons arbete kommer säkert att göra det förändra vårt sätt att tänka om språkmodeller för det bättre.
Läs mer om AI:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
fler artiklar
Damir är teamledare, produktchef och redaktör på Metaverse Post, som täcker ämnen som AI/ML, AGI, LLMs, Metaverse och Web3-relaterade områden. Hans artiklar lockar en massiv publik på över en miljon användare varje månad. Han verkar vara en expert med 10 års erfarenhet av SEO och digital marknadsföring. Damir har nämnts i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto och andra publikationer. Han reser mellan Förenade Arabemiraten, Turkiet, Ryssland och OSS som en digital nomad. Damir tog en kandidatexamen i fysik, som han tror har gett honom de kritiska tänkande färdigheter som behövs för att bli framgångsrik i det ständigt föränderliga landskapet på internet.
