Výzkumníci z Carnegie Mellon představují MLC LLM pro spouštění jazykových modelů na jakémkoli zařízení
Stručně
MLC LLM a Web LLM umožňují uživatelům nasazení jazykové modely na jakémkoli zařízení, což umožňuje nové aplikace a použití pro porozumění přirozenému jazyku.
Uvedli to vědci z Carnegie Mellon University MLC LLM, sadu nástrojů, které by mohly způsobit revoluci ve způsobu spouštění jazykových modelů na jakémkoli zařízení. Takové modely umožňují uživatelům vytvářet řadu aplikací v přirozeném jazyce, jako jsou virtuální asistenti a inteligentní chatboti. Díky samostatným optimalizacím výkonu lze nyní MLC LLM používat na různých platformách a scénářích.
Nový nástroj, známý jako Web LLM, je také součástí této iniciativy. Umožňuje spouštění jazykových modelů přímo v prohlížeči, což znamená, že uživatelé nemusí ručně stahovat systém, který může mít velikost několik gigabajtů. Vznikl tak model Vicuna 7B, který má 7 miliard parametrů. To může být mimořádně užitečné při navrhování vhodnějších virtuálních asistentů a chatbotů, protože vyžadují velké množství parametrů.
Pomocí MLC LLM a Web LLM je nyní možné nasadit libovolné jazykový model podle výběru na jakémkoli zařízení. Výzkumníci z Carnegie Mellon oznámili, že by to otevřelo řadu aplikací, které dříve nebyly možné. Žádný jazykový model lze nyní nasadit na různá výpočetní zařízení, jako jsou notebooky a telefony, nebo dokonce procesory a video akcelerátory. To otevírá svět možností pro zpracování přirozeného jazyka a strojové učení.
Nová iniciativa od Carnegie Mellon připravuje cestu pro řadu nových aplikací a použití pro porozumění přirozenému jazyku. Vzhledem k tomu, že tyto jazykové modely můžete použít na jakémkoli zařízení, je mnohem snazší nasadit takovou technologii v mnoha různých scénářích. Ať už jde o virtuální asistenty nebo automatizované služby zákazníkům, tento nový nástroj by mohl mít drastický dopad na způsob, jakým jsou tyto úkoly prováděny.
Výzkumný tým Carnegie Mellon vyvinul MLC LLM pro provoz na jakémkoli zařízení, včetně iPhonů a dalších zařízení pro chytrou domácnost, s moderním procesorem a 6GB nebo více RAM. Tento zjednodušený přístup znamená, že zařízení nyní mohou spouštět jazykové modely s rychlostí generování téměř v reálném čase, i když jsou optimalizovány externími vývojáři a ne inženýry Applu.
Kromě toho, že umožňuje přirozené interakce s produkty, lze MLC LLM použít také k optimalizaci úloh správy zařízení. S pouhými 4 GB až 6 GB paměti RAM, které jsou potřeba ke spuštění, bude tento revoluční jazykový model skvělým doplňkem budoucích modelů iPhone a mohl by být potenciálně uveden do výroby bez zdlouhavého vývojový proces.
Zavedením MLC LLM jazykový modelVýzkumníci z Carnegie Mellon vytvořili efektivní a robustní způsob, jak spouštět jazykové modely na jakémkoli zařízení. Systém MLC LLM je průlomem ve zpracování přirozeného jazyka a umožní uživatelům k efektivnější přirozené interakci se svými zařízeními. Má také potenciál výrazně urychlit proces vývoje budoucích úkolů správy zařízení. Možnosti jsou s MLC LLM nekonečné a práce Carnegie Mellona jistě bude změnit způsob, jakým přemýšlíme o jazykových modelech pro lepší.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
