A Carnegie Mellon kutatói bemutatják az MLC LLM-et nyelvi modellek futtatásához bármilyen eszközön
Röviden
Az MLC LLM és a Web LLM lehetővé teszi a felhasználók számára a telepítést nyelvi modellek bármilyen eszközön, lehetővé téve új alkalmazások és felhasználások használatát a természetes nyelv megértéséhez.
A Carnegie Mellon Egyetem kutatói bemutatták MLC LLM, egy olyan eszközkészlet, amely forradalmasíthatja a nyelvi modellek futtatását bármely eszközön. Az ilyen modellek lehetővé teszik a felhasználók számára, hogy természetes nyelvi alkalmazásokat hozzanak létre, például virtuális asszisztenseket és intelligens chatbotokat. A különálló teljesítményoptimalizálások révén az MLC LLM mostantól különböző platformokon és forgatókönyveken használható.
Az új eszköz, az ún Web LLM, szintén ennek a kezdeményezésnek a része. Lehetővé teszi a nyelvi modellek közvetlenül a böngészőben történő elindítását, vagyis a felhasználóknak nem kell manuálisan letölteniük a több gigabájt méretű rendszert. Így jött létre a Vicuna 7B modell, amely 7 milliárd paraméterrel rendelkezik. Ez rendkívül hasznos lehet jobban illeszkedő virtuális asszisztensek és chatbotok tervezésekor, mivel ezek nagy mennyiségű paramétert igényelnek.
Az MLC LLM és a Web LLM használatával mostantól bármelyik telepíthető nyelvi modell választható bármilyen eszközön. A Carnegie Mellon kutatói arról számoltak be, hogy ez egy sor olyan alkalmazást nyitna meg, amely korábban nem volt lehetséges. Bármi nyelvi modell ma már telepíthető különféle számítástechnikai eszközökön, például laptopokon és telefonokon, vagy akár processzorokon és videógyorsítókon. Ezzel megnyílik a lehetőségek világa a természetes nyelvi feldolgozás és gépi tanulás.
A Carnegie Mellon új kezdeményezése egy sor új alkalmazás és felhasználás előtt nyitja meg az utat a természetes nyelv megértéséhez. Mivel ezeket a nyelvi modelleket bármilyen eszközön használhatja, sokkal könnyebb az ilyen technológiát számos különböző forgatókönyvben telepíteni. Legyen szó virtuális asszisztensekről vagy automatizált ügyfélszolgálatról, ez az új eszköz drasztikus hatással lehet ezeknek a feladatoknak a végrehajtására.
Carnegie Mellon kutatócsoportja úgy fejlesztette ki az MLC LLM-et, hogy bármilyen eszközön futni lehessen, beleértve az iPhone-okat és más intelligens otthoni eszközöket is, modern processzorral és 6 GB vagy több RAM-mal. Ez az egyszerűsített megközelítés azt jelenti, hogy az eszközök már szinte valós idejű generálási sebességgel futtathatják a nyelvi modelleket, még akkor is, ha külső fejlesztők és nem az Apple mérnökei optimalizálták őket.
Amellett, hogy lehetővé teszi a termékekkel való természetes interakciót, az MLC LLM az eszközkezelési feladatok optimalizálására is használható. Mivel csak 4–6 GB RAM szükséges a működéshez, ez a forradalmian új nyelvi modell kiválóan kiegészíti majd a jövőbeni iPhone-modelleket, és potenciálisan gyártásba kerülhet, anélkül, hogy hosszadalmas erőfeszítéseket kellene tennie. fejlesztési folyamat.
Az MLC LLM bevezetésével nyelvi modellA Carnegie Mellon kutatói hatékony és robusztus módszert hoztak létre a nyelvi modellek bármilyen eszközön történő futtatására. Az MLC LLM rendszer áttörést jelent a természetes nyelvi feldolgozás és lehetővé teszi a felhasználókat hogy hatékonyabban kommunikáljanak eszközeikkel. Ezenkívül jelentősen felgyorsíthatja a fejlesztési folyamatot a jövőbeni eszközkezelési feladatokhoz. A lehetőségek végtelenek az MLC LLM-ben, és Carnegie Mellon munkája biztosan megteszi átalakítja a nyelvi modellekről alkotott gondolkodásunkat a jobbért.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
