I ricercatori di Carnegie Mellon presentano MLC LLM per l'esecuzione di modelli linguistici su qualsiasi dispositivo
In Breve
MLC LLM e Web LLM consentono agli utenti di effettuare la distribuzione modelli linguistici su qualsiasi dispositivo, consentendo nuove applicazioni e usi per la comprensione del linguaggio naturale.
Lo hanno presentato i ricercatori della Carnegie Mellon University MLC LLM, un set di strumenti che potrebbe rivoluzionare il modo in cui i modelli linguistici vengono eseguiti su qualsiasi dispositivo. Tali modelli consentono agli utenti di creare una gamma di applicazioni in linguaggio naturale, come assistenti virtuali e chatbot intelligenti. Grazie a ottimizzazioni delle prestazioni separate, MLC LLM può ora essere utilizzato su diverse piattaforme e scenari.
Il nuovo strumento, noto come Web LLM, rientra anch'essa in questa iniziativa. Consente l'avvio di modelli linguistici direttamente nel browser, il che significa che gli utenti non devono scaricare manualmente il sistema, che può avere dimensioni di diversi gigabyte. Il modello Vicuna 7B, che ha 7 miliardi di parametri, è stato creato in questo modo. Questo può essere estremamente utile quando si progettano assistenti virtuali e chatbot più adatti in quanto richiedono grandi quantità di parametri.
Utilizzando MLC LLM e Web LLM, ora è possibile implementare qualsiasi modello linguistico di scelta su qualsiasi dispositivo. I ricercatori della Carnegie Mellon hanno riferito che ciò aprirebbe una serie di applicazioni che prima non erano possibili. Qualunque modello linguistico può ora essere implementato su vari dispositivi informatici, come laptop e telefoni, o anche su processori e acceleratori video. Ciò apre un mondo di possibilità per l'elaborazione del linguaggio naturale e machine learning.
La nuova iniziativa di Carnegie Mellon apre la strada a una serie di nuove applicazioni e usi per la comprensione del linguaggio naturale. Poiché è possibile utilizzare questi modelli linguistici su qualsiasi dispositivo, è molto più semplice implementare tale tecnologia in molti scenari diversi. Che si tratti di assistenti virtuali o di un servizio clienti automatizzato, questo nuovo strumento potrebbe avere un impatto drastico sul modo in cui queste attività vengono svolte.
Il team di ricerca di Carnegie Mellon ha sviluppato MLC LLM per essere eseguito su qualsiasi dispositivo, inclusi iPhone e altri dispositivi domestici intelligenti, con un processore moderno e almeno 6 GB di RAM. Questo approccio semplificato significa che i dispositivi possono ora eseguire modelli linguistici con una velocità di generazione quasi in tempo reale, anche se ottimizzati da sviluppatori esterni e non da ingegneri Apple.
Oltre a consentire interazioni naturali con i prodotti, MLC LLM può essere utilizzato anche per ottimizzare le attività di gestione dei dispositivi. Con solo da 4 GB a 6 GB di RAM necessari per funzionare, questo modello di linguaggio rivoluzionario costituirà un'eccellente aggiunta ai futuri modelli di iPhone e potrebbe potenzialmente essere messo in produzione senza il lungo processo di sviluppo.
Introducendo l'MLC LLM modello linguistico, i ricercatori di Carnegie Mellon hanno creato un modo efficiente e affidabile per eseguire modelli linguistici su qualsiasi dispositivo. Il sistema MLC LLM è un passo avanti nell'elaborazione del linguaggio naturale e abiliterà gli utenti per interagire naturalmente con i loro dispositivi in modo più efficace. Ha anche il potenziale per accelerare notevolmente il processo di sviluppo per le future attività di gestione dei dispositivi. Le possibilità sono infinite con MLC LLM e il lavoro di Carnegie Mellon lo farà sicuramente trasformare il modo in cui pensiamo ai modelli linguistici per il meglio.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
