Forscher von Carnegie Mellon präsentieren MLC LLM zum Ausführen von Sprachmodellen auf jedem Gerät
In Kürze
MLC LLM und Web LLM ermöglichen Benutzern die Bereitstellung Sprachmodelle auf jedem Gerät und ermöglicht so neue Anwendungen und Nutzungen für das Verständnis natürlicher Sprache.
Forscher der Carnegie Mellon University haben vorgestellt MLC LLM, eine Reihe von Tools, die die Ausführung von Sprachmodellen auf jedem Gerät revolutionieren könnten. Mit solchen Modellen können Benutzer eine Reihe von Anwendungen in natürlicher Sprache erstellen, z. B. virtuelle Assistenten und intelligente Chatbots. Durch separate Performance-Optimierungen kann MLC LLM nun auf unterschiedlichen Plattformen und Szenarien eingesetzt werden.
Das neue Tool, bekannt als Web-LLM, ist ebenfalls Teil dieser Initiative. Es ermöglicht den Start von Sprachmodellen direkt im Browser, sodass Benutzer das System, das mehrere Gigabyte groß sein kann, nicht manuell herunterladen müssen. Auf diese Weise ist das Modell Vicuna 7B mit 7 Milliarden Parametern entstanden. Dies kann äußerst nützlich sein, wenn Sie passendere virtuelle Assistenten und Chatbots entwerfen, da sie große Mengen an Parametern erfordern.
Mit MLC LLM und Web LLM ist es jetzt möglich, beliebige bereitzustellen Sprachmodell Ihrer Wahl auf jedem Gerät. Die Forscher von Carnegie Mellon haben berichtet, dass dies eine Reihe von Anwendungen eröffnen würde, die zuvor nicht möglich waren. Beliebig Sprachmodell kann jetzt auf verschiedenen Computergeräten wie Laptops und Telefonen oder sogar Prozessoren und Videobeschleunigern bereitgestellt werden. Dies eröffnet eine Welt voller Möglichkeiten für die Verarbeitung natürlicher Sprache und Maschinelles Lernen.
Die neue Initiative von Carnegie Mellon ebnet den Weg für eine Reihe neuer Anwendungen und Verwendungen für das Verständnis natürlicher Sprache. Da Sie diese Sprachmodelle auf jedem Gerät verwenden können, ist es viel einfacher, diese Technologie in vielen verschiedenen Szenarien einzusetzen. Ob für virtuelle Assistenten oder automatisierten Kundendienst, dieses neue Tool könnte drastische Auswirkungen auf die Art und Weise haben, wie diese Aufgaben erledigt werden.
Das Forschungsteam von Carnegie Mellon hat MLC LLM entwickelt, das auf jedem Gerät, einschließlich iPhones und anderen Smart-Home-Geräten, mit einem modernen Prozessor und mindestens 6 GB RAM ausgeführt werden kann. Dieser optimierte Ansatz bedeutet, dass Geräte jetzt Sprachmodelle mit nahezu Echtzeit-Generierungsgeschwindigkeit ausführen können, selbst wenn sie von externen Entwicklern und nicht von Apple-Ingenieuren optimiert wurden.
MLC LLM ermöglicht nicht nur natürliche Interaktionen mit Produkten, sondern kann auch zur Optimierung von Geräteverwaltungsaufgaben verwendet werden. Mit nur 4 GB bis 6 GB RAM, die für den Betrieb benötigt werden, wird dieses revolutionäre Sprachmodell eine hervorragende Ergänzung für zukünftige iPhone-Modelle darstellen und könnte möglicherweise ohne Umwege in die Produktion eingeführt werden Entwicklungsprozess.
Durch die Einführung des MLC LLM SprachmodellForscher von Carnegie Mellon haben eine effiziente und robuste Möglichkeit geschaffen, Sprachmodelle auf jedem Gerät auszuführen. Das MLC LLM-System ist ein Durchbruch in der Verarbeitung natürlicher Sprache wird Benutzer aktivieren um natürlicher und effektiver mit ihren Geräten zu interagieren. Es hat auch das Potenzial, den Entwicklungsprozess für zukünftige Geräteverwaltungsaufgaben erheblich zu beschleunigen. Die Möglichkeiten mit MLC LLM sind endlos, und die Arbeit von Carnegie Mellon wird es mit Sicherheit tun Verändern Sie die Art und Weise, wie wir über Sprachmodelle denken zum besseren.
Lesen Sie mehr über KI:
Haftungsausschluss
Im Einklang mit der Richtlinien des Trust-ProjektsBitte beachten Sie, dass die auf dieser Seite bereitgestellten Informationen nicht als Rechts-, Steuer-, Anlage-, Finanz- oder sonstige Beratung gedacht sind und nicht als solche interpretiert werden sollten. Es ist wichtig, nur so viel zu investieren, wie Sie sich leisten können, zu verlieren, und im Zweifelsfall eine unabhängige Finanzberatung einzuholen. Für weitere Informationen empfehlen wir einen Blick auf die Allgemeinen Geschäftsbedingungen sowie die Hilfe- und Supportseiten des Herausgebers oder Werbetreibenden. MetaversePost ist einer genauen, unvoreingenommenen Berichterstattung verpflichtet, die Marktbedingungen können sich jedoch ohne Vorankündigung ändern.
Über den Autor
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
Weitere Artikel
Damir ist Teamleiter, Produktmanager und Redakteur bei Metaverse Post, behandelt Themen wie KI/ML, AGI, LLMs, Metaverse und Web3-bezogene Felder. Seine Artikel ziehen jeden Monat ein riesiges Publikum von über einer Million Nutzern an. Er scheint ein Experte mit 10 Jahren Erfahrung in SEO und digitalem Marketing zu sein. Damir wurde in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto und andere Publikationen. Als digitaler Nomade reist er zwischen den Vereinigten Arabischen Emiraten, der Türkei, Russland und der GUS. Damir hat einen Bachelor-Abschluss in Physik, der ihm seiner Meinung nach die Fähigkeiten zum kritischen Denken vermittelt hat, die er braucht, um in der sich ständig verändernden Landschaft des Internets erfolgreich zu sein.
