Des chercheurs de Carnegie Mellon présentent MLC LLM pour exécuter des modèles de langage sur n'importe quel appareil
En bref
MLC LLM et Web LLM permettent aux utilisateurs de déployer modèles de langage sur n'importe quel appareil, permettant de nouvelles applications et usages pour la compréhension du langage naturel.
Des chercheurs de l'Université Carnegie Mellon ont présenté MLC LLM, un ensemble d'outils qui pourraient révolutionner la façon dont les modèles de langage sont exécutés sur n'importe quel appareil. Ces modèles permettent aux utilisateurs de créer une gamme d'applications en langage naturel, telles que des assistants virtuels et des chatbots intelligents. Grâce à des optimisations de performances distinctes, MLC LLM peut désormais être utilisé sur différentes plateformes et scénarios.
Le nouvel outil, connu sous le nom de LLM Web, fait également partie de cette initiative. Il permet le lancement de modèles de langage directement dans le navigateur, ce qui signifie que les utilisateurs n'ont pas à télécharger manuellement le système, qui peut avoir une taille de plusieurs gigaoctets. Le modèle Vicuna 7B, qui compte 7 milliards de paramètres, a été créé de cette manière. Cela peut être extrêmement utile lors de la conception d'assistants virtuels et de chatbots plus adaptés, car ils nécessitent de grandes quantités de paramètres.
En utilisant MLC LLM et Web LLM, il est maintenant possible de déployer n'importe modèle de langage de choix sur n’importe quel appareil. Les chercheurs de Carnegie Mellon ont indiqué que cela ouvrirait la voie à une gamme d'applications qui n'étaient pas possibles auparavant. N'importe lequel modèle de langage peut désormais être déployé sur divers appareils informatiques, tels que des ordinateurs portables et des téléphones, ou encore des processeurs et des accélérateurs vidéo. Cela ouvre un monde de possibilités pour le traitement du langage naturel et machine learning.
La nouvelle initiative de Carnegie Mellon ouvre la voie à une gamme de nouvelles applications et utilisations pour la compréhension du langage naturel. Comme vous pouvez utiliser ces modèles de langage sur n'importe quel appareil, il est beaucoup plus facile de déployer une telle technologie dans de nombreux scénarios différents. Que ce soit pour les assistants virtuels ou le service client automatisé, ce nouvel outil pourrait avoir un impact drastique sur la façon dont ces tâches sont effectuées.
L'équipe de recherche de Carnegie Mellon a développé MLC LLM pour être exécuté sur n'importe quel appareil, y compris les iPhones et autres appareils domestiques intelligents, avec un processeur moderne et 6 Go ou plus de RAM. Cette approche simplifiée signifie que les appareils peuvent désormais exécuter des modèles de langage avec une vitesse de génération presque en temps réel, même lorsqu'ils sont optimisés par des développeurs externes et non par des ingénieurs Apple.
En plus de permettre des interactions naturelles avec les produits, MLC LLM peut également être utilisé pour optimiser les tâches de gestion des appareils. Avec seulement 4 Go à 6 Go de RAM nécessaires pour fonctionner, ce modèle de langage révolutionnaire constituera un excellent ajout aux futurs modèles d'iPhone et pourrait potentiellement être mis en production sans les longues processus de développement.
En introduisant le MLC LLM modèle de langage, les chercheurs de Carnegie Mellon ont créé un moyen efficace et robuste d'exécuter des modèles de langage sur n'importe quel appareil. Le système MLC LLM est une percée dans le traitement du langage naturel et permettra aux utilisateurs pour interagir naturellement avec leurs appareils plus efficacement. Il a également le potentiel d'accélérer considérablement le processus de développement pour les futures tâches de gestion des appareils. Les possibilités sont infinies avec MLC LLM, et le travail de Carnegie Mellon sera sûrement transformer notre façon de penser les modèles de langage pour le meilleur.
En savoir plus sur l'IA :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
Plus d'articles
Damir est chef d'équipe, chef de produit et rédacteur en chef chez Metaverse Post, couvrant des sujets tels que l'IA/ML, l'AGI, les LLM, le métaverse et Web3-domaines connexes. Ses articles attirent une audience massive de plus d'un million d'utilisateurs chaque mois. Il semble être un expert avec 10 ans d'expérience dans le référencement et le marketing numérique. Damir a été mentionné dans Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto et d'autres publications. Il voyage entre les Émirats arabes unis, la Turquie, la Russie et la CEI en tant que nomade numérique. Damir a obtenu un baccalauréat en physique, ce qui, selon lui, lui a donné les compétences de pensée critique nécessaires pour réussir dans le paysage en constante évolution d'Internet.
