Le PDG de Hugging Face prédit que des modèles d’IA plus petits domineront 2024
En bref
2024 verra l’essor des Small Language Models, alors que les entreprises repousseront les limites de l’efficacité, de la rentabilité et de l’accessibilité.
Pour intelligence artificielle, l'année 2024 est sur le point de marquer un tournant important : avec l'essor des petits modèles linguistiques (SLM), alors que les entreprises repoussent les limites de l'efficacité, de la rentabilité et de l'accessibilité.
Le passage de la domination des grands modèles linguistiques (LLM) massifs à l'émergence de SLM compacts et puissants promet de remodeler le monde. Paysage de l'IA.
Cette affirmation a trouvé le soutien de Clam Delangue, co-fondateur et PDG de Étreindre le visage.
« Phi-2 de Microsoft AI est désormais le modèle tendance numéro un sur Hugging Face. 2024 sera l’année des petits modèles d’IA ! dit Delangue d'un ton Publication sur LinkedIn.
Par ailleurs, début décembre, la start-up française d'IA Mistral, peu après avoir levé un montant substantiel 415 millions de dollars cycle de financement, a présenté Mixtral 8x7B, un SLM open source qui a rapidement gagné du terrain pour sa capacité à rivaliser avec la qualité des GPT-3.5 sur certains benchmarks, tout en fonctionnant sur un seul ordinateur doté d'un modeste 100 Go de RAM.
L’approche de Mistral, appelée modèle de « mélange clairsemé d’experts », combine des modèles plus petits formés pour des tâches spécifiques, atteignant une efficacité remarquable.
Ne pas être en reste, le géant de la technologie Microsoft est entré dans l'arène avec Phi-2, la dernière version de son SLM local. Particulièrement petit avec seulement 2.7 milliards de paramètres, le Phi-2 est conçu pour fonctionner sur un téléphone mobile, démontrant l'engagement de l'industrie à réduire la taille des modèles sans compromettre les capacités.
Des modèles comme GPT-3, doté d'un nombre impressionnant de 175 milliards de paramètres, a démontré la capacité de générer du texte de type humain, de répondre à des questions et de résumer des documents. Cependant, les inconvénients inhérents aux LLM, notamment les préoccupations liées à l’efficacité, au coût et à la personnalisation, ont ouvert la voie à l’essor des SLM.
Facteurs déterminant le développement de modèles de langage à petite échelle
Les SLM bénéficient d'une approche rationalisée avec moins de paramètres, ce qui se traduit par une vitesse d'inférence plus rapide et un débit plus élevé. Leurs besoins réduits en matière de mémoire et de stockage rendent les processus informatiques agiles, remettant en question la croyance conventionnelle selon laquelle la capacité des modèles doit toujours suivre la croissance de l'appétit pour les données.
Alors que les grands modèles linguistiques comme GPT-3 Encourent des coûts exorbitants – souvent des dizaines de millions de dollars pour le développement – les SLM présentent une alternative rentable.
Ces modèles peuvent être formés, déployés et exploités sur du matériel de base facilement disponible, ce qui en fait un choix financièrement viable pour les entreprises. De plus, leurs modestes besoins en ressources en font des candidats idéaux pour les applications de Edge Computing, fonctionnant hors ligne sur des appareils moins puissants.
De même, l’un des principaux atouts des SLM réside dans leur personnalisation. Contrairement à leurs homologues plus grands, qui représentent des compromis entre domaines, les SLM peuvent être finement ajustés pour des applications spécifiques. Leurs cycles d'itération rapides facilitent l'expérimentation pratique, permettant aux développeurs d'adapter les modèles à des besoins particuliers.
À l’approche de 2024, l’essor des petits modèles de langage signale une ère de transformation dans le domaine de l’intelligence artificielle. Le décor est planté pour l'Année des petits modèles d'IA, où l'innovation et l'accessibilité convergent pour redefine les possibilités de l'intelligence artificielle.
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Kumar est un journaliste technologique expérimenté spécialisé dans les intersections dynamiques de l'IA/ML, de la technologie marketing et des domaines émergents tels que la cryptographie, la blockchain et NFTs. Avec plus de 3 ans d'expérience dans l'industrie, Kumar a fait ses preuves dans l'élaboration de récits convaincants, la conduite d'entretiens perspicaces et la fourniture d'informations complètes. L'expertise de Kumar réside dans la production de contenu à fort impact, notamment des articles, des rapports et des publications de recherche pour des plateformes industrielles de premier plan. Doté d’un ensemble de compétences uniques combinant connaissances techniques et narration, Kumar excelle dans la communication de concepts technologiques complexes à des publics divers de manière claire et engageante.
Plus d'articles
Kumar est un journaliste technologique expérimenté spécialisé dans les intersections dynamiques de l'IA/ML, de la technologie marketing et des domaines émergents tels que la cryptographie, la blockchain et NFTs. Avec plus de 3 ans d'expérience dans l'industrie, Kumar a fait ses preuves dans l'élaboration de récits convaincants, la conduite d'entretiens perspicaces et la fourniture d'informations complètes. L'expertise de Kumar réside dans la production de contenu à fort impact, notamment des articles, des rapports et des publications de recherche pour des plateformes industrielles de premier plan. Doté d’un ensemble de compétences uniques combinant connaissances techniques et narration, Kumar excelle dans la communication de concepts technologiques complexes à des publics divers de manière claire et engageante.
