El director ejecutivo de Hugging Face predice que los modelos de IA más pequeños dominarán el 2024
En Resumen
En 2024 veremos el surgimiento de los modelos de lenguajes pequeños, a medida que las empresas traspasen los límites de la eficiencia, la rentabilidad y la accesibilidad.
inteligencia artificial, el año 2024 está llamado a marcar un importante punto de inflexión: con el surgimiento de los modelos de lenguaje pequeño (SLM), a medida que las empresas superan los límites de la eficiencia, la rentabilidad y la accesibilidad.
El viaje desde el predominio de los modelos de lenguajes grandes (LLM) masivos hasta el surgimiento de SLM compactos y potentes promete remodelar la Panorama de la IA.
Esta afirmación ha encontrado su respaldo en Clam Delangue, cofundador y director ejecutivo de Abrazando la cara.
“Phi-2 de Microsoft AI es ahora el modelo de tendencia número uno en Hugging Face. ¡2024 será el año de los pequeños modelos de IA!” dijo Delangue, en un Publicación de LinkedIn.
Además, a principios de diciembre, la startup francesa de IA Mistral, poco después de recaudar una importante 415 millones de dólares ronda de financiación, presentó Mixtral 8x7B, un SLM de código abierto que rápidamente ha ganado terreno por su capacidad para rivalizar con la calidad de GPT-3.5 en ciertos puntos de referencia, todo mientras se ejecuta en una sola computadora con unos modestos 100 gigabytes de RAM.
El enfoque de Mistral, denominado modelo de “mezcla dispersa de expertos”, combina modelos más pequeños entrenados para tareas específicas, logrando una eficiencia notable.
Para no quedarse atrás, gigante tecnológico Microsoft entró en escena con Phi-2, la última versión de su SLM local. Phi-2.7, notablemente pequeño con sólo 2 millones de parámetros, está diseñado para funcionar en un teléfono móvil, lo que demuestra el compromiso de la industria de reducir el tamaño de los modelos sin comprometer las capacidades.
Modelos como GPT-3, con la asombrosa cantidad de 175 mil millones de parámetros, mostró la capacidad de generar texto similar a un humano, responder preguntas y resumir documentos. Sin embargo, las desventajas inherentes de los LLM, incluidas las preocupaciones relacionadas con la eficiencia, el costo y la personalización, han allanado el camino para el ascenso de los SLM.
Factores que impulsan el desarrollo de modelos lingüísticos a pequeña escala
Los SLM cuentan con un enfoque optimizado con menos parámetros, lo que da como resultado una velocidad de inferencia más rápida y un mayor rendimiento. Sus requisitos reducidos de memoria y almacenamiento hacen que los procesos computacionales sean ágiles, desafiando la creencia convencional de que la capacidad del modelo siempre debe ir paralela al crecimiento del apetito por los datos.
Mientras que los modelos de lenguaje grandes como GPT-3 Aunque los países incurren en costos exorbitantes (a menudo de decenas de millones de dólares para el desarrollo), los GST presentan una alternativa rentable.
Estos modelos se pueden entrenar, implementar y operar en hardware básico disponible, lo que los convierte en una opción financieramente viable para las empresas. Además, sus modestos requisitos de recursos los posicionan como candidatos ideales para aplicaciones en informática de punta, que se ejecutan sin conexión en dispositivos de menor potencia.
De manera similar, una fortaleza clave de los SLM radica en su capacidad de personalización. A diferencia de sus homólogos más grandes, que representan compromisos entre dominios, los SLM se pueden ajustar con precisión para aplicaciones específicas. Sus rápidos ciclos de iteración facilitan la experimentación práctica, lo que permite a los desarrolladores adaptar modelos a necesidades particulares.
A medida que nos acercamos a 2024, el auge de los modelos de lenguaje pequeños señala una era transformadora en la inteligencia artificial. El escenario está preparado para el Año de los pequeños modelos de IA, donde la innovación y la accesibilidad convergen para redefine las posibilidades de la inteligencia artificial.
Aviso
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Kumar es un periodista tecnológico experimentado con especialización en las intersecciones dinámicas de AI/ML, tecnología de marketing y campos emergentes como cripto, blockchain y NFTs. Con más de 3 años de experiencia en la industria, Kumar ha establecido una trayectoria comprobada en la elaboración de narrativas convincentes, la realización de entrevistas interesantes y la entrega de conocimientos integrales. La experiencia de Kumar radica en la producción de contenido de alto impacto, incluidos artículos, informes y publicaciones de investigación para plataformas industriales destacadas. Con un conjunto de habilidades único que combina conocimiento técnico y narración, Kumar se destaca en comunicar conceptos tecnológicos complejos a audiencias diversas de una manera clara y atractiva.
Más artículos
Kumar es un periodista tecnológico experimentado con especialización en las intersecciones dinámicas de AI/ML, tecnología de marketing y campos emergentes como cripto, blockchain y NFTs. Con más de 3 años de experiencia en la industria, Kumar ha establecido una trayectoria comprobada en la elaboración de narrativas convincentes, la realización de entrevistas interesantes y la entrega de conocimientos integrales. La experiencia de Kumar radica en la producción de contenido de alto impacto, incluidos artículos, informes y publicaciones de investigación para plataformas industriales destacadas. Con un conjunto de habilidades único que combina conocimiento técnico y narración, Kumar se destaca en comunicar conceptos tecnológicos complejos a audiencias diversas de una manera clara y atractiva.
