Los investigadores desafían la noción de "habilidades emergentes" de los modelos de lenguaje grandes
En Resumen
El apocalipsis de AGI es preocupante debido al fenómeno de los grandes modelos de lenguaje que repentinamente demostrando habilidades que los modelos más pequeños no parecen tener.
Este fenómeno se denomina "habilidades emergentes de los modelos de lenguaje grandes".
Los autores del artículo “¿Son las habilidades emergentes de los modelos lingüísticos grandes un espejismo?” Argumentan que el efecto de las habilidades emergentes no es un espejismo, sino más bien un crecimiento predecible en la capacidad para realizar tareas.
Muestran que al menos el 92% de los problemas de Big Bench no tienen un avance repentino para los modelos grandes, y la calidad de sus modelos crece de manera suave y predecible a medida que aumenta el tamaño de los modelos.
En un examen reciente de las capacidades potenciales de los grandes modelos lingüísticos, los investigadores cuestionan la noción de "habilidades emergentes" y arrojan luz sobre un aspecto más predecible de su funcionalidad. El artículo titulado “Revelando las realidades de las habilidades emergentes de los grandes modelos de lenguaje"Llama la atención sobre la mala interpretación de las métricas que ha llevado a la idea errónea de que estos modelos adquieren espontáneamente habilidades avanzadas.
El concepto de "habilidades emergentes”en el contexto de grandes modelos lingüísticos, como el GPT serie, ha alimentado preocupaciones sobre el potencial de estos modelos para desarrollar capacidades imprevistas similares a la conciencia humana. Este artículo afirma que estas suposiciones se han basado en una comprensión errónea del comportamiento y las capacidades reales de los modelos.
El fenómeno comúnmente observado, en el que los modelos más grandes aparentemente adquieren habilidades recién descubiertas, como el razonamiento abstracto, la resolución de problemas e incluso el humor, se ha denominado "habilidades emergentes de los modelos de lenguaje grandes". Los autores del artículo sostienen que estas habilidades no son tan espontáneas como parecen, sino más bien el resultado de métricas de evaluación engañosas.
Para ilustrar su punto, los investigadores consideran la tarea de "adivinar el acertijo", un problema en el que se requiere que el modelo de lenguaje comprenda un acertijo en lenguaje natural y responda con la respuesta correcta en lenguaje natural. Tradicionalmente, la calidad de las respuestas se ha evaluado mediante una métrica binaria: a una respuesta se le asigna una puntuación de 1 si coincide exactamente con la respuesta correcta y una puntuación de 0 en caso contrario.
El quid de la cuestión radica en la sensibilidad de la métrica a la complejidad de la tarea y al número de parámetros del modelo. Los investigadores revelan que esta métrica binaria conduce a una percepción engañosa de “habilidades emergentes”. Los modelos más pequeños a menudo exhiben una precisión insignificante (eps) en esta métrica, mientras que los modelos más grandes, particularmente aquellos con un alto recuento de parámetros, parecen alcanzar niveles de precisión notables (acc > 0.5).
El artículo sostiene que este aparente cambio en la capacidad no es indicativo de que los modelos adquieran espontáneamente habilidades complejas. En cambio, la capacidad de los modelos para comprender y generar respuestas más matizadas surge de una evaluación más meticulosa de sus resultados. Al centrarse en la coincidencia probabilística y la coherencia semántica en lugar de en las coincidencias exactas de cadenas, los investigadores muestran que la progresión de los modelos en desempeño sigue una trayectoria más lógica, independientemente de su tamaño.
Investigación de la evolución del rendimiento del modelo con parámetros cambiantes
En una investigación analítica, los investigadores descubren la mecánica sutil detrás de las “habilidades emergentes” percibidas de grandes modelos de lenguaje. El estudio cuestiona la influencia de las métricas superdiscretas en la evaluación del rendimiento del modelo y aclara una comprensión más predictiva de sus capacidades a medida que se expanden los parámetros del modelo.
La noción predominante de “habilidades emergentes” en modelos lingüísticos expansivos ha cautivado los debates y suscitado preocupaciones sobre posibles avances. Este estudio busca desentrañar la mecánica subyacente a este fenómeno y descifrar si estos modelos realmente exhiben capacidades repentinas y sin precedentes o si estos avances percibidos pueden atribuirse a una causa diferente.
En el centro del estudio se encuentra una evaluación meticulosa de las métricas empleadas para medir el rendimiento del modelo. Los investigadores sostienen que el uso de métricas superdiscretas, particularmente la métrica binaria convencional que determina coincidencias exactas de cadenas, podría distorsionar la interpretación de grandes habilidades de modelo de lenguaje. El estudio analiza meticulosamente cómo evoluciona la distribución de probabilidad de las respuestas generadas por el modelo a medida que escalan los parámetros del modelo.
Contrariamente a la noción de “habilidades emergentes”, el estudio revela una tendencia más sistemática. A medida que aumenta el tamaño del modelo, mejora su capacidad para asignar mayores probabilidades a las respuestas apropiadas y menores probabilidades a las incorrectas. Esto refleja una mejora constante en la capacidad del modelo para resolver problemas hábilmente en una amplia gama de tamaños. En esencia, la investigación sugiere que el proceso de aprendizaje de los modelos sigue undefitrayectoria definida de mejora en lugar de un salto repentino.
Los autores introducen un cambio de paradigma al proponer la sustitución de métricas discretas por continuas. Este cambio ofrece una imagen más clara de la evolución del rendimiento. A través de su análisis, los investigadores determinan que aproximadamente el 92% de los Problemas del banco grande exhiben un crecimiento suave y predecible en la calidad a medida que se expande el tamaño del modelo. Este hallazgo desafía la noción de que los modelos más grandes experimentan avances repentinos y, en cambio, destaca una progresión más gradual y anticipada.
El estudio amplía sus conocimientos para validar sus afirmaciones. Demuestra que el mismo efecto de "capacidad emergente" puede simularse artificialmente utilizando codificadores automáticos convencionales, lo que sugiere que la elección de métricas influye significativamente en los resultados percibidos. Esta revelación amplía el alcance de las implicaciones del estudio, demostrando su relevancia más allá de los modelos lingüísticos únicamente.
Los investigadores enfatizan que sus resultados no defiNiega nitivamente el potencial de “habilidades emergentes” o conciencia en modelos de lenguaje grandes. Sin embargo, sus hallazgos alientan a los investigadores a abordar tales afirmaciones con una perspectiva matizada. En lugar de extrapolar apresuradamente y sacar conclusiones extremas, el estudio subraya la importancia de una investigación meticulosa y un análisis exhaustivo.
Lea más sobre la IA:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
Más artículos
Damir es el líder del equipo, gerente de producto y editor en Metaverse Post, que cubre temas como AI/ML, AGI, LLM, Metaverse y Web3-campos relacionados. Sus artículos atraen una audiencia masiva de más de un millón de usuarios cada mes. Parece ser un experto con 10 años de experiencia en SEO y marketing digital. Damir ha sido mencionado en Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto y otras publicaciones. Viaja entre los Emiratos Árabes Unidos, Turquía, Rusia y la CEI como nómada digital. Damir obtuvo una licenciatura en física, que él cree que le ha dado las habilidades de pensamiento crítico necesarias para tener éxito en el panorama siempre cambiante de Internet.
