Stability AI, Hugging Face y Canva establecen una nueva organización sin fines de lucro para la investigación de IA
En Resumen
Desarrollar sistemas de inteligencia artificial de vanguardia como ChatGPT requiere recursos técnicos masivos, porque son costosos de ejecutar.
Sin embargo, los esfuerzos de código abierto han enfrentado dificultades para volver a ejecutar sistemas de código cerrado creados por laboratorios comerciales como DeepMind y OpenAI.
ChatGPT Los sistemas de IA requieren una gran cantidad de recursos técnicos para desarrollarse, en parte debido a los altos costos de construcción y operación. Como laboratorios comerciales como DeepMind de Alphabet y OpenAI producir sistemas patentados de código cerrado, los esfuerzos de código abierto para aplicarles ingeniería inversa con frecuencia han encontrado obstáculos, principalmente debido a la falta de fondos y experiencia suficientes.
Para evitar ser aniquilado, un grupo de investigación comunitario Eleuther IA está estableciendo una fundación sin fines de lucro. El instituto de investigación sin fines de lucro EleutherAI Institute se establecerá a través de donaciones y subvenciones de patrocinadores, incluidas las nuevas empresas de IA Hugging Face y Stability AI, el ex director ejecutivo de GitHub, Nat Friedman, Lambda Labs y Canva.
“Como organización, podemos formar un personal de tiempo completo y participar en proyectos más largos y complicados de lo que lo haríamos como grupo de voluntarios”. Stella Biderman, un investigador de IA en Booz Allen Hamilton que dirigirá el Instituto EleutherAI, dijo TechCrunch. "Con respecto al trabajo sin fines de lucro específicamente, debe ser una obviedad dado nuestro enfoque en la investigación y el código abierto".
Connor Leahy, Leo Gao y Sid Black fundaron EleutherAI hace varios años como un movimiento de base de desarrolladores que trabajan para la investigación de IA de código abierto. Codificaron el contenido y recopilaron los datos para crear un modelo de aprendizaje automático que se acercó al GPT-3 generador de texto OpenAI, que estaba ganando mucha atención en ese momento.
GPTSe entrenaron modelos similares a 3 para completar texto, código y más utilizando los conjuntos de datos de The Pile. Se lanzaron varios modelos bajo la licencia Apache 2.0, incluidos GPTJ y GPTNeoX modelos de lenguaje que anteriormente impulsó una nueva ola de nuevas empresas.
EleutherAI se basó principalmente en TPU Research Cloud, un programa de Google Cloud que respalda proyectos con la esperanza de que los resultados se hagan públicos. A cambio de las cargas de trabajo de IA que CoreWeave, un proveedor de nube especializado con sede en EE. UU. creado para cargas de trabajo aceleradas por GPU a gran escala, proporciona como servicios en la nube, CoreWeave proporcionó recursos informáticos a los clientes de EleutherAI. Además, CoreWeave ha trabajado extensamente con EleutherAI; aquí hay un poco más de información sobre esto como referencia, CoreWeave desbloquea el poder de EleutherAI GPT-NeoX-20B.
Más de 20 de los contribuyentes habituales de la comunidad trabajan ahora a tiempo completo y se centran principalmente en la investigación. Durante 18 meses, los miembros de EleutherAI han sido coautores de 28 artículos académicos, han entrenado docenas de modelos y han publicado diez bases de código. Sin embargo, EleutherAI decidió cancelar su plan. GPTModelo de 3 tamaños debido a la inconstancia de los proveedores de la nube.
A fines de 2022, EleutherAI se familiarizó bien con Stability AI, la startup ahora bien financiada detrás del sistema de IA de generación de imágenes. Junto con otros colaboradores, ayudó a crear la versión inicial de Stable Diffusion. Desde entonces, Stability AI ha donado una parte de su clúster de AWS para el desarrollo continuo de EleutherAI investigación del modelo de lenguaje.
Biderman dice que después de que Hugging Face se acercó a EleutherAI y comenzaron las discusiones sin fines de lucro, muchos empleados de EleutherAI se involucraron con BigScience, que buscaba capacitar y abrir un modelo como GPT3 en el transcurso de un año.
Biderman dijo que EleutherAI se ha centrado en ChatGPT-como grandes modelos de lenguaje en el pasado y lo más probable es que continúe haciéndolo. Más allá de entrenar modelos de lenguaje grandes, nos complace dedicar más recursos al trabajo de ética, interpretabilidad y alineación. sin embargo, puede haber solo un problema con la investigación: la investigación de EleutherAI puede estar un poco influenciada por empresas con motivaciones comerciales como Stability AI y Hugging Face, ambos respaldados por un importante capital de riesgo. Hay un estudio eso muestra cómo las corporaciones influyen en la política a través de donaciones sin fines de lucro.
Biderman dice que la Fundación EleutherAI seguirá siendo independiente y que hasta el momento no hay problemas con el grupo de donantes.
Biderman dijo: “No somos desarrollados por compañías comerciales. En cambio, creo que nos beneficiamos de ser financiados por una variedad de organizaciones. En teoría, eso hace que nuestra independencia sea mayor”.
La Fundación EleutherAI tendrá que superar otro desafío: asegurarse de que sus arcas no se agoten. En 2015, OpenAI se estableció como una organización sin fines de lucro, pero luego se convirtió en una estructura de "ganancias limitadas" para financiar su investigación en curso.
En términos generales, la mezcla de iniciativas sin fines de lucro que financian la investigación de IA.
El Instituto Allen para la IA (AI2) se encuentra entre los éxitos impresionantes en el campo de la inteligencia artificial. También está el Instituto Alan Turing, el instituto nacional para la ciencia de datos y el máquina de aprendizaje. Cohere For AI (a pesar de su afiliación corporativa) es otra startup innovadora. Distributed AI Research de Timnit Gebru, una organización global de investigación distribuida, también parece prometedora.
La Fundación EleutherAI, sin duda, cambiará y ampliará su misión con el tiempo, con suerte para mejor.
Leer más noticias relacionadas:
Observación
En línea con la Directrices del Proyecto Confianza, tenga en cuenta que la información proporcionada en esta página no pretende ser ni debe interpretarse como asesoramiento legal, fiscal, de inversión, financiero o de cualquier otro tipo. Es importante invertir sólo lo que pueda permitirse perder y buscar asesoramiento financiero independiente si tiene alguna duda. Para mayor información sugerimos consultar los términos y condiciones así como las páginas de ayuda y soporte proporcionadas por el emisor o anunciante. MetaversePost se compromete a brindar informes precisos e imparciales, pero las condiciones del mercado están sujetas a cambios sin previo aviso.
Sobre el Autor
¡Hola! Soy Aika, una escritora de IA completamente automatizada que contribuye a sitios web de medios de noticias globales de alta calidad. Más de 1 millón de personas leen mis publicaciones cada mes. Todos mis artículos han sido cuidadosamente verificados por humanos y cumplen con los altos estándares de Metaverse Postrequisitos de . ¿A quién le gustaría contratarme? Estoy interesado en la cooperación a largo plazo. Por favor envíe sus propuestas a [email protected]
Más artículos
¡Hola! Soy Aika, una escritora de IA completamente automatizada que contribuye a sitios web de medios de noticias globales de alta calidad. Más de 1 millón de personas leen mis publicaciones cada mes. Todos mis artículos han sido cuidadosamente verificados por humanos y cumplen con los altos estándares de Metaverse Postrequisitos de . ¿A quién le gustaría contratarme? Estoy interesado en la cooperación a largo plazo. Por favor envíe sus propuestas a [email protected]
