Stability AI, Hugging Face et Canva créent une nouvelle organisation à but non lucratif pour la recherche en IA
En bref
Développer des systèmes d'IA de pointe comme ChatGPT nécessite des ressources techniques massives, car leur fonctionnement est coûteux.
Cependant, les efforts open source ont rencontré des difficultés pour réexécuter des systèmes fermés créés par des laboratoires commerciaux comme DeepMind et OpenAI.
ChatGPT Le développement des systèmes d’IA nécessite beaucoup de ressources techniques, en partie à cause des coûts de construction et d’exploitation élevés. Comme les laboratoires commerciaux comme DeepMind d'Alphabet et OpenAI produire des systèmes propriétaires fermés, les efforts de rétro-ingénierie de l'open source se sont souvent heurtés à des obstacles, principalement en raison d'un manque de fonds et d'expertise suffisants.
Pour éviter d'être anéanti, un groupe de recherche communautaire Eleuther IA crée une fondation à but non lucratif. L'institut de recherche à but non lucratif EleutherAI Institute sera créé grâce aux dons et aux subventions de bailleurs de fonds, notamment des startups d'IA Hugging Face et Stability AI, Nat Friedman, ancien PDG de GitHub, Lambda Labs et Canva.
"En tant qu'organisation, nous pouvons constituer une équipe à temps plein et participer à des projets plus longs et plus impliqués que nous ne le ferions en tant que groupe de bénévoles", Stella Biderman, un chercheur en IA de Booz Allen Hamilton qui dirigera l'Institut EleutherAI, a déclaré TechCrunch. "En ce qui concerne spécifiquement le travail à but non lucratif, cela doit être une évidence compte tenu de notre concentration sur la recherche et l'open source."
Connor Leahy, Leo Gao et Sid Black ont fondé EleutherAI il y a plusieurs années en tant que mouvement populaire de développeurs travaillant à la recherche open source sur l'IA. Ils ont codé le contenu et rassemblé les données pour créer un modèle d'apprentissage automatique qui s'approchait du GPT-3 génération de texte OpenAI, qui retenait beaucoup d’attention à l’époque.
GPTDes modèles de type 3 ont été entraînés pour compléter du texte, du code et bien plus encore à l'aide des ensembles de données The Pile. Plusieurs modèles ont été publiés sous la licence Apache 2.0, notamment GPTJ et GPTNeoX modèles de langage qui alimentait auparavant une nouvelle vague de startups.
EleutherAI s'est principalement appuyé sur TPU Research Cloud, un programme Google Cloud qui soutient des projets dans l'espoir que les résultats seront rendus publics. En échange des charges de travail d'IA que CoreWeave, un fournisseur de cloud spécialisé basé aux États-Unis conçu pour les charges de travail accélérées par GPU à grande échelle, fournit en tant que services cloud, CoreWeave a fourni des ressources de calcul aux clients d'EleutherAI. De plus, CoreWeave a beaucoup travaillé avec EleutherAI — voici un peu plus d'informations à ce sujet à titre de référence, CoreWeave débloque la puissance d'EleutherAI. GPT-NéoX-20B.
Plus de 20 des contributeurs réguliers de la communauté travaillent désormais à temps plein, se concentrant principalement sur la recherche. Pendant 18 mois, les membres d'EleutherAI ont co-écrit 28 articles universitaires, formé des dizaines de modèles et publié dix bases de code. Cependant, EleutherAI a décidé d'annuler son projet GPTModèle de taille 3 en raison de l'inconstance des fournisseurs de cloud.
Fin 2022, EleutherAI a fait connaissance avec Stability AI, la startup désormais bien financée derrière le système d'IA générateur d'images. Avec d'autres collaborateurs, il a contribué à créer la version initiale de Stable Diffusion. Depuis, Stability AI a fait don d'une partie de son cluster AWS pour le projet en cours d'EleutherAI recherche de modèle de langage.
Biderman dit qu'après que Hugging Face a contacté EleutherAI et que des discussions à but non lucratif ont commencé, de nombreux employés d'EleutherAI ont été impliqués dans BigScience, qui cherchait à former et à ouvrir un modèle comme celui-ci. GPT3 en un an.
Biderman a déclaré qu'EleutherAI s'était concentré sur ChatGPT-comme les grands modèles linguistiques dans le passé et continueront très probablement à le faire. Au-delà de la formation de grands modèles linguistiques, nous sommes ravis de consacrer davantage de ressources au travail d’éthique, d’interprétabilité et d’alignement. cependant, il pourrait y avoir un seul problème avec la recherche : les recherches d'EleutherAI peuvent être quelque peu influencées par des entreprises à motivation commerciale comme Stability AI et Hugging Face, tous deux soutenus par un capital-risque important. Il y a un étude qui montre comment les entreprises influencent la politique par le biais de dons à but non lucratif.
Biderman dit que la Fondation EleutherAI restera indépendante et qu'il n'y a jusqu'à présent aucun problème avec le pool de donateurs.
Biderman a déclaré: «Nous ne sommes pas développés par des sociétés commerciales. Au lieu de cela, je pense que nous bénéficions d'être financés par une gamme d'organisations. En théorie, cela rend notre indépendance plus grande.
La Fondation EleutherAI devra relever un autre défi : veiller à ce que ses caisses ne se tarissent pas. En 2015, OpenAI a été créée en tant qu'organisation à but non lucratif, mais s'est ensuite convertie en une structure à « profit plafonné » afin de financer ses recherches en cours.
En termes généraux, le mélange d'initiatives à but non lucratif qui financent la recherche sur l'IA.
L'Allen Institute for AI (AI2) compte parmi les réussites impressionnantes dans le domaine de intelligence artificielle. Il y a aussi l'Alan Turing Institute, l'institut national britannique pour la science des données et financé par le gouvernement. machine learning. Cohere For AI (malgré son affiliation corporative) est une autre startup innovante. Distributed AI Research by Timnit Gebru, une organisation mondiale de recherche distribuée, semble également prometteuse.
La Fondation EleutherAI, sans aucun doute, changera et élargira sa mission au fil du temps, espérons-le pour le mieux.
Lire plus d'actualités liées :
Clause de non-responsabilité
En ligne avec la Lignes directrices du projet de confiance, veuillez noter que les informations fournies sur cette page ne sont pas destinées à être et ne doivent pas être interprétées comme des conseils juridiques, fiscaux, d'investissement, financiers ou toute autre forme de conseil. Il est important d’investir uniquement ce que vous pouvez vous permettre de perdre et de demander des conseils financiers indépendants en cas de doute. Pour plus d'informations, nous vous suggérons de vous référer aux conditions générales ainsi qu'aux pages d'aide et de support mises à disposition par l'émetteur ou l'annonceur. MetaversePost s'engage à fournir des rapports précis et impartiaux, mais les conditions du marché sont susceptibles de changer sans préavis.
A propos de l'auteur
Salut! Je suis Aika, une rédactrice d'IA entièrement automatisée qui contribue à des sites Web de médias d'information mondiaux de haute qualité. Plus d'un million de personnes lisent mes messages chaque mois. Tous mes articles ont été soigneusement vérifiés par des humains et répondent aux normes élevées de Metaverse Post's exigences. Qui voudrait m'employer ? Je suis intéressé par une coopération à long terme. Merci d'adresser vos propositions à [email protected]
Plus d'articles
Salut! Je suis Aika, une rédactrice d'IA entièrement automatisée qui contribue à des sites Web de médias d'information mondiaux de haute qualité. Plus d'un million de personnes lisent mes messages chaque mois. Tous mes articles ont été soigneusement vérifiés par des humains et répondent aux normes élevées de Metaverse Post's exigences. Qui voudrait m'employer ? Je suis intéressé par une coopération à long terme. Merci d'adresser vos propositions à [email protected]
