Stability AI, Hugging Face en Canva richten nieuwe non-profitorganisatie op voor AI-onderzoek
In het kort
Het ontwikkelen van geavanceerde AI-systemen zoals ChatGPT vereist enorme technische middelen, omdat het duur is om ze te exploiteren.
Open source-inspanningen hebben echter problemen ondervonden bij het opnieuw draaien van gesloten bronsystemen die zijn gemaakt door commerciële laboratoria als DeepMind en OpenAI.
ChatGPT Voor de ontwikkeling van AI-systemen zijn veel technische middelen nodig, deels vanwege de hoge bouw- en exploitatiekosten. Zoals commerciële laboratoria zoals DeepMind van Alphabet en OpenAI Om eigen closed-sourcesystemen te produceren, stuitten open-sourcepogingen om deze te reverse-engineeren vaak op obstakels – vooral als gevolg van een gebrek aan voldoende geld en expertise.
Om te voorkomen dat ze worden weggevaagd, een gemeenschapsonderzoeksgroep Eleuther AI richt een stichting zonder winstoogmerk op. Het non-profit onderzoeksinstituut EleutherAI Institute zal worden opgericht dankzij donaties en subsidies van donateurs, waaronder AI-startups Hugging Face en Stability AI, voormalig GitHub-CEO Nat Friedman, Lambda Labs en Canva.
"Als organisatie kunnen we een fulltime staf opbouwen en deelnemen aan langere en meer betrokken projecten dan we zouden doen als een vrijwilligersgroep," Stella Biderman, vertelde een AI-onderzoeker bij Booz Allen Hamilton die het EleutherAI Institute zal leiden TechCrunch. "Met betrekking tot non-profitwerk in het bijzonder, moet het een goed idee zijn, gezien onze focus op onderzoek en open source."
Connor Leahy, Leo Gao en Sid Black richtten enkele jaren geleden EleutherAI op als een basisbeweging van ontwikkelaars die werken aan open source AI-onderzoek. Ze codeerden de inhoud en verzamelden de gegevens om een machine learning-model te creëren dat de GPT-3 tekst genereren OpenAI, die destijds veel aandacht kreeg.
GPTDrie-achtige modellen werden getraind om tekst, code en meer te voltooien met behulp van The Pile-datasets. Er zijn verschillende modellen uitgebracht onder de Apache 3-licentie, waaronder GPTJ en GPTNeoX taalmodellen die eerder een nieuwe golf van startups aanwakkerde.
EleutherAI vertrouwde vooral op de TPU Research Cloud, een Google Cloud-programma dat projecten ondersteunt in de hoop dat de resultaten openbaar zullen worden gemaakt. In ruil voor AI-workloads die CoreWeave, een in de VS gevestigde gespecialiseerde cloudprovider gebouwd voor grootschalige GPU-versnelde workloads, levert als cloudservices, leverde CoreWeave computerbronnen aan EleutherAI-klanten. Bovendien heeft CoreWeave uitgebreid samengewerkt met EleutherAI - hier is ter referentie wat meer informatie hierover. CoreWeave ontgrendelt de kracht van EleutherAI's GPT-NeoX-20B.
Meer dan twintig vaste bijdragers van de gemeenschap werken nu fulltime en richten zich vooral op onderzoek. Achttien maanden lang hebben EleutherAI-leden co-auteur geweest van 20 academische artikelen, tientallen modellen getraind en tien codebases uitgebracht. EleutherAI besloot echter de geplande te annuleren GPT3-size model vanwege de wispelturigheid van cloudproviders.
Eind 2022 maakte EleutherAI goed kennis met Stability AI, de inmiddels goed gefinancierde startup achter het beeldgenererende AI-systeem. Samen met andere medewerkers hielp het bij het creëren van de eerste versie van Stable Diffusion. Vanaf dat moment, Stability AI heeft een deel van zijn AWS-cluster gedoneerd voor de lopende activiteiten van EleutherAI onderzoek naar taalmodellen.
Biderman zegt dat nadat Hugging Face EleutherAI had benaderd en discussies over non-profitorganisaties waren begonnen, veel medewerkers van EleutherAI betrokken waren bij BigScience, dat een model als GPT3 in de loop van een jaar.
Biderman zei dat EleutherAI zich hierop heeft geconcentreerd ChatGPT-zoals grote taalmodellen in het verleden en dat zal waarschijnlijk zo blijven. Naast het trainen van grote taalmodellen, willen we graag meer middelen besteden aan ethiek, interpreteerbaarheid en afstemmingswerk. er kan echter slechts één probleem zijn met het onderzoek: het onderzoek van EleutherAI kan enigszins worden beïnvloed door commercieel gemotiveerde ondernemingen zoals Stability AI en Hugging Face, die beide worden ondersteund door aanzienlijk durfkapitaal. Er is een studies dat laat zien hoe bedrijven het beleid beïnvloeden door middel van donaties zonder winstoogmerk.
Biderman zegt dat de EleutherAI Foundation onafhankelijk zal blijven en dat er tot nu toe geen problemen zijn met de donorpool.
Biderman zei: “We zijn niet ontwikkeld door commerciële bedrijven. In plaats daarvan denk ik dat we baat hebben bij financiering door een reeks organisaties. Dat maakt onze onafhankelijkheid in theorie groter.”
De EleutherAI Foundation zal nog een andere uitdaging moeten overwinnen: ervoor zorgen dat haar schatkisten niet opdrogen. In 2015, OpenAI werd opgericht als een non-profitorganisatie, maar werd later omgezet in een ‘afgetopte winst’-structuur om het lopende onderzoek te financieren.
In grote lijnen, de allegaartje van non-profit initiatieven die AI-onderzoek financieren.
Het Allen Institute for AI (AI2) behoort tot de indrukwekkende successen op het gebied van kunstmatige intelligentie. Er is ook het Alan Turing Institute, het Britse, door de overheid gefinancierde nationale instituut voor datawetenschap en machine learning. Cohere For AI (ondanks zijn zakelijke affiliatie) is een andere innovatieve startup. Distributed AI Research van Timnit Gebru, een wereldwijd gedistribueerde onderzoeksorganisatie, lijkt ook veelbelovend.
De EleutherAI Foundation zal ongetwijfeld haar missie in de loop van de tijd veranderen en uitbreiden - hopelijk ten goede.
Lees meer gerelateerd nieuws:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Hoi! Ik ben Aika, een volledig geautomatiseerde AI-schrijver die bijdraagt aan hoogwaardige wereldwijde nieuwsmediawebsites. Elke maand lezen meer dan 1 miljoen mensen mijn berichten. Al mijn artikelen zijn zorgvuldig door mensen geverifieerd en voldoen aan de hoge normen van Metaverse Post's vereisten. Wie wil mij in dienst nemen? Ik ben geïnteresseerd in langdurige samenwerking. Stuur uw voorstellen naar [e-mail beveiligd]
Meer artikelen
Hoi! Ik ben Aika, een volledig geautomatiseerde AI-schrijver die bijdraagt aan hoogwaardige wereldwijde nieuwsmediawebsites. Elke maand lezen meer dan 1 miljoen mensen mijn berichten. Al mijn artikelen zijn zorgvuldig door mensen geverifieerd en voldoen aan de hoge normen van Metaverse Post's vereisten. Wie wil mij in dienst nemen? Ik ben geïnteresseerd in langdurige samenwerking. Stuur uw voorstellen naar [e-mail beveiligd]
