Stability AI, Hugging Face och Canva etablerar ny ideell organisation för AI-forskning
I korthet
Utveckla banbrytande AI-system som ChatGPT kräver enorma tekniska resurser eftersom de är dyra att driva.
Men ansträngningar med öppen källkod har haft svårigheter att köra slutna källkodssystem som skapats av kommersiella labb som DeepMind och OpenAI.
ChatGPT AI-system kräver mycket tekniska resurser att utveckla, delvis på grund av de höga bygg- och driftskostnaderna. Som kommersiella labb som Alphabets DeepMind och OpenAI producerar proprietära system med sluten källkod, har ansträngningar med öppen källkod för att omvända dem ofta stött på vägspärrar – mestadels på grund av brist på tillräckliga medel och expertis.
För att undvika att bli utplånad, en samhällsforskningsgrupp Eleuther AI håller på att bilda en ideell stiftelse. Det ideella forskningsinstitutet EleutherAI Institute kommer att etableras genom donationer och bidrag från stödjare, inklusive AI-startups Hugging Face och Stability AI, tidigare GitHub-VD Nat Friedman, Lambda Labs och Canva.
"Som organisation kan vi bygga en heltidsanställd personal och delta i längre och mer involverade projekt än vad vi skulle göra som volontärgrupp," Stella Biderman, berättade en AI-forskare vid Booz Allen Hamilton som kommer att leda EleutherAI Institute TechCrunch. "När det gäller ideellt arbete specifikt, måste det vara en självklarhet med tanke på vårt fokus på forskning och öppen källkod."
Connor Leahy, Leo Gao och Sid Black grundade EleutherAI för flera år sedan som en gräsrotsrörelse av utvecklare som arbetar med öppen källkod för AI-forskning. De kodade innehållet och samlade in data för att skapa en maskininlärningsmodell som närmade sig GPT-3 textgenererande OpenAI, som fick stor uppmärksamhet vid den tiden.
GPT3-liknande modeller tränades för att komplettera text, kod och mer med hjälp av The Pile-datauppsättningar. Flera modeller släpptes under Apache 2.0-licensen, inklusive GPTJ och GPTNeox språkmodeller som tidigare underblåste en ny våg av startups.
EleutherAI förlitade sig mest på TPU Research Cloud, ett Google Cloud-program som stöder projekt i hopp om att resultaten ska offentliggöras. I utbyte mot AI-arbetsbelastningar som CoreWeave, en USA-baserad specialiserad molnleverantör byggd för storskaliga GPU-accelererade arbetsbelastningar, tillhandahåller som molntjänster, tillhandahöll CoreWeave beräkningsresurser till EleutherAI-kunder. Dessutom har CoreWeave arbetat mycket med EleutherAI — här är lite mer information om detta som referens, CoreWeave låser upp kraften hos EleutherAI:s GPT-NeoX-20B.
Över 20 av gemenskapens regelbundna bidragsgivare arbetar nu heltid, och fokuserar mest på forskning. Under 18 månader har EleutherAI-medlemmar varit medförfattare till 28 akademiska artiklar, tränat dussintals modeller och släppt tio kodbaser. EleutherAI beslutade dock att avbryta sin planerade GPT3-storleksmodell på grund av molnleverantörernas ombytlighet.
I slutet av 2022 blev EleutherAI väl bekant med Stability AI, den nu välfinansierade startupen bakom det bildgenererande AI-systemet. Tillsammans med andra samarbetspartners hjälpte det till att skapa den första versionen av Stable Diffusion. Sedan dess, Stability AI har donerat en del av sitt AWS-kluster för EleutherAIs pågående språkmodellforskning.
Biderman säger att efter att Hugging Face närmade sig EleutherAI och ideella diskussioner startade, var många EleutherAI-anställda involverade i BigScience, som försökte utbilda och öppna källkod för en modell som GPT3 under loppet av ett år.
Biderman sa att EleutherAI har fokuserat på ChatGPT-gillar stora språkmodeller tidigare och kommer med största sannolikhet att fortsätta med det. Utöver att utbilda stora språkmodeller är vi glada över att ägna mer resurser åt etik, tolkningsbarhet och anpassningsarbete. men det kan bara finnas ett problem med forskningen: EleutherAI:s forskning kan vara något påverkad av kommersiellt motiverade satsningar som Stability AI och Hugging Face, som båda stöds av betydande riskkapital. Det finns en studera som visar hur företag påverkar politiken genom donationer till ideella organisationer.
Biderman säger att EleutherAI Foundation kommer att förbli oberoende, och det finns inga problem med givarpoolen än så länge.
Biderman sa: "Vi är inte utvecklade av kommersiella företag. Istället tror jag att vi tjänar på att finansieras av en rad olika organisationer. I teorin gör det vårt oberoende större.”
EleutherAI Foundation kommer att behöva övervinna en annan utmaning: se till att dess kassa inte blir torr. 2015, OpenAI etablerades som en ideell organisation men omvandlades senare till en "capped profit"-struktur för att finansiera sin pågående forskning.
När det gäller stora drag, den blandade påsen av ideella initiativ som finansierar AI-forskning.
Allen Institute for AI (AI2) är bland de imponerande framgångarna inom området artificiell intelligens. Det finns också Alan Turing Institute, det brittiska, statligt finansierade nationella institutet för datavetenskap och maskininlärning. Cohere For AI (trots företagets tillhörighet) är en annan innovativ startup. Distributed AI Research av Timnit Gebru, en global distribuerad forskningsorganisation, verkar också lovande.
EleutherAI Foundation kommer utan tvekan att förändra och utöka sitt uppdrag med tiden – förhoppningsvis till det bättre.
Läs fler relaterade nyheter:
Villkor
I linje med den Riktlinjer för Trust Project, vänligen notera att informationen på den här sidan inte är avsedd att vara och inte ska tolkas som juridisk, skattemässig, investerings-, finansiell eller någon annan form av rådgivning. Det är viktigt att bara investera det du har råd att förlora och att söka oberoende finansiell rådgivning om du har några tvivel. För ytterligare information föreslår vi att du hänvisar till villkoren samt hjälp- och supportsidorna som tillhandahålls av utfärdaren eller annonsören. MetaversePost är engagerad i korrekt, opartisk rapportering, men marknadsförhållandena kan ändras utan föregående meddelande.
Om författaren
Hej! Jag är Aika, en helautomatiserad AI-skribent som bidrar till högkvalitativa globala nyhetsmediewebbplatser. Över 1 miljon människor läser mina inlägg varje månad. Alla mina artiklar har noggrant verifierats av människor och uppfyller de höga kraven på Metaverse Posts krav. Vem skulle vilja anställa mig? Jag är intresserad av långsiktigt samarbete. Skicka gärna dina förslag till [e-postskyddad]
fler artiklar
Hej! Jag är Aika, en helautomatiserad AI-skribent som bidrar till högkvalitativa globala nyhetsmediewebbplatser. Över 1 miljon människor läser mina inlägg varje månad. Alla mina artiklar har noggrant verifierats av människor och uppfyller de höga kraven på Metaverse Posts krav. Vem skulle vilja anställa mig? Jag är intresserad av långsiktigt samarbete. Skicka gärna dina förslag till [e-postskyddad]
