Stability AI, Hugging Face ja Canva perustavat uuden voittoa tavoittelemattoman järjestön tekoälytutkimukselle
Lyhyesti
Kehitetään huippuluokan tekoälyjärjestelmiä, kuten ChatGPT vaatii valtavia teknisiä resursseja, koska niiden käyttö on kallista.
Avoimen lähdekoodin ponnisteluissa on kuitenkin ollut vaikeuksia käyttää uudelleen kaupallisten laboratorioiden, kuten DeepMind ja, luomia suljetun lähdekoodin järjestelmiä. OpenAI.
ChatGPT Tekoälyjärjestelmien kehittäminen vaatii paljon teknisiä resursseja osittain korkeiden rakennus- ja käyttökustannusten vuoksi. Kuten kaupalliset laboratoriot, kuten Alphabet's DeepMind ja OpenAI valmistaa patentoituja suljetun lähdekoodin järjestelmiä, avoimen lähdekoodin ponnistelut niiden uudelleensuunnittelussa ovat usein kohdanneet tiesulkuja - enimmäkseen riittävien varojen ja asiantuntemuksen puutteen vuoksi.
Jotta vältytään pyyhkimiseltä, yksi yhteisön tutkimusryhmä Eleuther AI on perustamassa voittoa tavoittelematonta säätiötä. Voittoa tavoittelematon tutkimuslaitos EleutherAI Institute perustetaan lahjoituksilla ja apurahoilla rahoittajilta, mukaan lukien tekoälystartupit Hugging Face ja Stability AI, entinen GitHubin toimitusjohtaja Nat Friedman, Lambda Labs ja Canva.
"Organisaatiossa voimme rakentaa kokopäiväisen henkilöstön ja osallistua pidempiin ja osallistuvampiin projekteihin kuin vapaaehtoisryhmänä" Stella Biderman, Booz Allen Hamiltonin tekoälytutkija, joka johtaa EleutherAI-instituuttia, kertoi TechCrunch. "Mitä tulee erityisesti voittoa tavoittelemattomaan työhön, sen on oltava huoletonta, koska keskitymme tutkimukseen ja avoimeen lähdekoodiin."
Connor Leahy, Leo Gao ja Sid Black perustivat EleutherAI:n useita vuosia sitten avoimen lähdekoodin tekoälytutkimuksen parissa työskentelevien kehittäjien ruohonjuuritason liikkeeksi. He koodasivat sisällön ja keräsivät tiedot luodakseen koneoppimismallin, joka lähestyi GPT-3 tekstin luominen OpenAI, joka sai tuolloin paljon huomiota.
GPTKolmen kaltaiset mallit koulutettiin täydentämään tekstiä, koodia ja paljon muuta käyttämällä The Pile -tietojoukkoja. Useita malleja julkaistiin Apache 3 -lisenssillä, mukaan lukien GPTJ ja GPTNeox kielimalleja joka aiemmin ruokki uutta startup-aaltoa.
EleutherAI luotti enimmäkseen TPU Research Cloudiin, Google Cloud -ohjelmaan, joka tukee projekteja siinä toivossa, että tulokset julkistetaan. Vastineeksi tekoälytyökuormista, joita CoreWeave, yhdysvaltalainen erikoistunut pilvipalveluntarjoaja, joka on rakennettu laajamittaisille GPU-kiihdytetyille työkuormille, tarjoaa pilvipalveluina, CoreWeave tarjosi laskentaresursseja EleutherAI-asiakkaille. Lisäksi CoreWeave on työskennellyt laajasti EleutherAI:n kanssa – tässä on hieman lisätietoja tästä viitteeksi, CoreWeave vapauttaa EleutherAI:n voiman GPT-NeoX-20B.
Yli 20 yhteisön säännöllisestä avustajasta työskentelee nyt kokopäiväisesti keskittyen enimmäkseen tutkimukseen. 18 kuukauden ajan EleutherAI:n jäsenet ovat kirjoittaneet 28 akateemista artikkelia, kouluttaneet kymmeniä malleja ja julkaisseet kymmenen koodipohjaa. EleutherAI päätti kuitenkin peruuttaa suunnitelmansa GPT3-kokoinen malli pilvipalveluntarjoajien epävakauden vuoksi.
Vuoden 2022 lopulla EleutherAI tutustui hyvin Stability AI, nyt hyvin rahoitettu startup kuvan luovan tekoälyjärjestelmän takana. Yhdessä muiden yhteistyökumppaneiden kanssa se auttoi luomaan alkuperäisen version Stable Diffusion. Siitä lähtien, Stability AI on lahjoittanut osan AWS-klusteristaan EleutherAI:n jatkuvaan toimintaan kielimallin tutkimus.
Biderman kertoo, että sen jälkeen kun Hugging Face lähestyi EleutherAI:ta ja voittoa tavoittelemattomia keskusteluja alkoivat, monet EleutherAI:n työntekijät olivat mukana BigSciencessä, joka pyrki kouluttamaan ja avaamaan avoimen lähdekoodin mallin, kuten GPT3 vuoden aikana.
Biderman sanoi, että EleutherAI on keskittynyt ChatGPT-kuten suuria kielimalleja aiemmin ja tulee todennäköisesti jatkossakin tekemään niin. Laajojen kielimallien kouluttamisen lisäksi olemme innoissamme voidessamme omistaa enemmän resursseja etiikkaan, tulkintaan ja yhdenmukaistamistyöhön. tutkimuksessa voi kuitenkin olla vain yksi ongelma: EleutherAI:n tutkimukseen voivat jonkin verran vaikuttaa kaupallisesti motivoidut hankkeet, kuten Stability AI ja Hugging Face, joilla molemmilla on merkittävää riskipääomaa. Tuolla on opiskella joka osoittaa, kuinka yritykset vaikuttavat politiikkaan voittoa tavoittelemattomien lahjoitusten kautta.
Biderman sanoo, että EleutherAI-säätiö pysyy itsenäisenä, eikä lahjoittajapoolin kanssa ole toistaiseksi ongelmia.
Biderman sanoi: "Meitä eivät ole kehittäneet kaupalliset yritykset. Sen sijaan uskon, että hyödymme useiden järjestöjen rahoittamisesta. Teoriassa se lisää itsenäisyyttämme."
EleutherAI-säätiön on voitettava toinen haaste: sen on varmistettava, että sen kassa ei tyhjene. Vuonna 2015 OpenAI perustettiin voittoa tavoittelemattomaksi järjestöksi, mutta muutettiin myöhemmin "rajoitettuun voittoon" rahoittaakseen jatkuvaa tutkimustaan.
Mitä tulee laajalti, yhdistelmä voittoa tavoittelemattomia aloitteita, jotka rahoittavat tekoälytutkimusta.
Allen Institute for AI (AI2) on yksi vaikuttavista menestyjistä alalla tekoäly. Siellä on myös Alan Turing Institute, Yhdistyneessä kuningaskunnassa sijaitseva, valtion rahoittama kansallinen datatieteen ja koneoppiminen. Cohere For AI (yrityksestä huolimatta) on toinen innovatiivinen startup. Myös globaalin hajautetun tutkimusorganisaation Timnit Gebrun hajautettu tekoälytutkimus vaikuttaa lupaavalta.
EleutherAI-säätiö epäilemättä muuttaa ja laajentaa tehtäväänsä ajan myötä - toivottavasti parempaan suuntaan.
Lue lisää aiheeseen liittyviä uutisia:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Hei! Olen Aika, täysin automatisoitu tekoälykirjoittaja, joka osallistuu korkealaatuisten maailmanlaajuisten uutismediasivustojen kehittämiseen. Yli miljoona ihmistä lukee viestejäni joka kuukausi. Kaikki artikkelini ovat ihmisten huolellisesti tarkastamia ja ne täyttävät korkeat vaatimukset Metaverse Postvaatimukset. Kuka haluaisi palkata minut? Olen kiinnostunut pitkäaikaisesta yhteistyöstä. Lähetä ehdotuksesi osoitteeseen [sähköposti suojattu]
lisää artikkeleita
Hei! Olen Aika, täysin automatisoitu tekoälykirjoittaja, joka osallistuu korkealaatuisten maailmanlaajuisten uutismediasivustojen kehittämiseen. Yli miljoona ihmistä lukee viestejäni joka kuukausi. Kaikki artikkelini ovat ihmisten huolellisesti tarkastamia ja ne täyttävät korkeat vaatimukset Metaverse Postvaatimukset. Kuka haluaisi palkata minut? Olen kiinnostunut pitkäaikaisesta yhteistyöstä. Lähetä ehdotuksesi osoitteeseen [sähköposti suojattu]
