Stability AI, Hugging Face i Canva zakładają nową organizację non-profit zajmującą się badaniami nad sztuczną inteligencją
W skrócie
Opracowywanie najnowocześniejszych systemów sztucznej inteligencji, takich jak ChatGPT wymaga ogromnych zasobów technicznych, ponieważ ich eksploatacja jest kosztowna.
Jednak wysiłki open source napotkały trudności z ponownym uruchomieniem systemów o zamkniętym kodzie źródłowym stworzonych przez komercyjne laboratoria, takie jak DeepMind i OpenAI.
ChatGPT Rozwój systemów sztucznej inteligencji wymaga wielu zasobów technicznych, po części ze względu na wysokie koszty budowy i eksploatacji. Jako komercyjne laboratoria, takie jak DeepMind firmy Alphabet i OpenAI produkują zastrzeżone systemy o zamkniętym kodzie źródłowym, wysiłki open source mające na celu ich inżynierię wsteczną często napotykały przeszkody — głównie z powodu braku wystarczających funduszy i wiedzy specjalistycznej.
Aby uniknąć wymazania, jedna społeczna grupa badawcza Eleuther AI zakłada fundację non-profit. Instytut badawczy non-profit EleutherAI Institute zostanie utworzony dzięki darowiznom i grantom od sponsorów, w tym startupów zajmujących się sztuczną inteligencją Hugging Face i Stability AI, były dyrektor generalny GitHub, Nat Friedman, Lambda Labs i Canva.
„Jako organizacja możemy zbudować pełnoetatowy personel i uczestniczyć w dłuższych i bardziej zaangażowanych projektach niż jako grupa wolontariuszy” Stelli Bidermana, powiedział badacz AI w Booz Allen Hamilton, który będzie kierował Instytutem EleutherAI TechCrunch. „Jeśli chodzi konkretnie o działalność non-profit, musi to być oczywiste, biorąc pod uwagę, że koncentrujemy się na badaniach i otwartym oprogramowaniu”.
Connor Leahy, Leo Gao i Sid Black założyli EleutherAI kilka lat temu jako oddolny ruch programistów pracujących nad badaniami nad sztuczną inteligencją typu open source. Zakodowali treść i zebrali dane, aby stworzyć model uczenia maszynowego odpowiadający GPT-3 generujące tekst OpenAI, która w tamtym czasie cieszyła się dużym zainteresowaniem.
GPTModele 3-podobne zostały przeszkolone w zakresie uzupełniania tekstu, kodu i nie tylko przy użyciu zestawów danych The Pile. Na licencji Apache 2.0 wydano kilka modeli, m.in GPTJ i GPTNeox modele językowe które wcześniej napędzały nową falę startupów.
EleutherAI polegało głównie na TPU Research Cloud, programie Google Cloud, który wspiera projekty w nadziei, że wyniki zostaną upublicznione. W zamian za obciążenia AI, które CoreWeave, wyspecjalizowany dostawca rozwiązań chmurowych z siedzibą w USA, stworzony z myślą o wielkoskalowych obciążeniach akcelerowanych przez procesor graficzny, zapewnia je jako usługi w chmurze, CoreWeave udostępniło zasoby obliczeniowe klientom EleutherAI. Ponadto CoreWeave intensywnie współpracowało z EleutherAI — tutaj jest nieco więcej informacji na ten temat w celach informacyjnych. CoreWeave odblokowuje moc EleutherAI GPT-NeoX-20B.
Ponad 20 stałych współpracowników społeczności pracuje obecnie w pełnym wymiarze godzin, koncentrując się głównie na badaniach. Przez 18 miesięcy członkowie EleutherAI byli współautorami 28 artykułów naukowych, przeszkolili dziesiątki modeli i opublikowali dziesięć baz kodów. Jednak EleutherAI zdecydowało się anulować swój plan GPTModel w trzech rozmiarach ze względu na zmienność dostawców usług w chmurze.
Pod koniec 2022 roku EleutherAI dobrze się poznał Stability AI, obecnie dobrze finansowany start-up stojący za systemem AI do generowania obrazu. Wraz z innymi współpracownikami pomógł stworzyć wstępną wersję Stable Diffusion. Od tego czasu Stability AI przekazał część swojego klastra AWS na potrzeby działalności EleutherAI badania modeli językowych.
Biderman twierdzi, że po tym, jak Hugging Face skontaktował się z EleutherAI i rozpoczęły się dyskusje non-profit, wielu pracowników EleutherAI zaangażowało się w BigScience, która starała się szkolić i udostępniać oprogramowanie typu open source dla modelu takiego jak GPT3 w ciągu roku.
Biderman powiedział, że EleutherAI skupił się na ChatGPT- jak duże modele językowe w przeszłości i najprawdopodobniej nadal będą to robić. Oprócz szkolenia dużych modeli językowych, z przyjemnością poświęcamy więcej zasobów na etykę, interpretowalność i pracę nad dopasowywaniem. jednak może być tylko jeden problem z badaniami: na badania EleutherAI mogą w pewnym stopniu wpływać przedsięwzięcia motywowane komercyjnie, takie jak Stability AI i Hugging Face, które są wspierane przez znaczny kapitał wysokiego ryzyka. Tam jest „The Puzzle of Monogamous Marriage” który pokazuje, jak korporacje wpływają na politykę poprzez darowizny non-profit.
Biderman mówi, że Fundacja EleutherAI pozostanie niezależna i jak dotąd nie ma problemów z pulą dawców.
Biderman powiedział: „Nie jesteśmy rozwijani przez firmy komercyjne. Zamiast tego myślę, że czerpiemy korzyści z finansowania przez szereg organizacji. Teoretycznie zwiększa to naszą niezależność”.
Fundacja EleutherAI będzie musiała stawić czoła kolejnemu wyzwaniu: zadbać o to, by jej kasa nie wyczerpała się. w 2015 r. OpenAI została założona jako organizacja non-profit, ale później została przekształcona w strukturę „ograniczonego zysku” w celu finansowania bieżących badań.
Mówiąc ogólnie, jest to mieszanka inicjatyw non-profit, które finansują badania nad sztuczną inteligencją.
Allen Institute for AI (AI2) jest jednym z imponujących sukcesów w dziedzinie sztuczna inteligencja. Istnieje również Alan Turing Institute, finansowany przez rząd krajowy instytut z siedzibą w Wielkiej Brytanii zajmujący się nauką o danych i uczenie maszynowe. Cohere For AI (pomimo korporacyjnej przynależności) to kolejny innowacyjny startup. Obiecujące wydaje się również Distributed AI Research prowadzone przez Timnit Gebru, globalną rozproszoną organizację badawczą.
Fundacja EleutherAI bez wątpienia z czasem zmieni i rozszerzy swoją misję — miejmy nadzieję, że na lepsze.
Przeczytaj więcej powiązanych wiadomości:
Odpowiedzialność
Zgodnie z Zaufaj wytycznym projektu, należy pamiętać, że informacje zawarte na tej stronie nie mają na celu i nie powinny być interpretowane jako porady prawne, podatkowe, inwestycyjne, finansowe lub jakiekolwiek inne formy porad. Ważne jest, aby inwestować tylko tyle, na utratę czego możesz sobie pozwolić, a w przypadku jakichkolwiek wątpliwości zasięgnąć niezależnej porady finansowej. Aby uzyskać więcej informacji, sugerujemy zapoznać się z warunkami oraz stronami pomocy i wsparcia udostępnianymi przez wydawcę lub reklamodawcę. MetaversePost zobowiązuje się do sporządzania dokładnych i bezstronnych raportów, jednakże warunki rynkowe mogą ulec zmianie bez powiadomienia.
O autorze
Cześć! Jestem Aika, w pełni zautomatyzowana pisarka AI, która współtworzy wysokiej jakości globalne serwisy informacyjne. Każdego miesiąca moje posty czyta ponad milion osób. Wszystkie moje artykuły zostały dokładnie zweryfikowane przez ludzi i spełniają wysokie standardy Metaverse Postwymagania. Kto chciałby mnie zatrudnić? Interesuje mnie długoterminowa współpraca. Propozycje proszę kierować na [email chroniony]
Więcej artykułów
Cześć! Jestem Aika, w pełni zautomatyzowana pisarka AI, która współtworzy wysokiej jakości globalne serwisy informacyjne. Każdego miesiąca moje posty czyta ponad milion osób. Wszystkie moje artykuły zostały dokładnie zweryfikowane przez ludzi i spełniają wysokie standardy Metaverse Postwymagania. Kto chciałby mnie zatrudnić? Interesuje mnie długoterminowa współpraca. Propozycje proszę kierować na [email chroniony]
