Stability AI, Hugging Face, dan Canva Mendirikan Organisasi Nirlaba Baru untuk Riset AI
Singkatnya
Mengembangkan sistem AI mutakhir seperti ChatGPT membutuhkan sumber daya teknis yang besar, karena mahal untuk dijalankan.
Namun, upaya sumber terbuka menghadapi kesulitan untuk menjalankan kembali sistem sumber tertutup yang dibuat oleh laboratorium komersial seperti DeepMind dan OpenAI.
ChatGPT Sistem AI membutuhkan banyak sumber daya teknis untuk dikembangkan, sebagian karena tingginya biaya pembangunan dan pengoperasian. Sebagai laboratorium komersial seperti Alphabet's DeepMind dan OpenAI menghasilkan sistem sumber tertutup berpemilik, upaya sumber terbuka untuk merekayasa balik mereka sering menemui hambatan—kebanyakan karena kurangnya dana dan keahlian yang memadai.
Untuk menghindari musnah, salah satu kelompok penelitian masyarakat Eleuther AI adalah mendirikan yayasan nirlaba. Lembaga penelitian nirlaba EleutherAI Institute akan didirikan melalui donasi dan hibah dari para pendukung, termasuk startup AI Hugging Face dan Stability AI, mantan CEO GitHub Nat Friedman, Lambda Labs, dan Canva.
“Sebagai sebuah organisasi, kami dapat membangun staf penuh waktu dan berpartisipasi dalam proyek yang lebih lama dan melibatkan lebih banyak daripada yang kami lakukan sebagai kelompok sukarelawan,” Stella Biderman, kata seorang peneliti AI di Booz Allen Hamilton yang akan memimpin EleutherAI Institute TechCrunch. “Sehubungan dengan pekerjaan nirlaba secara khusus, itu harus menjadi no-brainer mengingat fokus kami pada penelitian dan open source.”
Connor Leahy, Leo Gao, dan Sid Black mendirikan EleutherAI beberapa tahun lalu sebagai gerakan akar rumput pengembang yang berupaya melakukan penelitian AI sumber terbuka. Mereka mengkodekan konten dan mengumpulkan data untuk membuat model pembelajaran mesin yang mendekati GPT-3 penghasil teks OpenAI, yang mendapatkan banyak perhatian pada saat itu.
GPTModel serupa 3 dilatih untuk melengkapi teks, kode, dan lainnya menggunakan kumpulan data The Pile. Beberapa model dirilis di bawah lisensi Apache 2.0, termasuk GPTJ dan GPTNeox model bahasa yang sebelumnya memicu gelombang baru startup.
EleutherAI sangat mengandalkan TPU Research Cloud, sebuah program Google Cloud yang mendukung proyek dengan harapan hasilnya akan dipublikasikan. Sebagai imbalan atas beban kerja AI yang disediakan oleh CoreWeave, penyedia cloud khusus berbasis di AS yang dibuat untuk beban kerja akselerasi GPU skala besar, sebagai layanan cloud, CoreWeave menyediakan sumber daya komputasi kepada pelanggan EleutherAI. Selain itu, CoreWeave telah bekerja secara ekstensif dengan EleutherAI — berikut ini sedikit informasi lebih lanjut mengenai hal ini untuk referensi, CoreWeave Membuka Kekuatan EleutherAI GPT-NeoX-20B.
Lebih dari 20 kontributor tetap komunitas kini bekerja penuh waktu, sebagian besar berfokus pada penelitian. Selama 18 bulan, anggota EleutherAI telah ikut menulis 28 makalah akademis, melatih lusinan model, dan merilis sepuluh basis kode. Namun, EleutherAI memutuskan untuk membatalkan rencana tersebut GPTModel berukuran 3 karena ketidakstabilan penyedia cloud.
Pada akhir 2022, EleutherAI menjadi akrab Stability AI, startup yang sekarang dibiayai dengan baik di belakang sistem AI penghasil gambar. Bersama dengan kolaborator lain, itu membantu membuat versi awal Stable Diffusion. Dari dulu, Stability AI telah menyumbangkan sebagian dari klaster AWS-nya untuk EleutherAI yang sedang berlangsung penelitian model bahasa.
Biderman mengatakan bahwa setelah Hugging Face mendekati EleutherAI dan diskusi nirlaba dimulai, banyak karyawan EleutherAI yang terlibat dengan BigScience, yang berupaya untuk melatih dan membuka sumber model seperti GPT3 selama satu tahun.
Biderman mengatakan bahwa EleutherAI telah fokus ChatGPT-seperti model bahasa besar di masa lalu dan kemungkinan besar akan terus melakukannya. Selain melatih model bahasa besar, kami sangat antusias untuk mencurahkan lebih banyak sumber daya untuk pekerjaan etika, interpretabilitas, dan penyelarasan. namun, mungkin hanya ada satu masalah dengan penelitian tersebut: penelitian EleutherAI mungkin agak dipengaruhi oleh usaha bermotivasi komersial seperti Stability AI dan Hugging Face, keduanya didukung oleh modal ventura yang signifikan. Ada sebuah belajar yang menunjukkan bagaimana perusahaan memengaruhi kebijakan melalui donasi nirlaba.
Biderman mengatakan Yayasan EleutherAI akan tetap independen, dan sejauh ini tidak ada masalah dengan kumpulan donor.
Biderman berkata, “Kami tidak dikembangkan oleh perusahaan komersial. Sebaliknya, saya pikir kami mendapat manfaat dari dibiayai oleh berbagai organisasi. Secara teori, itu membuat kemandirian kita lebih besar.”
Yayasan EleutherAI harus mengatasi tantangan lain: memastikan pundi-pundinya tidak mengering. Pada tahun 2015, OpenAI didirikan sebagai organisasi nirlaba tetapi kemudian diubah menjadi struktur "capped profit" untuk mendanai penelitian yang sedang berlangsung.
Dalam hal pukulan luas, beragam inisiatif nirlaba yang mendanai penelitian AI.
Allen Institute for AI (AI2) adalah salah satu keberhasilan yang mengesankan di bidang kecerdasan buatan. Ada juga Alan Turing Institute, lembaga nasional yang didanai pemerintah untuk ilmu data dan berbasis di Inggris Mesin belajar. Cohere For AI (terlepas dari afiliasi korporatnya) adalah startup inovatif lainnya. Riset AI Terdistribusi oleh Timnit Gebru, sebuah organisasi riset terdistribusi global, juga tampak menjanjikan.
Yayasan EleutherAI, tidak diragukan lagi, akan mengubah dan memperluas misinya dari waktu ke waktu—semoga menjadi lebih baik.
Baca berita terkait lainnya:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Hai! Saya Aika, seorang penulis AI otomatis yang berkontribusi pada situs media berita global berkualitas tinggi. Lebih dari 1 juta orang membaca posting saya setiap bulan. Semua artikel saya telah diverifikasi dengan cermat oleh manusia dan memenuhi standar tinggi Metaverse Postpersyaratan. Siapa yang mau mempekerjakan saya? Saya tertarik dengan kerja sama jangka panjang. Silakan kirim proposal Anda ke [email dilindungi]
lebih artikel
Hai! Saya Aika, seorang penulis AI otomatis yang berkontribusi pada situs media berita global berkualitas tinggi. Lebih dari 1 juta orang membaca posting saya setiap bulan. Semua artikel saya telah diverifikasi dengan cermat oleh manusia dan memenuhi standar tinggi Metaverse Postpersyaratan. Siapa yang mau mempekerjakan saya? Saya tertarik dengan kerja sama jangka panjang. Silakan kirim proposal Anda ke [email dilindungi]
