OpenFlamingo: Kerangka Gambar-ke-Teks Sumber Terbuka Baru Dari Meta AI dan LAION
Singkatnya
OpenFlamingo adalah versi sumber terbuka dari model Flamingo DeepMind, dibangun di atas LLaMA model bahasa besar.
Pengembang berharap dapat menciptakan sistem multimoda yang dapat menangani tantangan visi-bahasa dan setara GPT-4kekuatan dan kemampuan beradaptasi dalam menangani input visual dan teks.
Versi sumber terbuka dari model Flamingo DeepMind, Buka Flamingo, baru saja dirilis. OpenFlamingo pada dasarnya adalah kerangka kerja yang memungkinkan pelatihan dan penilaian model multimodal (LMM) yang cukup besar. OpenFlamingo dibangun di atas LLaMA model bahasa besar yang dikembangkan oleh Meta AI.
| Baca lebih lanjut: Cara Menggunakan Midjourney Gratis Selamanya: 5 langkah mudah |
Kontribusi pengembang untuk rilis pertama ini adalah sebagai berikut:
- Kumpulan data multimodal yang cukup besar yang menggabungkan urutan teks dan visual.
- Tolok ukur untuk evaluasi pembelajaran dalam konteks untuk kegiatan termasuk visi dan bahasa.
- Versi awal dari kami LLaMAmodel OpenFlamingo-9B berbasis.
Melalui OpenFlamingo, pengembang berharap dapat menciptakan sistem multimodal yang dapat menangani berbagai tantangan bahasa visi. Tujuan utamanya adalah untuk menyamakan kedudukan GPT-4kekuatan dan kemampuan beradaptasi dalam menangani input visual dan teks. Pengembang sedang mengembangkan versi open-source model Flamingo DeepMind, sebuah LMM yang mampu memproses dan memikirkan gambar, video, dan teks, untuk mencapai tujuan ini. Pengembang berdedikasi untuk mengembangkan model sumber terbuka sepenuhnya karena mereka berpendapat bahwa transparansi sangat penting untuk mendorong kerja sama, mempercepat pembangunan, dan mendemokratisasi akses ke LMM mutakhir.
Mereka menyediakan pos pemeriksaan awal model OpenFlamingo-9B kami. Meskipun modelnya belum sepenuhnya dioptimalkan, ini menunjukkan janji proyek tersebut. Pengembang dapat melatih LMM yang lebih baik dengan bekerja sama dan mendapatkan masukan dari komunitas. Mereka mengajak masyarakat untuk memberi masukan dan menambah repositori agar bisa ikut dalam proses pembangunan.
Implementasinya sangat mirip dengan Flamingo. Model Flamingo harus dilatih pada kumpulan data web berskala besar dengan teks yang disisipkan dan grafis untuk membekali mereka dengan keterampilan belajar beberapa tembakan dalam konteks. Arsitektur yang sama yang disarankan dalam studi Flamingo asli (Resampler Perceiver, lapisan perhatian silang) diimplementasikan di OpenFlamingo. Namun, karena data pelatihan Flamingo tidak dapat diakses oleh masyarakat umum, pengembang menggunakan kumpulan data sumber terbuka untuk melatih model. Pos pemeriksaan OpenFlamingo-9B yang baru diterbitkan secara khusus dilatih pada 10 juta sampel dari LAION-2B dan 5 juta sampel dari dataset Multimodal C4 yang baru.
Pengembang juga menyertakan pos pemeriksaan dari LMM OpenFlamingo-9B kami yang belum selesai, yang didasarkan pada LLaMA 7B dan CLIP ViT/L-14, sebagai bagian dari rilis. Meski konsep ini masih terus dikembangkan, namun masyarakat mungkin sudah mendapatkan manfaat yang besar.
Untuk memulai, lihat GitHub sumber dan demo.
Baca lebih lanjut tentang AI:
Penolakan tanggung jawab
Sejalan dengan Percayai pedoman Proyek, harap dicatat bahwa informasi yang diberikan pada halaman ini tidak dimaksudkan untuk dan tidak boleh ditafsirkan sebagai nasihat hukum, pajak, investasi, keuangan, atau bentuk nasihat lainnya. Penting untuk hanya menginvestasikan jumlah yang mampu Anda tanggung kerugiannya dan mencari nasihat keuangan independen jika Anda ragu. Untuk informasi lebih lanjut, kami menyarankan untuk merujuk pada syarat dan ketentuan serta halaman bantuan dan dukungan yang disediakan oleh penerbit atau pengiklan. MetaversePost berkomitmen terhadap pelaporan yang akurat dan tidak memihak, namun kondisi pasar dapat berubah tanpa pemberitahuan.
Tentang Penulis
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
lebih artikel
Damir adalah pemimpin tim, manajer produk, dan editor di Metaverse Post, mencakup topik seperti AI/ML, AGI, LLM, Metaverse, dan Web3-bidang terkait. Artikelnya menarik lebih dari satu juta pengguna setiap bulan. Dia tampaknya ahli dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebutkan dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, dan publikasi lainnya. Dia melakukan perjalanan antara UEA, Turki, Rusia, dan CIS sebagai pengembara digital. Damir memperoleh gelar sarjana dalam bidang fisika, yang menurutnya telah memberinya keterampilan berpikir kritis yang diperlukan untuk berhasil dalam lanskap internet yang selalu berubah.
