OpenFlamingo: Rangka Kerja Imej-ke-Teks Sumber Terbuka Baharu Daripada Meta AI dan LAION
Secara ringkas
OpenFlamingo ialah versi sumber terbuka model Flamingo DeepMind, dibina di atas LLaMA model bahasa yang besar.
Pembangun berharap untuk mencipta sistem multimodal yang boleh menangani cabaran bahasa penglihatan dan setara GPT-4kekuatan dan kebolehsuaian dalam mengendalikan input visual dan teks.
Versi sumber terbuka model Flamingo DeepMind, OpenFlamingo, baru sahaja dikeluarkan. OpenFlamingo pada asasnya ialah rangka kerja yang membenarkan latihan dan penilaian model multimodal yang besar (LMM). OpenFlamingo dibina di atas LLaMA model bahasa besar yang dibangunkan oleh Meta AI.
Sumbangan pembangun kepada keluaran pertama ini adalah seperti berikut:
- Set data multimodal yang besar yang menggabungkan urutan teks dan visual.
- Penanda aras untuk penilaian pembelajaran dalam konteks untuk aktiviti termasuk penglihatan dan bahasa.
- Versi awal kami LLaMA-model OpenFlamingo-9B berasaskan.
Melalui OpenFlamingo, pembangun berharap untuk mencipta sistem multimodal yang boleh menangani pelbagai cabaran bahasa penglihatan. Matlamat akhir adalah untuk sama rata GPT-4kekuatan dan kebolehsuaian dalam mengendalikan input visual dan teks. Pembangun sedang membangunkan versi sumber terbuka model Flamingo DeepMind, LMM yang mampu memproses dan menaakul tentang imej, video dan teks, untuk mencapai matlamat ini. Pembangun berdedikasi untuk membangunkan model sumber terbuka sepenuhnya kerana mereka berpendapat bahawa ketelusan adalah penting untuk menggalakkan kerjasama, mempercepatkan pembangunan dan mendemokrasikan akses kepada LMM yang canggih.
Mereka menyediakan pusat pemeriksaan awal model OpenFlamingo-9B kami. Walaupun model itu belum dioptimumkan sepenuhnya, ia menunjukkan janji projek. Pembangun boleh melatih LMM yang lebih baik dengan bekerjasama dan mendapatkan maklum balas komuniti. Mereka menjemput orang ramai untuk memberi input dan menambah repositori untuk mengambil bahagian dalam proses pembangunan.
Pelaksanaannya hampir sama dengan Flamingo. Model Flamingo mesti dilatih pada set data web berskala besar dengan teks bersilang dan grafik untuk melengkapkan mereka dengan kemahiran pembelajaran beberapa pukulan dalam konteks. Seni bina yang sama yang dicadangkan dalam kajian Flamingo asal (Perceiver resamplers, cross-attention layers) dilaksanakan dalam OpenFlamingo. Tetapi, memandangkan data latihan Flamingo tidak boleh diakses oleh orang awam, pembangun menggunakan set data sumber terbuka untuk melatih model. Pusat pemeriksaan OpenFlamingo-9B yang baru diterbitkan telah dilatih secara khusus pada sampel 10M daripada sampel LAION-2B dan 5M daripada dataset Multimodal C4 baharu.
Pembangun juga menyertakan pusat pemeriksaan daripada LMM OpenFlamingo-9B kami yang belum selesai, yang berasaskan LLaMA 7B dan CLIP ViT/L-14, sebagai sebahagian daripada keluaran. Walaupun konsep ini masih dibangunkan, masyarakat mungkin sudah mendapat manfaat yang besar daripadanya.
Untuk memulakan, lihat di GitHub sumber dan demo.
Baca lebih lanjut mengenai AI:
Penafian
Selaras dengan Garis panduan Projek Amanah, sila ambil perhatian bahawa maklumat yang diberikan pada halaman ini tidak bertujuan untuk menjadi dan tidak seharusnya ditafsirkan sebagai nasihat undang-undang, cukai, pelaburan, kewangan atau sebarang bentuk nasihat lain. Adalah penting untuk hanya melabur apa yang anda mampu kehilangan dan mendapatkan nasihat kewangan bebas jika anda mempunyai sebarang keraguan. Untuk maklumat lanjut, kami mencadangkan merujuk kepada terma dan syarat serta halaman bantuan dan sokongan yang disediakan oleh pengeluar atau pengiklan. MetaversePost komited kepada laporan yang tepat dan tidak berat sebelah, tetapi keadaan pasaran tertakluk kepada perubahan tanpa notis.
Tentang Pengarang
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
lebih banyak artikel
Damir ialah ketua pasukan, pengurus produk dan editor di Metaverse Post, meliputi topik seperti AI/ML, AGI, LLM, Metaverse dan Web3-bidang berkaitan. Artikelnya menarik khalayak besar lebih sejuta pengguna setiap bulan. Dia nampaknya seorang pakar dengan pengalaman 10 tahun dalam SEO dan pemasaran digital. Damir telah disebut dalam Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto dan penerbitan lain. Dia mengembara antara UAE, Turki, Rusia dan CIS sebagai nomad digital. Damir memperoleh ijazah sarjana muda dalam fizik, yang dia percaya telah memberikannya kemahiran berfikir kritis yang diperlukan untuk berjaya dalam landskap internet yang sentiasa berubah.
