OpenFlamingo: Isang Bagong Open-Source Image-to-Text Framework Mula sa Meta AI at LAION
Sa madaling sabi
Ang OpenFlamingo ay isang open-source na bersyon ng DeepMind's Flamingo model, na binuo sa ibabaw ng LLaMA malaking modelo ng wika.
Umaasa ang mga developer na lumikha ng isang multimodal system na makakayanan ang mga hamon sa vision-language at pantay GPT-4Ang lakas at kakayahang umangkop sa paghawak ng visual at text input.
Ang open-source na bersyon ng DeepMind's Flamingo model, OpenFlamingo, kakalabas lang. Ang OpenFlamingo ay pangunahing isang balangkas na nagbibigay-daan sa pagsasanay at pagtatasa ng mga malalaking multimodal na modelo (LMM). Ang OpenFlamingo ay binuo sa ibabaw ng LLaMA malaking modelo ng wika na binuo ng Meta AI.
| Magbasa nang higit pa: Paano Magagamit Midjourney para sa Libreng Magpakailanman: 5 simpleng hakbang |
Ang mga kontribusyon ng mga developer sa unang release na ito ay ang mga sumusunod:
- Isang napakalaking multimodal na dataset na pinagsasama ang text at visual sequence.
- Isang benchmark para sa in-context learning evaluation para sa mga aktibidad kabilang ang vision at language.
- Isang paunang bersyon ng aming LLaMA-based na modelo ng OpenFlamingo-9B.
Sa pamamagitan ng OpenFlamingo, umaasa ang mga developer na lumikha ng isang multimodal system na makakayanan ang iba't ibang hamon sa vision-language. Ang pangwakas na layunin ay pantay-pantay GPT-4Ang lakas at kakayahang umangkop sa paghawak ng visual at text input. Gumagawa ang mga developer ng open-source na bersyon ng DeepMind's Flamingo model, isang LMM na may kakayahang magproseso at mangatwiran tungkol sa mga larawan, video, at text, upang maisakatuparan ang layuning ito. Ang mga developer ay nakatuon sa pagbuo ng ganap na open-source na mga modelo dahil sa tingin nila na ang transparency ay mahalaga para sa pagsulong ng kooperasyon, pagpapabilis ng pag-unlad, at pagdemokratiko ng access sa mga cutting-edge na LMM.
Ibinibigay nila ang paunang checkpoint ng aming modelong OpenFlamingo-9B. Bagama't hindi pa ganap na na-optimize ang modelo, ipinapakita nito ang pangako ng proyekto. Maaaring sanayin ng mga developer ang mas mahuhusay na LMM sa pamamagitan ng pakikipagtulungan at pagkuha ng feedback sa komunidad. Inaanyayahan nila ang publiko na magbigay ng input at magdagdag sa repository upang makilahok sa proseso ng pag-unlad.
Ang pagpapatupad ay malapit na kahawig ng sa Flamingo. Dapat na sanayin ang mga modelo ng Flamingo sa mga malalaking data ng web na may interleaved na text at graphics upang bigyan sila ng in-context few-shot na mga kasanayan sa pag-aaral. Ang parehong arkitektura na iminungkahi sa orihinal na pag-aaral ng Flamingo (Perceiver resamplers, cross-attention layer) ay ipinatupad sa OpenFlamingo. Ngunit, dahil ang data ng pagsasanay ng Flamingo ay hindi naa-access sa pangkalahatang publiko, ang mga developer ay gumagamit ng mga open-source na dataset para sanayin ang mga modelo. Ang bagong-publish na OpenFlamingo-9B checkpoint ay partikular na sinanay sa 10M sample mula sa LAION-2B at 5M sample mula sa bagong Multimodal C4 dataset.
Nagsasama rin ang mga developer ng checkpoint mula sa aming hindi natapos na LMM OpenFlamingo-9B, na nakabatay sa LLaMA 7B at CLIP ViT/L-14, bilang bahagi ng pagpapalabas. Kahit na ang konseptong ito ay ginagawa pa rin, ang komunidad ay maaaring makinabang nang malaki mula dito.
Upang magsimula, tingnan ang GitHub pinagmulan at demo.
Magbasa pa tungkol sa AI:
Pagtanggi sa pananagutan
Sa linya na may Mga alituntunin ng Trust Project, pakitandaan na ang impormasyong ibinigay sa pahinang ito ay hindi nilayon at hindi dapat bigyang-kahulugan bilang legal, buwis, pamumuhunan, pananalapi, o anumang iba pang paraan ng payo. Mahalagang mamuhunan lamang kung ano ang maaari mong mawala at humingi ng independiyenteng payo sa pananalapi kung mayroon kang anumang mga pagdududa. Para sa karagdagang impormasyon, iminumungkahi naming sumangguni sa mga tuntunin at kundisyon pati na rin sa mga pahina ng tulong at suporta na ibinigay ng nagbigay o advertiser. MetaversePost ay nakatuon sa tumpak, walang pinapanigan na pag-uulat, ngunit ang mga kondisyon ng merkado ay maaaring magbago nang walang abiso.
Tungkol sa Ang May-akda
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
Mas marami pang artikulo
Si Damir ang pinuno ng pangkat, tagapamahala ng produkto, at editor sa Metaverse Post, sumasaklaw sa mga paksa gaya ng AI/ML, AGI, LLMs, Metaverse, at Web3-mga kaugnay na larangan. Ang kanyang mga artikulo ay umaakit ng napakalaking madla na mahigit sa isang milyong user bawat buwan. Mukhang isa siyang eksperto na may 10 taong karanasan sa SEO at digital marketing. Nabanggit si Damir sa Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto, at iba pang publikasyon. Naglalakbay siya sa pagitan ng UAE, Turkey, Russia, at ng CIS bilang digital nomad. Nakamit ni Damir ang bachelor's degree sa physics, na pinaniniwalaan niyang nagbigay sa kanya ng mga kritikal na kasanayan sa pag-iisip na kailangan para maging matagumpay sa pabago-bagong tanawin ng internet.
