OpenFlamingo: novi okvir otvorenog koda za pretvaranje slike u tekst od Meta AI i LAION
Ukratko
OpenFlamingo je verzija otvorenog koda DeepMindovog modela Flamingo, izgrađena na vrhu LLaMA veliki jezični model.
Razvojni programeri se nadaju da će stvoriti multimodalni sustav koji se može nositi s izazovima vezanim uz viziju i jezik GPT-4snagu i prilagodljivost u rukovanju vizualnim i tekstualnim unosom.
Verzija otvorenog koda DeepMindovog modela Flamingo, OpenFlamingo, upravo je objavljen. OpenFlamingo je temeljno okvir koji dopušta obuku i procjenu velikih multimodalnih modela (LMM). OpenFlamingo je izgrađen na vrhu LLaMA veliki jezični model koji je razvio Meta AI.
| Pročitajte više: Kako koristiti Midjourney besplatno zauvijek: 5 jednostavnih koraka |
Doprinosi programera ovom prvom izdanju su sljedeći:
- Velik multimodalni skup podataka koji kombinira tekstualne i vizualne sekvence.
- Mjerilo za evaluaciju učenja u kontekstu za aktivnosti uključujući viziju i jezik.
- Preliminarna verzija našeg LLaMAbaziran na modelu OpenFlamingo-9B.
Putem OpenFlaminga, programeri se nadaju stvoriti multimodalni sustav koji se može nositi s različitim izazovima vizijskog jezika. Konačni cilj je ravnopravnost GPT-4snagu i prilagodljivost u rukovanju vizualnim i tekstualnim unosom. Razvojni programeri razvijaju verziju otvorenog koda DeepMindovog modela Flamingo, LMM-a sposobnog za obradu i razmišljanje o slikama, video zapisima i tekstu, kako bi postigli ovaj cilj. Programeri su posvećeni razvoju modela potpuno otvorenog koda jer misle da je transparentnost ključna za promicanje suradnje, ubrzanje razvoja i demokratiziranje pristupa najsuvremenijim LMM-ovima.
Oni osiguravaju početnu kontrolnu točku našeg modela OpenFlamingo-9B. Iako model još nije u potpunosti optimiziran, on pokazuje obećanja projekta. Razvojni programeri mogu trenirati bolje LMM-ove suradnjom i dobivanjem povratnih informacija zajednice. Pozivaju javnost da da svoj doprinos i doda u repozitorij kako bi sudjelovala u procesu razvoja.
Implementacija je vrlo slična Flamingovoj. Flamingo modeli moraju se uvježbavati na velikim mrežnim skupovima podataka s isprepletenim tekstom i grafika opremiti ih vještinama učenja u kontekstu u nekoliko trenutaka. Ista arhitektura koja je predložena u izvornoj Flamingo studiji (perceiver resamplers, cross-attention layers) implementirana je u OpenFlamingo. Ali budući da Flamingovi podaci o obuci nisu dostupni široj javnosti, programeri koriste skupove podataka otvorenog koda za obuku modela. Novoobjavljena kontrolna točka OpenFlamingo-9B posebno je uvježbana na 10 milijuna uzoraka iz LAION-2B i 5 milijuna uzoraka iz novog skupa podataka Multimodal C4.
Programeri također uključuju kontrolnu točku iz našeg nedovršenog LMM-a OpenFlamingo-9B, koji se temelji na LLaMA 7B i CLIP ViT/L-14, u sklopu priopćenja. Iako se ovaj koncept još uvijek razvija, zajednica bi već mogla imati velike koristi od njega.
Za početak pogledajte GitHub izvor i demo.
Pročitajte više o AI:
Izjava o odricanju od odgovornosti
U skladu s Smjernice projekta povjerenja, imajte na umu da informacije navedene na ovoj stranici nemaju namjeru i ne smiju se tumačiti kao pravni, porezni, investicijski, financijski ili bilo koji drugi oblik savjeta. Važno je ulagati samo ono što si možete priuštiti izgubiti i potražiti neovisni financijski savjet ako imate bilo kakvih nedoumica. Za dodatne informacije predlažemo da pogledate odredbe i uvjete, kao i stranice za pomoć i podršku koje pruža izdavatelj ili oglašivač. MetaversePost je predan točnom, nepristranom izvješćivanju, ali tržišni uvjeti podložni su promjenama bez prethodne najave.
O autoru
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
Više članaka
Damir je voditelj tima, product manager i urednik u Metaverse Post, koji pokriva teme kao što su AI/ML, AGI, LLMs, Metaverse i Web3- srodna polja. Njegovi članci privlače ogromnu publiku od preko milijun korisnika svakog mjeseca. Čini se da je stručnjak s 10 godina iskustva u SEO-u i digitalnom marketingu. Damir je spomenut u Mashableu, Wiredu, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto i druge publikacije. Putuje između UAE, Turske, Rusije i CIS-a kao digitalni nomad. Damir je stekao diplomu prvostupnika fizike, za koju vjeruje da mu je dala vještine kritičkog razmišljanja potrebne za uspjeh u stalno promjenjivom okruženju interneta.
