OpenFlamingo: nov odprtokodni okvir slike v besedilo iz Meta AI in LAION
Na kratko
OpenFlamingo je odprtokodna različica DeepMindovega modela Flamingo, zgrajena na vrhu LLaMA velik jezikovni model.
Razvijalci upajo, da bodo ustvarili multimodalni sistem, ki bo kos izzivom vizualnega jezika in enakovreden GPT-4moč in prilagodljivost pri ravnanju z vizualnim in besedilnim vnosom.
Odprtokodna različica DeepMindovega modela Flamingo, OpenFlamingo, je bil pravkar izdan. OpenFlamingo je v osnovi okvir, ki omogoča usposabljanje in ocenjevanje velikih multimodalnih modelov (LMM). OpenFlamingo je zgrajen na vrhu LLaMA velik jezikovni model, ki ga je razvil Meta AI.
Prispevki razvijalcev k tej prvi izdaji so naslednji:
- Obsežen multimodalni nabor podatkov, ki združuje besedilna in vizualna zaporedja.
- Merilo uspešnosti za vrednotenje učenja v kontekstu za dejavnosti, vključno z vizijo in jezikom.
- Predhodna različica našega LLaMAna osnovi modela OpenFlamingo-9B.
S pomočjo OpenFlaminga razvijalci upajo, da bodo ustvarili multimodalni sistem, ki bo kos različnim izzivom vizualnega jezika. Končni cilj je izenačiti GPT-4moč in prilagodljivost pri ravnanju z vizualnim in besedilnim vnosom. Razvijalci razvijajo odprtokodno različico DeepMindovega modela Flamingo, LMM, ki je sposoben obdelave in razmišljanja o slikah, videih in besedilu, da bi dosegli ta cilj. Razvijalci so predani razvoju povsem odprtokodnih modelov, ker menijo, da je transparentnost ključnega pomena za spodbujanje sodelovanja, pospeševanje razvoja in demokratizacijo dostopa do najsodobnejših LMM.
Zagotavljajo začetno kontrolno točko našega modela OpenFlamingo-9B. Čeprav model še ni povsem optimiziran, kaže, da projekt obeta. Razvijalci lahko usposobijo boljše LMM s sodelovanjem in pridobivanjem povratnih informacij skupnosti. Javnost vabijo, naj poda prispevek in dodaja v skladišče, da bi lahko sodelovala v razvojnem procesu.
Izvedba je zelo podobna Flamingovi. Modele Flamingo je treba učiti na obsežnih spletnih podatkovnih nizih s prepletenim besedilom in grafika da jih opremimo z učnimi veščinami v kontekstu. Ista arhitektura, ki je bila predlagana v prvotni študiji Flamingo (perceiver resamplers, cross-attention layers), je implementirana v OpenFlamingo. Ker pa podatki o usposabljanju Flaminga niso dostopni širši javnosti, razvijalci za usposabljanje modelov uporabljajo nabore odprtokodnih podatkov. Novo objavljena kontrolna točka OpenFlamingo-9B je bila posebej usposobljena na 10 milijonih vzorcev iz LAION-2B in 5 milijonih vzorcev iz novega nabora podatkov Multimodal C4.
Razvijalci vključujejo tudi kontrolno točko iz našega nedokončanega LMM OpenFlamingo-9B, ki temelji na LLaMA 7B in CLIP ViT/L-14, v sklopu izdaje. Čeprav se ta koncept še razvija, lahko skupnost že ima veliko koristi od njega.
Za začetek si oglejte GitHub vir in demo.
Preberite več o AI:
Zavrnitev odgovornosti
V skladu z Smernice projekta Trust, upoštevajte, da informacije na tej strani niso namenjene in se jih ne sme razlagati kot pravni, davčni, naložbeni, finančni ali kakršen koli drug nasvet. Pomembno je, da vlagate samo tisto, kar si lahko privoščite izgubiti, in da poiščete neodvisen finančni nasvet, če imate kakršne koli dvome. Za dodatne informacije predlagamo, da si ogledate določila in pogoje ter strani s pomočjo in podporo, ki jih nudi izdajatelj ali oglaševalec. MetaversePost se zavzema za natančno in nepristransko poročanje, vendar se tržni pogoji lahko spremenijo brez predhodnega obvestila.
O avtorju
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
več člankov
Damir je vodja ekipe, produktni vodja in urednik pri Metaverse Post, ki pokriva teme, kot so AI/ML, AGI, LLMs, Metaverse in Web3- sorodna področja. Njegovi članki vsak mesec pritegnejo množično občinstvo več kot milijon uporabnikov. Zdi se, da je strokovnjak z 10-letnimi izkušnjami na področju SEO in digitalnega trženja. Damir je bil omenjen v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto in druge publikacije. Kot digitalni nomad potuje med ZAE, Turčijo, Rusijo in SND. Damir je diplomiral iz fizike, kar mu je po njegovem mnenju dalo sposobnosti kritičnega razmišljanja, potrebne za uspeh v nenehno spreminjajočem se okolju interneta.
