OpenFlamingo: jauns atvērtā pirmkoda attēlu pārveides ietvars no Meta AI un LAION
Īsumā
OpenFlamingo ir DeepMind's Flamingo modeļa atvērtā pirmkoda versija, kas veidota uz LLaMA liels valodas modelis.
Izstrādātāji cer izveidot multimodālu sistēmu, kas spēj tikt galā ar redzes valodas izaicinājumiem un līdzvērtīgi GPT-4spēks un pielāgošanās spējas, strādājot ar vizuālo un teksta ievadi.
DeepMind's Flamingo modeļa atvērtā pirmkoda versija, OpenFlamingo, tikko izlaists. OpenFlamingo būtībā ir sistēma, kas ļauj apmācīt un novērtēt lielus multimodālos modeļus (LMM). OpenFlamingo ir uzcelta uz LLaMA lielais valodas modelis, ko izstrādājis Meta AI.
Izstrādātāju ieguldījums šajā pirmajā laidienā ir šāds:
- Liela multimodāla datu kopa, kas apvieno teksta un vizuālās secības.
- Konteksta mācību novērtēšanas etalons aktivitātēm, tostarp redzējumam un valodai.
- Mūsu provizoriskā versija LLaMAuz OpenFlamingo-9B modeļa bāzes.
Izmantojot OpenFlamingo, izstrādātāji cer izveidot multimodālu sistēmu, kas spēj tikt galā ar dažādiem redzes valodas izaicinājumiem. Galīgais mērķis ir vienlīdzība GPT-4spēks un pielāgošanās spējas, strādājot ar vizuālo un teksta ievadi. Lai sasniegtu šo mērķi, izstrādātāji izstrādā DeepMind's Flamingo modeļa atvērtā pirmkoda versiju — LMM, kas spēj apstrādāt attēlus, videoklipus un tekstu un argumentēt par tiem. Izstrādātāji ir apņēmušies izstrādāt pilnībā atvērtā pirmkoda modeļus, jo viņi uzskata, ka pārredzamība ir ļoti svarīga, lai veicinātu sadarbību, paātrinātu attīstību un demokratizētu piekļuvi progresīvām LMM.
Viņi nodrošina mūsu OpenFlamingo-9B modeļa sākotnējo kontrolpunktu. Lai gan modelis vēl nav pilnībā optimizēts, tas parāda projekta solījumu. Izstrādātāji var apmācīt labākus LMM, sadarbojoties un saņemot atsauksmes no kopienas. Viņi aicina sabiedrību sniegt ieguldījumu un papildināt repozitoriju, lai varētu piedalīties izstrādes procesā.
Īstenošana ļoti atgādina Flamingo's. Flamingo modeļi ir jāapmāca liela mēroga tīmekļa datu kopās ar interleaved tekstu un grafika aprīkot viņus ar dažu kadru mācīšanās prasmēm kontekstā. Tāda pati arhitektūra, kas tika ierosināta sākotnējā Flamingo pētījumā (Uztvērēju atkārtotas paraugu ņemšanas ierīces, savstarpējas uzmanības slāņi), ir ieviesta OpenFlamingo. Taču, tā kā Flamingo apmācības dati nav pieejami plašai sabiedrībai, izstrādātāji modeļu apmācīšanai izmanto atvērtā koda datu kopas. Nesen publicētais OpenFlamingo-9B kontrolpunkts tika īpaši apmācīts par 10 miljoniem paraugu no LAION-2B un 5 miljoniem paraugu no jaunās Multimodal C4 datu kopas.
Izstrādātāji iekļauj arī kontrolpunktu no mūsu nepabeigtā LMM OpenFlamingo-9B, kura pamatā ir LLaMA 7B un CLIP ViT/L-14, kā daļu no laidiena. Lai gan šī koncepcija joprojām tiek izstrādāta, sabiedrība jau var no tā gūt lielu labumu.
Lai sāktu, skatiet GitHub avots un demo.
Lasiet vairāk par AI:
Atbildības noraidīšana
Atbilstīgi Uzticības projekta vadlīnijas, lūdzu, ņemiet vērā, ka šajā lapā sniegtā informācija nav paredzēta un to nedrīkst interpretēt kā juridisku, nodokļu, ieguldījumu, finanšu vai jebkāda cita veida padomu. Ir svarīgi ieguldīt tikai to, ko varat atļauties zaudēt, un meklēt neatkarīgu finanšu padomu, ja jums ir šaubas. Lai iegūtu papildinformāciju, iesakām skatīt pakalpojumu sniegšanas noteikumus, kā arī palīdzības un atbalsta lapas, ko nodrošina izdevējs vai reklāmdevējs. MetaversePost ir apņēmies sniegt precīzus, objektīvus pārskatus, taču tirgus apstākļi var tikt mainīti bez iepriekšēja brīdinājuma.
Par Autors
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
Vairāk rakstus
Damirs ir komandas vadītājs, produktu vadītājs un redaktors Metaverse Post, kas aptver tādas tēmas kā AI/ML, AGI, LLM, Metaverse un Web3- saistītie lauki. Viņa raksti katru mēnesi piesaista lielu auditoriju, kas pārsniedz miljonu lietotāju. Šķiet, ka viņš ir eksperts ar 10 gadu pieredzi SEO un digitālā mārketinga jomā. Damirs ir minēts Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto un citas publikācijas. Viņš ceļo starp AAE, Turciju, Krieviju un NVS kā digitālais nomads. Damirs ir ieguvis bakalaura grādu fizikā, kas, viņaprāt, ir devis viņam kritiskās domāšanas prasmes, kas nepieciešamas, lai gūtu panākumus nepārtraukti mainīgajā interneta vidē.
