OpenFlamingo: Meta AI ja LAIONi uus avatud lähtekoodiga pildist tekstiks raamistik
Põgusalt
OpenFlamingo on DeepMindi Flamingo mudeli avatud lähtekoodiga versioon, mis on üles ehitatud LLaMA suur keelemudel.
Arendajad loodavad luua multimodaalse süsteemi, mis suudab toime tulla nägemuskeele väljakutsetega ja võrdselt GPT-4tugevus ja kohanemisvõime visuaalse ja tekstisisestuse käsitlemisel.
DeepMindi Flamingo mudeli avatud lähtekoodiga versioon, OpenFlamingo, ilmus äsja. OpenFlamingo on põhimõtteliselt raamistik, mis võimaldab koolitada ja hinnata suuri multimodaalseid mudeleid (LMM). OpenFlamingo on ehitatud selle peale LLaMA suur keelemudel, mille on välja töötanud Meta AI.
Arendajate panus sellesse esimesse versiooni on järgmine:
- Suur multimodaalne andmestik, mis ühendab teksti ja visuaalseid järjestusi.
- Kontekstisisese õppimise hindamise etalon tegevuste jaoks, sealhulgas visioon ja keel.
- Meie esialgne versioon LLaMA-põhine OpenFlamingo-9B mudel.
Arendajad loodavad OpenFlamingo kaudu luua multimodaalse süsteemi, mis suudab toime tulla mitmesuguste visioonikeelsete väljakutsetega. Lõppeesmärk on võrdne GPT-4tugevus ja kohanemisvõime visuaalse ja tekstisisestuse käsitlemisel. Selle eesmärgi saavutamiseks arendavad arendajad DeepMindi Flamingo mudeli avatud lähtekoodiga versiooni, LMM-i, mis on võimeline töötlema ja arutlema pilte, videoid ja teksti. Arendajad on pühendunud täielikult avatud lähtekoodiga mudelite väljatöötamisele, sest nende arvates on läbipaistvus koostöö edendamisel, arengu kiirendamisel ja tipptasemel LMM-idele juurdepääsu demokratiseerimisel ülioluline.
Nad pakuvad meie OpenFlamingo-9B mudeli esialgset kontrollpunkti. Kuigi mudel pole veel täielikult optimeeritud, näitab see projekti lubadust. Arendajad saavad koostööd tehes ja kogukonna tagasisidet saades koolitada paremaid LMM-e. Nad kutsuvad avalikkust andma oma panust ja täiendama hoidlat, et osaleda arendusprotsessis.
Teostus sarnaneb väga Flamingo omaga. Flamingo mudeleid tuleb koolitada suuremahulistel veebiandmekogudel, millel on vaheleheidetud tekst ja graafika et varustada neid kontekstis väheste võtetega õppimisoskustega. OpenFlamingos on rakendatud sama arhitektuur, mida soovitati esialgses Flamingo uuringus (perceiver resamplers, cross-attention layers). Kuid kuna Flamingo koolitusandmed pole üldsusele kättesaadavad, kasutavad arendajad mudelite koolitamiseks avatud lähtekoodiga andmekogumiid. Äsja avaldatud OpenFlamingo-9B kontrollpunktis õpetati spetsiaalselt 10 miljonit LAION-2B proovi ja 5 miljonit proovi uuest Multimodaalsest C4 andmekogumist.
Arendajad lisavad ka kontrollpunkti meie lõpetamata LMM OpenFlamingo-9B-st, mis põhineb LLaMA 7B ja CLIP ViT/L-14 väljalaske osana. Kuigi seda kontseptsiooni alles arendatakse, võib kogukond sellest juba palju kasu saada.
Alustamiseks vaadake GitHub allikas ja demo.
Loe AI kohta lähemalt:
Kaebused
Vastavalt Usaldusprojekti juhised, pange tähele, et sellel lehel esitatud teave ei ole mõeldud ega tohiks tõlgendada kui juriidilist, maksu-, investeerimis-, finants- või muud nõuannet. Oluline on investeerida ainult seda, mida saate endale lubada kaotada, ja kahtluste korral küsida sõltumatut finantsnõu. Lisateabe saamiseks soovitame vaadata nõudeid ja tingimusi ning väljaandja või reklaamija pakutavaid abi- ja tugilehti. MetaversePost on pühendunud täpsele ja erapooletule aruandlusele, kuid turutingimusi võidakse ette teatamata muuta.
Umbes Autor
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
Veel artikleid
Damir on ettevõtte meeskonnajuht, tootejuht ja toimetaja Metaverse Post, mis hõlmab selliseid teemasid nagu AI/ML, AGI, LLM-id, Metaverse ja Web3-seotud väljad. Tema artiklid meelitavad igal kuul tohutut vaatajaskonda, üle miljoni kasutaja. Ta näib olevat ekspert, kellel on 10-aastane SEO ja digitaalse turunduse kogemus. Damirit on mainitud ajakirjades Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muud väljaanded. Ta reisib digitaalse nomaadina AÜE, Türgi, Venemaa ja SRÜ vahel. Damir omandas bakalaureusekraadi füüsikas, mis on tema arvates andnud talle kriitilise mõtlemise oskused, mida on vaja pidevalt muutuval Interneti-maastikul edukaks saamiseks.
