OpenFlamingo: nauja atvirojo kodo vaizdo į tekstą sistema iš Meta AI ir LAION
Trumpai
OpenFlamingo yra atvirojo kodo DeepMind Flamingo modelio versija, sukurta ant LLaMA didelis kalbos modelis.
Kūrėjai tikisi sukurti daugiarūšę sistemą, kuri galėtų susidoroti su vizijos kalbos iššūkiais ir būtų lygi GPT-4stiprybė ir gebėjimas prisitaikyti tvarkant vaizdinę ir teksto įvestį.
DeepMind Flamingo modelio atvirojo kodo versija, OpenFlamingo, ką tik išleistas. „OpenFlamingo“ iš esmės yra sistema, leidžianti mokyti ir vertinti didelius daugiarūšius modelius (LMM). „OpenFlamingo“ yra pastatytas ant LLaMA didelis kalbos modelis, sukurtas Meta AI.
| Plačiau paskaitykite čia: Kaip naudotis Midjourney Forever nemokamai: 5 paprasti žingsniai |
Kūrėjų indėlis į šį pirmąjį leidimą yra toks:
- Didelis daugiarūšis duomenų rinkinys, kuriame derinamos tekstinės ir vaizdinės sekos.
- Veiklos, įskaitant viziją ir kalbą, mokymosi kontekste vertinimo etalonas.
- Preliminari mūsų versija LLaMA„OpenFlamingo-9B“ modelis.
„OpenFlamingo“ kūrėjai tikisi sukurti daugiarūšę sistemą, kuri galėtų susidoroti su įvairiais vizijos kalbos iššūkiais. Galutinis tikslas yra lygybė GPT-4stiprybė ir gebėjimas prisitaikyti tvarkant vaizdinę ir teksto įvestį. Siekdami šio tikslo, kūrėjai kuria atvirojo kodo DeepMind Flamingo modelio versiją – LMM, galinčią apdoroti vaizdus, vaizdo įrašus ir tekstą ir juos argumentuoti. Kūrėjai yra pasiryžę kurti visiškai atvirojo kodo modelius, nes mano, kad skaidrumas yra labai svarbus skatinant bendradarbiavimą, spartinant plėtrą ir demokratizuojant prieigą prie pažangiausių LMM.
Jie pateikia mūsų OpenFlamingo-9B modelio pradinį patikros tašką. Nors modelis dar nėra iki galo optimizuotas, jis parodo projekto pažadą. Bendradarbiaudami ir gaudami bendruomenės atsiliepimų kūrėjai gali parengti geresnius MMM. Jie kviečia visuomenę pateikti informaciją ir papildyti saugyklą, kad galėtų dalyvauti kūrimo procese.
Įgyvendinimas labai panašus į „Flamingo's“. Flamingo modeliai turi būti mokomi naudoti didelio masto žiniatinklio duomenų rinkinius su įterptu tekstu ir grafika suteikti jiems konteksto kelių kadrų mokymosi įgūdžių. „OpenFlamingo“ yra įdiegta ta pati architektūra, kuri buvo pasiūlyta pirminiame „Flamingo“ tyrime (Perceiver resamplers, kryžminio dėmesio sluoksniai). Tačiau kadangi „Flamingo“ mokymo duomenys nėra prieinami plačiajai visuomenei, kūrėjai naudoja atvirojo kodo duomenų rinkinius modeliams treniruoti. Naujai paskelbtas „OpenFlamingo-9B“ kontrolinis taškas buvo specialiai apmokytas 10 mln. mėginių iš LAION-2B ir 5 mln. mėginių iš naujojo Multimodal C4 duomenų rinkinio.
Kūrėjai taip pat įtraukė patikros tašką iš mūsų nebaigto LMM OpenFlamingo-9B, kuris yra pagrįstas LLaMA 7B ir CLIP ViT/L-14, kaip leidimo dalis. Nors ši koncepcija vis dar kuriama, bendruomenė jau gali iš to gauti daug naudos.
Norėdami pradėti, pažiūrėkite į GitHub šaltinis ir Demo.
Skaitykite daugiau apie AI:
Atsakomybės neigimas
Remdamasi tuo, Pasitikėjimo projekto gairės, atkreipkite dėmesį, kad šiame puslapyje pateikta informacija nėra skirta ir neturėtų būti aiškinama kaip teisinė, mokesčių, investicinė, finansinė ar bet kokia kita konsultacija. Svarbu investuoti tik tai, ką galite sau leisti prarasti, ir, jei turite kokių nors abejonių, kreiptis į nepriklausomą finansinę konsultaciją. Norėdami gauti daugiau informacijos, siūlome peržiūrėti taisykles ir nuostatas bei pagalbos ir palaikymo puslapius, kuriuos pateikia išdavėjas arba reklamuotojas. MetaversePost yra įsipareigojusi teikti tikslias, nešališkas ataskaitas, tačiau rinkos sąlygos gali keistis be įspėjimo.
Apie autorių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
Daugiau straipsnių
Damiras yra komandos vadovas, produktų vadovas ir redaktorius Metaverse Post, apimantis tokias temas kaip AI/ML, AGI, LLM, Metaverse ir Web3– susijusiose srityse. Jo straipsniai kas mėnesį pritraukia didžiulę daugiau nei milijono vartotojų auditoriją. Atrodo, kad jis yra ekspertas, turintis 10 metų SEO ir skaitmeninės rinkodaros patirtį. Damiras buvo paminėtas Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ir kiti leidiniai. Jis keliauja tarp JAE, Turkijos, Rusijos ir NVS kaip skaitmeninis klajoklis. Damiras įgijo fizikos bakalauro laipsnį, kuris, jo manymu, suteikė jam kritinio mąstymo įgūdžių, reikalingų sėkmingam nuolat besikeičiančiame interneto peizaže.
