OpenFlamingo: Új nyílt forráskódú kép-szöveg keretrendszer a Meta AI-től és a LAION-tól
Röviden
Az OpenFlamingo a DeepMind Flamingo modelljének nyílt forráskódú változata, amely a LLaMA nagy nyelvi modell.
A fejlesztők egy olyan multimodális rendszer létrehozását remélik, amely képes kezelni a látásnyelvi kihívásokat és egyenlő GPT-4ereje és alkalmazkodóképessége a vizuális és szövegbevitel kezelésében.
A DeepMind Flamingo modelljének nyílt forráskódú verziója, OpenFlamingo, most jelent meg. Az OpenFlamingo alapvetően egy keretrendszer, amely lehetővé teszi a méretes multimodális modellek (LMM) képzését és értékelését. Az OpenFlamingo a tetejére épül LLaMA Meta AI által kifejlesztett nagy nyelvi modell.
A fejlesztők hozzájárulása ehhez az első kiadáshoz a következő:
- Egy méretes multimodális adatkészlet, amely szöveges és vizuális szekvenciákat kombinál.
- Egy viszonyítási alap a kontextuson belüli tanulás értékeléséhez olyan tevékenységek esetében, mint a látás és a nyelv.
- A mi előzetes verziója LLaMA-alapú OpenFlamingo-9B modell.
Az OpenFlamingo révén a fejlesztők egy olyan multimodális rendszer létrehozását remélik, amely képes megbirkózni a különféle látásnyelvi kihívásokkal. A végső cél az egyenlőség GPT-4ereje és alkalmazkodóképessége a vizuális és szövegbevitel kezelésében. E cél elérése érdekében a fejlesztők a DeepMind Flamingo modelljének nyílt forráskódú változatát fejlesztik, amely egy LMM, amely képes feldolgozni és érvelni a képeket, videókat és szöveget. A fejlesztők elkötelezettek a teljesen nyílt forráskódú modellek fejlesztése mellett, mert úgy gondolják, hogy az átláthatóság kulcsfontosságú az együttműködés elősegítésében, a fejlődés felgyorsításában és a legmodernebb LMM-ekhez való hozzáférés demokratizálásában.
Ők biztosítják az OpenFlamingo-9B modellünk kezdeti ellenőrző pontját. Bár a modell még nincs teljesen optimalizálva, a projekt ígéretét mutatja. A fejlesztők jobb LMM-eket képezhetnek, ha együttműködnek és közösségi visszajelzést kapnak. Felkérik a nyilvánosságot, hogy adjanak véleményt és bővítsék az adattárat, hogy részt vegyenek a fejlesztési folyamatban.
A megvalósítás nagyon hasonlít a Flamingóéhoz. A flamingó modelleket nagyméretű webes adatkészletekre kell képezni, átlapolt szöveggel és grafika hogy felvértezzük őket a kontextuson belüli néhány felvételes tanulási készségekkel. Ugyanaz az architektúra, amelyet az eredeti Flamingo-tanulmány (Perceiver resamplers, cross-attention layers) javasolt, az OpenFlamingo-ban valósul meg. De mivel a Flamingo képzési adatai nem hozzáférhetők a nagyközönség számára, a fejlesztők nyílt forráskódú adatkészleteket használnak a modellek betanításához. Az újonnan közzétett OpenFlamingo-9B ellenőrzőpont kifejezetten a LAION-10B 2 millió mintájára és az új Multimodal C5 adatkészletből származó 4 millió mintára lett kiképezve.
A fejlesztők egy ellenőrző pontot is mellékelnek a befejezetlen LMM OpenFlamingo-9B-ből, amely LLaMA 7B és CLIP ViT/L-14, a kiadás részeként. Annak ellenére, hogy ez a koncepció még fejlesztés alatt áll, a közösség már most sokat profitálhat belőle.
A kezdéshez nézze meg a GitHub forrás és demó.
Tudjon meg többet az AI-ról:
A felelősség megtagadása
Összhangban a A Trust Project irányelvei, kérjük, vegye figyelembe, hogy az ezen az oldalon közölt információk nem minősülnek jogi, adózási, befektetési, pénzügyi vagy bármilyen más formájú tanácsnak, és nem is értelmezhetők. Fontos, hogy csak annyit fektessen be, amennyit megengedhet magának, hogy elveszítsen, és kérjen független pénzügyi tanácsot, ha kétségei vannak. További információkért javasoljuk, hogy tekintse meg a szerződési feltételeket, valamint a kibocsátó vagy hirdető által biztosított súgó- és támogatási oldalakat. MetaversePost elkötelezett a pontos, elfogulatlan jelentéstétel mellett, de a piaci feltételek előzetes értesítés nélkül változhatnak.
A szerzőről
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
További cikkek
Damir a csapat vezetője, termékmenedzsere és szerkesztője Metaverse Post, olyan témákkal foglalkozik, mint az AI/ML, AGI, LLMs, Metaverse és Web3- kapcsolódó mezők. Cikkei havonta több mint egymillió felhasználót vonzanak. Úgy tűnik, szakértő, aki 10 éves tapasztalattal rendelkezik a SEO és a digitális marketing területén. Damirt a Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto és más kiadványok. Digitális nomádként utazik az Egyesült Arab Emírségek, Törökország, Oroszország és a FÁK között. Damir fizikából szerzett bachelor-diplomát, és úgy gondolja, hogy ez megadta neki azokat a kritikus gondolkodási készségeket, amelyek szükségesek ahhoz, hogy sikeres legyen az internet folyamatosan változó táján.
