OpenFlamingo: Uusi avoimen lähdekoodin kuvista tekstiksi -kehys Meta AI:ltä ja LAIONilta
Lyhyesti
OpenFlamingo on avoimen lähdekoodin versio DeepMindin Flamingo-mallista, joka on rakennettu LLaMA suuri kielimalli.
Kehittäjät toivovat luovansa multimodaalisen järjestelmän, joka pystyy käsittelemään näkemyskielen haasteita ja tasavertaisia GPT-4vahvuus ja sopeutumiskyky visuaalisen ja tekstinsyötön käsittelyssä.
DeepMindin Flamingo-mallin avoimen lähdekoodin versio, OpenFlamingo, on juuri julkaistu. OpenFlamingo on pohjimmiltaan kehys, joka mahdollistaa mittavien multimodaalisten mallien (LMM) koulutuksen ja arvioinnin. OpenFlamingo on rakennettu päälle LLaMA Meta AI:n kehittämä suuri kielimalli.
Kehittäjien panokset tähän ensimmäiseen julkaisuun ovat seuraavat:
- Suuri multimodaalinen tietojoukko, joka yhdistää tekstiä ja visuaalisia sekvenssejä.
- Vertailuarvo konteksti-oppimisen arvioinnille toimintojen mukaan lukien visio ja kieli.
- Alustava versio meidän LLaMA-pohjainen OpenFlamingo-9B malli.
OpenFlamingon avulla kehittäjät toivovat luovansa multimodaalisen järjestelmän, joka pystyy käsittelemään erilaisia visiokielen haasteita. Lopullinen tavoite on tasa-arvo GPT-4vahvuus ja sopeutumiskyky visuaalisen ja tekstinsyötön käsittelyssä. Tämän tavoitteen saavuttamiseksi kehittäjät kehittävät avoimen lähdekoodin versiota DeepMindin Flamingo-mallista, LMM:stä, joka pystyy käsittelemään ja perustelemaan kuvia, videoita ja tekstiä. Kehittäjät ovat omistautuneet kehittämään täysin avoimen lähdekoodin malleja, koska heidän mielestään läpinäkyvyys on ratkaisevan tärkeää yhteistyön edistämisessä, kehityksen nopeuttamisessa ja huippuluokan LMM:iden saatavuuden demokratisoinnissa.
He tarjoavat OpenFlamingo-9B-mallimme alkuperäisen tarkistuspisteen. Vaikka mallia ei ole vielä täysin optimoitu, se osoittaa projektin lupauksen. Kehittäjät voivat kouluttaa parempia LMM:itä tekemällä yhteistyötä ja saamalla palautetta yhteisöltä. He kutsuvat yleisöä antamaan palautetta ja lisäämään arkistoon osallistuakseen kehitysprosessiin.
Toteutus muistuttaa läheisesti Flamingon toteutusta. Flamingo-malleja tulee kouluttaa laajamittaisiin verkkotietosarjoihin, joissa on lomitettu teksti ja grafiikka varustaa heidät kontekstin mukaisilla muutaman otoksen oppimistaidoilla. Sama arkkitehtuuri, jota ehdotettiin alkuperäisessä Flamingo-tutkimuksessa (Perceiver resamplers, cross-attention layers) on toteutettu OpenFlamingossa. Mutta koska Flamingon harjoitustiedot eivät ole suuren yleisön saatavilla, kehittäjät käyttävät avoimen lähdekoodin tietojoukkoja mallien kouluttamiseen. Äskettäin julkaistu OpenFlamingo-9B-tarkastuspiste koulutettiin erityisesti 10 miljoonalle näytteelle LAION-2B:stä ja 5 miljoonasta näytteestä uudesta Multimodal C4 -tietojoukosta.
Kehittäjät sisällyttävät myös tarkistuspisteen keskeneräisestä LMM OpenFlamingo-9B:stä, joka perustuu LLaMA 7B ja CLIP ViT/L-14 osana julkaisua. Vaikka tätä konseptia kehitetään edelleen, yhteisö voi jo hyötyä siitä paljon.
Aloita katsomalla GitHub lähde ja esittely.
Lue lisää tekoälystä:
Vastuun kieltäminen
Mukaisesti Luottamusprojektin ohjeetHuomaa, että tällä sivulla annettuja tietoja ei ole tarkoitettu eikä niitä tule tulkita oikeudellisiksi, verotukselliseksi, sijoitus-, rahoitus- tai minkään muun muodon neuvoiksi. On tärkeää sijoittaa vain sen verran, mitä sinulla on varaa menettää, ja pyytää riippumatonta talousneuvontaa, jos sinulla on epäilyksiä. Lisätietoja saat käyttöehdoista sekä myöntäjän tai mainostajan tarjoamista ohje- ja tukisivuista. MetaversePost on sitoutunut tarkkaan, puolueettomaan raportointiin, mutta markkinaolosuhteet voivat muuttua ilman erillistä ilmoitusta.
Author
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
lisää artikkeleita
Damir on tiimin johtaja, tuotepäällikkö ja toimittaja osoitteessa Metaverse Post, kattaa aiheita, kuten AI/ML, AGI, LLMs, Metaverse ja Web3- liittyvät kentät. Hänen artikkelinsa houkuttelevat yli miljoonan käyttäjän massiivisen yleisön joka kuukausi. Hän näyttää olevan asiantuntija, jolla on 10 vuoden kokemus hakukoneoptimoinnista ja digitaalisesta markkinoinnista. Damir on mainittu Mashablessa, Wiredissä, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto ja muut julkaisut. Hän matkustaa Arabiemiirikuntien, Turkin, Venäjän ja IVY-maiden välillä digitaalisena nomadina. Damir suoritti kandidaatin tutkinnon fysiikasta, jonka hän uskoo antaneen hänelle kriittisen ajattelun taidot menestyäkseen jatkuvasti muuttuvassa internetin maisemassa.
