OpenFlamingo: een nieuw open-source beeld-naar-tekst-framework van Meta AI en LAION
In het kort
OpenFlamingo is een open-sourceversie van het Flamingo-model van DeepMind, gebouwd bovenop de LLaMA groot taalmodel.
Ontwikkelaars hopen een multimodaal systeem te creëren dat uitdagingen op het gebied van visie en taal aankan GPT-4's kracht en aanpassingsvermogen bij het omgaan met visuele en tekstinvoer.
De open-sourceversie van het Flamingo-model van DeepMind, Flamingo openen, is zojuist vrijgegeven. OpenFlamingo is in wezen een raamwerk dat de training en beoordeling van omvangrijke multimodale modellen (LMM's) mogelijk maakt. OpenFlamingo is bovenop gebouwd LLaMA groot taalmodel ontwikkeld door Meta AI.
De bijdragen van ontwikkelaars aan deze eerste release zijn als volgt:
- Een omvangrijke multimodale dataset die tekst en visuele sequenties combineert.
- Een maatstaf voor evaluatie van in-context leren voor activiteiten zoals visie en taal.
- Een voorlopige versie van onze LLaMA-gebaseerd OpenFlamingo-9B-model.
Via OpenFlamingo hopen ontwikkelaars een multimodaal systeem te creëren dat een verscheidenheid aan visuele taaluitdagingen aankan. Het uiteindelijke doel is gelijkheid GPT-4's kracht en aanpassingsvermogen bij het omgaan met visuele en tekstinvoer. Om dit doel te bereiken ontwikkelen ontwikkelaars een open-sourceversie van het Flamingo-model van DeepMind, een LMM die afbeeldingen, video's en tekst kan verwerken en erover kan redeneren. Ontwikkelaars zijn toegewijd aan het ontwikkelen van volledig open-sourcemodellen omdat ze denken dat transparantie cruciaal is voor het bevorderen van samenwerking, het versnellen van de ontwikkeling en het democratiseren van de toegang tot geavanceerde LMM's.
Ze bieden het eerste controlepunt van ons OpenFlamingo-9B-model. Hoewel het model nog niet helemaal is geoptimaliseerd, toont het de belofte van het project. Ontwikkelaars kunnen betere LMM's trainen door samen te werken en feedback van de community te krijgen. Ze nodigen het publiek uit om input te geven en toe te voegen aan de repository om deel te nemen aan het ontwikkelingsproces.
De uitvoering lijkt sterk op die van Flamingo's. Flamingo-modellen moeten worden getraind op grootschalige webdatasets met doorschoten tekst en grafiek om ze uit te rusten met in-context leervaardigheden. Dezelfde architectuur die werd gesuggereerd in de oorspronkelijke Flamingo-studie (Perceiver-resamplers, kruis-aandachtslagen) is geïmplementeerd in OpenFlamingo. Maar aangezien de trainingsgegevens van Flamingo niet toegankelijk zijn voor het grote publiek, gebruiken ontwikkelaars open-source datasets om modellen te trainen. Het onlangs gepubliceerde OpenFlamingo-9B-controlepunt is specifiek getraind op 10 miljoen monsters van LAION-2B en 5 miljoen monsters van de nieuwe Multimodal C4-dataset.
Ontwikkelaars voegen ook een controlepunt toe van onze onvoltooide LMM OpenFlamingo-9B, die is gebaseerd op LLaMA 7B en CLIP ViT/L-14, als onderdeel van de release. Hoewel dit concept nog in ontwikkeling is, kan de gemeenschap er al veel profijt van hebben.
Kijk om te beginnen naar de GitHub bron en demonstratie.
Lees meer over AI:
Disclaimer
In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.
Over de auteur
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
Meer artikelen
Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet.
