Nieuwsverslag Technologie
30 maart 2023

OpenFlamingo: een nieuw open-source beeld-naar-tekst-framework van Meta AI en LAION

In het kort

OpenFlamingo is een open-sourceversie van het Flamingo-model van DeepMind, gebouwd bovenop de LLaMA groot taalmodel.

Ontwikkelaars hopen een multimodaal systeem te creëren dat uitdagingen op het gebied van visie en taal aankan GPT-4's kracht en aanpassingsvermogen bij het omgaan met visuele en tekstinvoer.

De open-sourceversie van het Flamingo-model van DeepMind, Flamingo openen, is zojuist vrijgegeven. OpenFlamingo is in wezen een raamwerk dat de training en beoordeling van omvangrijke multimodale modellen (LMM's) mogelijk maakt. OpenFlamingo is bovenop gebouwd LLaMA groot taalmodel ontwikkeld door Meta AI.

OpenFlamingo: een nieuw open-source beeld-naar-tekst-framework van Meta AI en LAION
Lees verder: Hoe te gebruiken Midjourney voor altijd gratis: 5 eenvoudige stappen

De bijdragen van ontwikkelaars aan deze eerste release zijn als volgt:

  • Een omvangrijke multimodale dataset die tekst en visuele sequenties combineert.
  • Een maatstaf voor evaluatie van in-context leren voor activiteiten zoals visie en taal.
  • Een voorlopige versie van onze LLaMA-gebaseerd OpenFlamingo-9B-model.

Via OpenFlamingo hopen ontwikkelaars een multimodaal systeem te creëren dat een verscheidenheid aan visuele taaluitdagingen aankan. Het uiteindelijke doel is gelijkheid GPT-4's kracht en aanpassingsvermogen bij het omgaan met visuele en tekstinvoer. Om dit doel te bereiken ontwikkelen ontwikkelaars een open-sourceversie van het Flamingo-model van DeepMind, een LMM die afbeeldingen, video's en tekst kan verwerken en erover kan redeneren. Ontwikkelaars zijn toegewijd aan het ontwikkelen van volledig open-sourcemodellen omdat ze denken dat transparantie cruciaal is voor het bevorderen van samenwerking, het versnellen van de ontwikkeling en het democratiseren van de toegang tot geavanceerde LMM's.

Herkenning van dieren

Ze bieden het eerste controlepunt van ons OpenFlamingo-9B-model. Hoewel het model nog niet helemaal is geoptimaliseerd, toont het de belofte van het project. Ontwikkelaars kunnen betere LMM's trainen door samen te werken en feedback van de community te krijgen. Ze nodigen het publiek uit om input te geven en toe te voegen aan de repository om deel te nemen aan het ontwikkelingsproces.

Objecten tellen

De uitvoering lijkt sterk op die van Flamingo's. Flamingo-modellen moeten worden getraind op grootschalige webdatasets met doorschoten tekst en grafiek om ze uit te rusten met in-context leervaardigheden. Dezelfde architectuur die werd gesuggereerd in de oorspronkelijke Flamingo-studie (Perceiver-resamplers, kruis-aandachtslagen) is geïmplementeerd in OpenFlamingo. Maar aangezien de trainingsgegevens van Flamingo niet toegankelijk zijn voor het grote publiek, gebruiken ontwikkelaars open-source datasets om modellen te trainen. Het onlangs gepubliceerde OpenFlamingo-9B-controlepunt is specifiek getraind op 10 miljoen monsters van LAION-2B en 5 miljoen monsters van de nieuwe Multimodal C4-dataset.

Ontwikkelaars voegen ook een controlepunt toe van onze onvoltooide LMM OpenFlamingo-9B, die is gebaseerd op LLaMA 7B en CLIP ViT/L-14, als onderdeel van de release. Hoewel dit concept nog in ontwikkeling is, kan de gemeenschap er al veel profijt van hebben.

Kijk om te beginnen naar de GitHub bron en demonstratie.

Lees meer over AI:

Disclaimer

In lijn met de Richtlijnen voor vertrouwensprojectenHoud er rekening mee dat de informatie op deze pagina niet bedoeld is en niet mag worden geïnterpreteerd als juridisch, fiscaal, beleggings-, financieel of enige andere vorm van advies. Het is belangrijk om alleen te beleggen wat u zich kunt veroorloven te verliezen en onafhankelijk financieel advies in te winnen als u twijfels heeft. Voor meer informatie raden wij u aan de algemene voorwaarden en de hulp- en ondersteuningspagina's van de uitgever of adverteerder te raadplegen. MetaversePost streeft naar nauwkeurige, onpartijdige berichtgeving, maar de marktomstandigheden kunnen zonder voorafgaande kennisgeving worden gewijzigd.

Over de auteur

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Meer artikelen
Damir Jalalov
Damir Jalalov

Damir is de teamleider, productmanager en redacteur bij Metaverse Post, met onderwerpen als AI/ML, AGI, LLM's, Metaverse en Web3-gerelateerde velden. Zijn artikelen trekken maandelijks een enorm publiek van meer dan een miljoen gebruikers. Hij blijkt een expert te zijn met 10 jaar ervaring in SEO en digitale marketing. Damir is genoemd in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto en andere publicaties. Hij reist als digitale nomade tussen de VAE, Turkije, Rusland en het GOS. Damir behaalde een bachelordiploma in natuurkunde, wat hem volgens hem de kritische denkvaardigheden heeft gegeven die nodig zijn om succesvol te zijn in het steeds veranderende landschap van internet. 

Van Ripple tot The Big Green DAO: hoe cryptocurrency-projecten bijdragen aan liefdadigheid

Laten we initiatieven onderzoeken die het potentieel van digitale valuta voor goede doelen benutten.

Meer weten

AlphaFold 3, Med-Gemini en anderen: de manier waarop AI de gezondheidszorg transformeert in 2024

AI manifesteert zich op verschillende manieren in de gezondheidszorg, van het blootleggen van nieuwe genetische correlaties tot het versterken van robotchirurgische systemen...

Meer weten
Sluit u aan bij onze innovatieve technologiegemeenschap
Lees meer
Lees meer
Mede-oprichter van Binance Yi He dringt er bij Elon Musk op aan om de groeiende crypto-zwendel op X aan te pakken
Advies Business Lifestyle markten Software Technologie
Mede-oprichter van Binance Yi He dringt er bij Elon Musk op aan om de groeiende crypto-zwendel op X aan te pakken
17 June 2024
Samenvatting van de cryptomarkt: analyse van wekelijkse trends in Bitcoin, Ethereum, Toncoin
Verteren Business markten Technologie
Samenvatting van de cryptomarkt: analyse van wekelijkse trends in Bitcoin, Ethereum, Toncoin
17 June 2024
Handelaar Joe lanceert Liquidity Book V2.2 en introduceert de functie 'Geconcentreerde Incentives'
Nieuwsverslag Technologie
Handelaar Joe lanceert Liquidity Book V2.2 en introduceert de functie 'Geconcentreerde Incentives'
17 June 2024
Crypto Exchange Binance lanceert 'Futures Grand Tournament' met een prijzenpot van 3 miljoen USDT
Lifestyle Nieuwsverslag Technologie
Crypto Exchange Binance lanceert 'Futures Grand Tournament' met een prijzenpot van 3 miljoen USDT
17 June 2024