OpenFlamingo: un nuovo framework open source da immagine a testo di Meta AI e LAION
In Breve
OpenFlamingo è una versione open source del modello Flamingo di DeepMind, costruito sulla base di LLaMA grande modello linguistico.
Gli sviluppatori sperano di creare un sistema multimodale in grado di gestire le sfide del linguaggio visivo e allo stesso modo GPT-4la forza e l'adattabilità di nel gestire input visivi e testuali.
La versione open source del modello Flamingo di DeepMind, ApriFenicottero, è appena stato rilasciato. OpenFlamingo è fondamentalmente un framework che consente la formazione e la valutazione di modelli multimodali di considerevoli dimensioni (LMM). OpenFlamingo è costruito sopra LLaMA modello linguistico di grandi dimensioni sviluppato da Meta AI.
I contributi degli sviluppatori a questa prima versione sono i seguenti:
- Un considerevole set di dati multimodali che combina testo e sequenze visive.
- Un punto di riferimento per la valutazione dell'apprendimento contestuale per attività che includono visione e linguaggio.
- Una versione preliminare del nostro LLaMAbasato sul modello OpenFlamingo-9B.
Attraverso OpenFlamingo, gli sviluppatori sperano di creare un sistema multimodale in grado di gestire una serie di sfide legate al linguaggio visivo. L’obiettivo finale è eguagliare GPT-4la forza e l'adattabilità di nel gestire input visivi e testuali. Gli sviluppatori stanno sviluppando una versione open source del modello Flamingo di DeepMind, un LMM in grado di elaborare e ragionare su immagini, video e testo, per raggiungere questo obiettivo. Gli sviluppatori si dedicano allo sviluppo di modelli interamente open source perché ritengono che la trasparenza sia fondamentale per promuovere la cooperazione, accelerare lo sviluppo e democratizzare l’accesso a LMM all’avanguardia.
Stanno fornendo il checkpoint iniziale del nostro modello OpenFlamingo-9B. Sebbene il modello non sia ancora del tutto ottimizzato, mostra la promessa del progetto. Gli sviluppatori possono addestrare migliori LMM cooperando e ricevendo feedback dalla community. Invitano il pubblico a fornire input e aggiungere al repository per prendere parte al processo di sviluppo.
L'implementazione è molto simile a quella di Flamingo. I modelli Flamingo devono essere addestrati su set di dati Web su larga scala con testo interlacciato e grafiche per dotarli di abilità di apprendimento a pochi colpi nel contesto. La stessa architettura suggerita nello studio originale di Flamingo (ricampionatori di percettori, livelli di attenzione incrociata) è implementata in OpenFlamingo. Tuttavia, poiché i dati di addestramento di Flamingo non sono accessibili al pubblico, gli sviluppatori utilizzano set di dati open source per addestrare i modelli. Il checkpoint OpenFlamingo-9B appena pubblicato è stato specificamente addestrato su 10 milioni di campioni da LAION-2B e 5 milioni di campioni dal nuovo set di dati Multimodal C4.
Gli sviluppatori stanno anche includendo un checkpoint dal nostro LMM OpenFlamingo-9B incompiuto, su cui è basato LLaMA 7B e CLIP ViT/L-14, come parte del comunicato. Anche se questo concetto è ancora in fase di sviluppo, la comunità potrebbe già trarne grandi benefici.
Per iniziare, guarda il GitHub fonte e dimostrazione.
Per saperne di più sull'intelligenza artificiale:
Negazione di responsabilità
In linea con la Linee guida del progetto Trust, si prega di notare che le informazioni fornite in questa pagina non intendono essere e non devono essere interpretate come consulenza legale, fiscale, di investimento, finanziaria o di qualsiasi altra forma. È importante investire solo ciò che puoi permetterti di perdere e chiedere una consulenza finanziaria indipendente in caso di dubbi. Per ulteriori informazioni, suggeriamo di fare riferimento ai termini e alle condizioni nonché alle pagine di aiuto e supporto fornite dall'emittente o dall'inserzionista. MetaversePost si impegna a fornire report accurati e imparziali, ma le condizioni di mercato sono soggette a modifiche senza preavviso.
Circa l'autore
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
Altri articoli
Damir è il team leader, il product manager e l'editore di Metaverse Post, che copre argomenti come AI/ML, AGI, LLM, Metaverse e Web3campi correlati. I suoi articoli attirano un vasto pubblico di oltre un milione di utenti ogni mese. Sembra essere un esperto con 10 anni di esperienza in SEO e marketing digitale. Damir è stato menzionato in Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto e altre pubblicazioni. Viaggia tra Emirati Arabi Uniti, Turchia, Russia e CSI come nomade digitale. Damir ha conseguito una laurea in fisica, che secondo lui gli ha fornito le capacità di pensiero critico necessarie per avere successo nel panorama in continua evoluzione di Internet.
