OpenFlamingo: Et nyt Open-Source billed-til-tekst-rammeværk fra Meta AI og LAION
Kort sagt
OpenFlamingo er en open source-version af DeepMinds Flamingo-model, bygget oven på LLaMA stor sprogmodel.
Udviklere håber at skabe et multimodalt system, der kan håndtere vision-sproglige udfordringer og lige GPT-4's styrke og tilpasningsevne til at håndtere visuelt og tekstinput.
Open source-versionen af DeepMinds Flamingo-model, Åben Flamingo, er netop blevet frigivet. OpenFlamingo er grundlæggende en ramme, der tillader træning og vurdering af betydelige multimodale modeller (LMM'er). OpenFlamingo er bygget oven på LLaMA stor sprogmodel udviklet af Meta AI.
Udviklernes bidrag til denne første udgivelse er som følger:
- Et betydeligt multimodalt datasæt, der kombinerer tekst og visuelle sekvenser.
- Et benchmark for læringsevaluering i kontekst for aktiviteter, herunder vision og sprog.
- En foreløbig version af vores LLaMA-baseret OpenFlamingo-9B model.
Gennem OpenFlamingo håber udviklere at skabe et multimodalt system, der kan håndtere en række forskellige synssproglige udfordringer. Det ultimative mål er at blive lige GPT-4's styrke og tilpasningsevne til at håndtere visuelt og tekstinput. Udviklere udvikler en open source-version af DeepMinds Flamingo-model, en LMM, der er i stand til at behandle og ræsonnere om billeder, videoer og tekst, for at nå dette mål. Udviklere er dedikerede til at udvikle helt open source-modeller, fordi de mener, at gennemsigtighed er afgørende for at fremme samarbejde, fremskynde udvikling og demokratisere adgangen til banebrydende LMM'er.
De leverer vores OpenFlamingo-9B models indledende kontrolpunkt. Selvom modellen endnu ikke er helt optimeret, viser den, hvad projektet lover. Udviklere kan træne bedre LMM'er ved at samarbejde og få community-feedback. De inviterer offentligheden til at give input og tilføje til depotet for at tage del i udviklingsprocessen.
Implementeringen minder meget om Flamingos. Flamingomodeller skal trænes på store webdatasæt med indflettet tekst og grafik at udstyre dem med få-skuds-indlæringsfærdigheder i konteksten. Den samme arkitektur, som blev foreslået i det oprindelige Flamingo-studie (Perceiver-resamplere, krydsopmærksomhedslag) er implementeret i OpenFlamingo. Men da Flamingos træningsdata ikke er tilgængelige for offentligheden, bruger udviklere open source-datasæt til at træne modeller. Det nyligt offentliggjorte OpenFlamingo-9B checkpoint blev specifikt trænet på 10M prøver fra LAION-2B og 5M prøver fra det nye Multimodal C4-datasæt.
Udviklere inkluderer også et checkpoint fra vores ufærdige LMM OpenFlamingo-9B, som er baseret på LLaMA 7B og CLIP ViT/L-14, som en del af udgivelsen. Selvom dette koncept stadig er under udvikling, kan samfundet allerede have stor gavn af det.
For at komme i gang skal du se på GitHub kilde og demo.
Læs mere om AI:
Ansvarsfraskrivelse
I tråd med den Trust Project retningslinjer, bemærk venligst, at oplysningerne på denne side ikke er beregnet til at være og ikke skal fortolkes som juridiske, skattemæssige, investeringsmæssige, finansielle eller nogen anden form for rådgivning. Det er vigtigt kun at investere, hvad du har råd til at tabe, og at søge uafhængig finansiel rådgivning, hvis du er i tvivl. For yderligere information foreslår vi at henvise til vilkårene og betingelserne samt hjælpe- og supportsiderne fra udstederen eller annoncøren. MetaversePost er forpligtet til nøjagtig, objektiv rapportering, men markedsforholdene kan ændres uden varsel.
Om forfatteren
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
Flere artikler
Damir er teamleder, produktchef og redaktør på Metaverse Post, der dækker emner som AI/ML, AGI, LLM'er, Metaverse og Web3-relaterede felter. Hans artikler tiltrækker et massivt publikum på over en million brugere hver måned. Han ser ud til at være en ekspert med 10 års erfaring i SEO og digital markedsføring. Damir er blevet nævnt i Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto og andre publikationer. Han rejser mellem UAE, Tyrkiet, Rusland og SNG som en digital nomade. Damir tog en bachelorgrad i fysik, som han mener har givet ham de kritiske tænkningskompetencer, der er nødvendige for at få succes i internettets evigt skiftende landskab.
