OpenFlamingo: Nový open-source rámec pro převod obrázků do textu od Meta AI a LAION
Stručně
OpenFlamingo je open-source verze modelu Flamingo od DeepMind, postavená na vrcholu LLaMA velký jazykový model.
Vývojáři doufají, že se jim podaří vytvořit multimodální systém, který bude zvládat výzvy v oblasti vize a jazyka GPT-4síla a přizpůsobivost při manipulaci s vizuálním a textovým vstupem.
Open-source verze modelu Flamingo od DeepMind, OpenFlamingo, byl právě propuštěn. OpenFlamingo je v zásadě rámec, který umožňuje školení a hodnocení velkých multimodálních modelů (LMM). OpenFlamingo je postaveno na vrcholu LLaMA velký jazykový model vyvinutý Meta AI.
Příspěvky vývojářů k tomuto prvnímu vydání jsou následující:
- Rozsáhlá multimodální datová sada, která kombinuje textové a vizuální sekvence.
- Referenční měřítko pro evaluaci učení v kontextu pro činnosti včetně vize a jazyka.
- Předběžná verze našeho LLaMA- založený na modelu OpenFlamingo-9B.
Vývojáři doufají, že prostřednictvím OpenFlamingo vytvoří multimodální systém, který zvládne různé výzvy v oblasti vizuálního jazyka. Konečným cílem je vyrovnat se GPT-4síla a přizpůsobivost při manipulaci s vizuálním a textovým vstupem. Vývojáři vyvíjejí open-source verzi modelu Flamingo od DeepMind, LMM schopného zpracovávat obrázky, videa a text a uvažovat o nich, aby tohoto cíle dosáhli. Vývojáři se věnují vývoji zcela open-source modelů, protože si myslí, že transparentnost je zásadní pro podporu spolupráce, urychlení vývoje a demokratizaci přístupu k nejmodernějším LMM.
Poskytují počáteční kontrolní bod našeho modelu OpenFlamingo-9B. Přestože model ještě není zcela optimalizován, ukazuje příslib projektu. Vývojáři mohou trénovat lepší LMM díky spolupráci a získávání zpětné vazby od komunity. Vyzývají veřejnost, aby poskytla informace a přidala do úložiště, aby se mohla zúčastnit procesu vývoje.
Implementace se velmi podobá implementaci Flaminga. Modely plameňáků musí být trénovány na rozsáhlých webových souborech dat s prokládaným textem a grafika vybavit je praktickými dovednostmi pro učení v kontextu. Stejná architektura, která byla navržena v původní studii Flamingo (Perceiver resamplery, cross-attention vrstvy) je implementována v OpenFlamingo. Ale protože tréninková data Flaminga nejsou přístupná široké veřejnosti, vývojáři používají k trénování modelů open source datové sady. Nově publikovaný kontrolní bod OpenFlamingo-9B byl speciálně trénován na 10M vzorcích z LAION-2B a 5M vzorcích z nového Multimodal C4 datasetu.
Vývojáři také zahrnují kontrolní bod z našeho nedokončeného LMM OpenFlamingo-9B, který je založen na LLaMA 7B a CLIP ViT/L-14, jako součást vydání. I když se tento koncept stále vyvíjí, komunita z něj již může mít velký užitek.
Chcete-li začít, podívejte se na GitHub zdroj a demonstrace.
Přečtěte si více o AI:
Odmítnutí odpovědnosti
V souladu s Pokyny k projektu Trust, prosím vezměte na vědomí, že informace uvedené na této stránce nejsou určeny a neměly by být vykládány jako právní, daňové, investiční, finanční nebo jakékoli jiné formy poradenství. Je důležité investovat jen to, co si můžete dovolit ztratit, a v případě pochybností vyhledat nezávislé finanční poradenství. Pro další informace doporučujeme nahlédnout do smluvních podmínek a také na stránky nápovědy a podpory poskytnuté vydavatelem nebo inzerentem. MetaversePost se zavázala poskytovat přesné a nezaujaté zprávy, ale podmínky na trhu se mohou bez upozornění změnit.
O autorovi
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
Další články
Damir je vedoucí týmu, produktový manažer a editor ve společnosti Metaverse Post, pokrývající témata jako AI/ML, AGI, LLM, Metaverse a Web3- související obory. Jeho články přitahují každý měsíc masivní publikum čítající více než milion uživatelů. Jeví se jako odborník s 10 lety zkušeností v oblasti SEO a digitálního marketingu. Damir byl zmíněn v Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto a další publikace. Jako digitální nomád cestuje mezi SAE, Tureckem, Ruskem a SNS. Damir získal bakalářský titul z fyziky, o kterém se domnívá, že mu dal dovednosti kritického myšlení potřebné k úspěchu v neustále se měnícím prostředí internetu.
