OpenFlamingo: нова платформа для перетворення зображень у текст із відкритим кодом від Meta AI та LAION
Коротко
OpenFlamingo — це версія моделі Flamingo від DeepMind із відкритим вихідним кодом, побудована на основі LLaMA велика модель мови.
Розробники сподіваються створити мультимодальну систему, яка зможе впоратися з проблемами візуальної мови та на рівних GPT-4сила та адаптивність у обробці візуального та текстового введення.
Відкрита версія моделі Flamingo від DeepMind, OpenFlamingo, щойно випущено. OpenFlamingo — це фундаментальна структура, яка дозволяє навчати й оцінювати великі мультимодальні моделі (LMM). OpenFlamingo створено на основі LLaMA велика мовна модель, розроблена Meta AI.
Внесок розробників у цей перший випуск є таким:
- Значний мультимодальний набір даних, який поєднує текстові та візуальні послідовності.
- Еталон для оцінювання навчання в контексті діяльності, включаючи бачення та мову.
- Попередня версія нашого LLaMAмодель на основі OpenFlamingo-9B.
За допомогою OpenFlamingo розробники сподіваються створити мультимодальну систему, яка зможе впоратися з різноманітними проблемами візуальної мови. Кінцева мета – зрівнятися GPT-4сила та адаптивність у обробці візуального та текстового введення. Для досягнення цієї мети розробники розробляють версію моделі Flamingo від DeepMind з відкритим вихідним кодом, LMM, здатну обробляти та міркувати про зображення, відео та текст. Розробники націлені на розробку моделей із повністю відкритим кодом, оскільки вважають, що прозорість має вирішальне значення для сприяння співпраці, прискорення розробки та демократизації доступу до найсучасніших LMM.
Вони забезпечують початкову контрольну точку нашої моделі OpenFlamingo-9B. Незважаючи на те, що модель ще не повністю оптимізована, вона демонструє перспективність проекту. Розробники можуть навчити кращих LMM, співпрацюючи та отримуючи відгуки спільноти. Вони запрошують громадськість внести свій внесок і додати до репозиторію, щоб взяти участь у процесі розробки.
Реалізація дуже нагадує реалізацію Flamingo. Моделі Flamingo необхідно навчати на великомасштабних наборах веб-даних із текстом, що чергується, і графіка щоб оснастити їх навичками короткого навчання в контексті. У OpenFlamingo реалізовано ту саму архітектуру, яку було запропоновано в оригінальному дослідженні Flamingo (ресемплери Perceiver, шари перехресної уваги). Але оскільки навчальні дані Flamingo недоступні для широкого загалу, розробники використовують набори даних з відкритим кодом для навчання моделей. Нещодавно опублікована контрольна точка OpenFlamingo-9B була спеціально навчена на 10 млн. зразків із LAION-2B і 5 млн. зразків із нового набору даних Multimodal C4.
Розробники також включають контрольно-пропускний пункт із нашого незавершеного LMM OpenFlamingo-9B, який базується на LLaMA 7Б та CLIP ViT/L-14, у складі випуску. Незважаючи на те, що ця концепція все ще розробляється, громада вже може отримати від неї велику користь.
Щоб почати, подивіться на GitHub джерело і демонстрація.
Докладніше про ШІ:
відмова
Відповідно до Правила проекту Trust, будь ласка, зверніть увагу, що інформація, надана на цій сторінці, не призначена і не повинна тлумачитися як юридична, податкова, інвестиційна, фінансова або будь-яка інша форма консультації. Важливо інвестувати лише те, що ви можете дозволити собі втратити, і звернутися за незалежною фінансовою порадою, якщо у вас виникнуть сумніви. Щоб отримати додаткову інформацію, ми пропонуємо звернутися до положень та умов, а також до сторінок довідки та підтримки, наданих емітентом або рекламодавцем. MetaversePost прагне до точного, неупередженого звітування, але ринкові умови можуть змінюватися без попередження.
про автора
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
інші статті
Дамір є керівником групи, менеджером із продуктів і редактором Metaverse Post, що охоплює такі теми, як AI/ML, AGI, LLMs, Metaverse тощо Web3- суміжні поля. Його статті щомісяця приваблюють величезну аудиторію понад мільйон користувачів. Здається, він є експертом із 10-річним досвідом роботи в SEO та цифровому маркетингу. Даміра згадували в Mashable, Wired, Cointelegraph, The New Yorker, Inside.com, Entrepreneur, BeInCrypto та інші видання. Він подорожує між ОАЕ, Туреччиною, Росією та СНД як цифровий кочівник. Дамір отримав ступінь бакалавра з фізики, що, на його думку, дало йому навички критичного мислення, необхідні для досягнення успіху в Інтернеті, який постійно змінюється.
