OpenFlamingo: یک چارچوب تصویر به متن منبع باز جدید از متا AI و LAION
به طور خلاصه
OpenFlamingo یک نسخه منبع باز از مدل Flamingo DeepMind است که بر روی LLaMA مدل زبان بزرگ.
توسعه دهندگان امیدوارند که یک سیستم چندوجهی ایجاد کنند که بتواند چالش های زبان بینایی و برابری را مدیریت کند GPT-4قدرت و سازگاری در مدیریت ورودی بصری و متن.
نسخه منبع باز مدل Flamingo DeepMind، اپن فلامینگو، به تازگی منتشر شده است. OpenFlamingo اساساً چارچوبی است که امکان آموزش و ارزیابی مدل‌های چندوجهی قابل توجه (LMM) را می‌دهد. OpenFlamingo در بالای آن ساخته شده است LLaMA مدل زبان بزرگ توسعه یافته توسط Meta AI.
مشارکت های توسعه دهندگان در این نسخه اول به شرح زیر است:
- مجموعه داده چندوجهی قابل توجهی که متن و توالی های بصری را ترکیب می کند.
- معیاری برای ارزیابی یادگیری درون زمینه ای برای فعالیت هایی از جمله بینایی و زبان.
- نسخه اولیه ما LLaMAمبتنی بر مدل OpenFlamingo-9B.
از طریق OpenFlamingo، توسعه دهندگان امیدوارند که یک سیستم چندوجهی ایجاد کنند که بتواند انواع چالش های زبان بینایی را مدیریت کند. هدف نهایی برابری است GPT-4قدرت و سازگاری در مدیریت ورودی بصری و متن. توسعه دهندگان در حال توسعه یک نسخه منبع باز از مدل Flamingo DeepMind هستند، یک LMM که قادر به پردازش و استدلال در مورد تصاویر، ویدیوها و متن است تا به این هدف دست یابند. توسعه‌دهندگان به توسعه مدل‌های کاملاً متن‌باز اختصاص دارند، زیرا فکر می‌کنند که شفافیت برای ارتقای همکاری، تسریع توسعه، و دموکراتیک کردن دسترسی به LMMهای پیشرفته ضروری است.
آنها در حال ارائه پست بازرسی اولیه مدل OpenFlamingo-9B ما هستند. اگرچه این مدل هنوز به طور کامل بهینه نشده است، اما وعده پروژه را نشان می دهد. توسعه دهندگان می توانند با همکاری و دریافت بازخورد جامعه، LMM های بهتری را آموزش دهند. آنها از عموم مردم دعوت می کنند که به منظور مشارکت در فرآیند توسعه، نظر بدهند و به مخزن اضافه کنند.
پیاده سازی بسیار شبیه به فلامینگو است. مدل‌های فلامینگو باید بر روی مجموعه داده‌های وب در مقیاس بزرگ با متن‌های به هم پیوسته و گرافیک برای تجهیز آنها به مهارت های یادگیری درون زمینه ای. همان معماری که در مطالعه اصلی فلامینگو پیشنهاد شده بود (نمونه‌های مجدد ادراکی، لایه‌های توجه متقابل) در OpenFlamingo پیاده‌سازی شده است. اما، از آنجایی که داده‌های آموزشی فلامینگو برای عموم قابل دسترسی نیست، توسعه‌دهندگان از مجموعه داده‌های منبع باز برای آموزش مدل‌ها استفاده می‌کنند. پست بازرسی OpenFlamingo-9B که به تازگی منتشر شده است به طور خاص بر روی 10 میلیون نمونه از LAION-2B و 5 میلیون نمونه از مجموعه داده جدید Multimodal C4 آموزش داده شده است.
توسعه دهندگان همچنین دارای یک نقطه بازرسی از LMM OpenFlamingo-9B ناتمام ما هستند که بر اساس LLaMA 7B و CLIP ViT/L-14، به عنوان بخشی از انتشار. حتی اگر این مفهوم هنوز در حال توسعه است، ممکن است جامعه در حال حاضر از آن سود زیادی ببرد.
برای شروع، نگاهی به GitHub منبع و نسخه ی نمایشی.
درباره هوش مصنوعی بیشتر بخوانید:
سلب مسئولیت
در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.
درباره نویسنده
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
مقالات بیشتر
Damir رهبر تیم، مدیر محصول و سردبیر در است Metaverse Post، موضوعاتی مانند AI/ML، AGI، LLMs، Metaverse و Web3- زمینه های مرتبط مقالات او هر ماه مخاطبان زیادی از بیش از یک میلیون کاربر را جذب می کند. به نظر می رسد او یک متخصص با 10 سال تجربه در سئو و بازاریابی دیجیتال است. دمیر در Mashable, Wired, ذکر شده است. Cointelegraph، نیویورکر، Inside.com، Entrepreneur، BeInCrypto، و انتشارات دیگر. او بین امارات متحده عربی، ترکیه، روسیه و کشورهای مستقل مشترک المنافع به عنوان یک عشایر دیجیتال سفر می کند. دمیر مدرک لیسانس خود را در فیزیک گرفت که به اعتقاد او مهارت های تفکر انتقادی لازم برای موفقیت در چشم انداز دائماً در حال تغییر اینترنت را به او داده است.
