OpenFlamingo: إطار عمل جديد مفتوح المصدر لتحويل صورة إلى نص من Meta AI و LAION
في سطور
OpenFlamingo هو إصدار مفتوح المصدر من نموذج DeepMind's Flamingo ، تم بناؤه على قمة LLaMA نموذج لغة كبير.
يأمل المطورون في إنشاء نظام متعدد الوسائط يمكنه التعامل مع تحديات لغة الرؤية وعلى قدم المساواة GPT-4قوة وقابلية التكيف في التعامل مع المدخلات المرئية والنصية.
نسخة مفتوحة المصدر من نموذج فلامنغو DeepMind's ، أوبن فلامينجو، تم إطلاق سراحه للتو. OpenFlamingo هو في الأساس إطار عمل يسمح بتدريب وتقييم نماذج كبيرة متعددة الوسائط (LMMs). تم بناء OpenFlamingo على الجزء العلوي من LLaMA نموذج لغة كبير تم تطويره بواسطة Meta AI.
مساهمات المطورين في هذا الإصدار الأول هي كما يلي:
- مجموعة بيانات كبيرة متعددة الوسائط تجمع بين النصوص والتسلسلات المرئية.
- معيار لتقييم التعلم في السياق للأنشطة بما في ذلك الرؤية واللغة.
- نسخة أولية لدينا LLaMAنموذج مبني على OpenFlamingo-9B.
من خلال OpenFlamingo، يأمل المطورون في إنشاء نظام متعدد الوسائط يمكنه التعامل مع مجموعة متنوعة من تحديات لغة الرؤية. الهدف النهائي هو المساواة GPT-4قوة وقابلية التكيف في التعامل مع المدخلات المرئية والنصية. يقوم المطورون بتطوير نسخة مفتوحة المصدر من نموذج Flamingo الخاص بـ DeepMind، وهو LMM قادر على معالجة الصور ومقاطع الفيديو والنصوص والتفكير فيها، من أجل تحقيق هذا الهدف. يلتزم المطورون بتطوير نماذج مفتوحة المصدر بالكامل لأنهم يعتقدون أن الشفافية أمر بالغ الأهمية لتعزيز التعاون، وتسريع التنمية، وإضفاء الطابع الديمقراطي على الوصول إلى LMMs المتطورة.
إنهم يقدمون نقطة التفتيش الأولية لنموذج OpenFlamingo-9B الخاص بنا. على الرغم من أن النموذج لم يتم تحسينه بالكامل بعد ، إلا أنه يظهر وعد المشروع. يمكن للمطورين تدريب LMMs بشكل أفضل من خلال التعاون والحصول على تعليقات المجتمع. إنهم يدعون الجمهور لتقديم مدخلات وإضافة إلى المستودع من أجل المشاركة في عملية التطوير.
التنفيذ يشبه إلى حد كبير تطبيق Flamingo. يجب تدريب نماذج Flamingo على مجموعات بيانات ويب واسعة النطاق تحتوي على نصوص متداخلة و الرسومات لتزويدهم بمهارات تعلم قليلة في السياق. تم تنفيذ نفس البنية التي تم اقتراحها في دراسة Flamingo الأصلية (أجهزة اختبار Perceiver ، وطبقات الانتباه المتقاطع) في OpenFlamingo. ولكن نظرًا لأن بيانات تدريب Flamingo غير متاحة لعامة الناس ، يستخدم المطورون مجموعات بيانات مفتوحة المصدر لتدريب النماذج. تم تدريب نقطة تفتيش OpenFlamingo-9B المنشورة حديثًا بشكل خاص على 10 ملايين عينة من عينات LAION-2B و 5 M من مجموعة بيانات C4 متعددة الوسائط الجديدة.
يقوم المطورون أيضًا بتضمين نقطة تفتيش من LMM OpenFlamingo-9B غير المكتمل، والذي يعتمد على LLaMA 7B وCLIP ViT/L-14، كجزء من الإصدار. على الرغم من أن هذا المفهوم لا يزال قيد التطوير، إلا أن المجتمع قد يستفيد منه بالفعل بشكل كبير.
للبدء ، انظر إلى GitHub جيثب: المصدر و عرض.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
