FLM-101B: نموذج لغة بمقياس 101B فائق الفعالية من حيث التكلفة يتنافس مع نماذج الذكاء الاصطناعي الرائدة
في سطور
يمكن تدريب LLM الصيني، LM-101B، بميزانية قدرها 100 ألف دولار، مما يحقق أداءً مشابهًا للنماذج المعروفة مثل GPT-3 وGLM-130B.
كشف باحثون صينيون عن ماجستير جديد في القانون، وهو FLM-101B، وهي شهادة LLM مخصصة لوحدة فك التشفير فقط وتتميز بـ 101 مليار معلمة رائعة. يوفر هذا التطوير بديلاً فعالاً من حيث التكلفة لكل من البحث والتطبيقات العملية.
| هذا الموضوع ذو علاقة بـ: من المتوقع أن ترتفع تكاليف تدريب نموذج الذكاء الاصطناعي من 100 مليون دولار إلى 500 مليون دولار بحلول عام 2030 |
ما يجعل FLM-101B متميزًا هو أدائه الاستثنائي الذي تم تحقيقه بميزانية متواضعة نسبيًا. في حين أنه من المعروف أن تدريب LLMs من الصفر يمكن أن يتطلب استثمارات فلكية، فقد أظهر منشئو FLM-101B أنه من الممكن تدريب نموذج يحتوي على 101 مليار معلمة باستخدام ميزانية قدرها 100 ألف دولار فقط.
النتائج التجريبية ليست أقل من مثيرة للإعجاب. لقد أثبت FLM-101B مستويات أداء مماثلة لتلك القائمة والمستهلكة للموارد نماذج مثل GPT-3 وGLM-130B. تسلط هذه المقارنة الضوء على الإمكانات الهائلة لهذا النموذج الفعال من حيث التكلفة، لا سيما فيما يتعلق بمعايير الذكاء ذات السياقات المعقدة غير الموجودة في بيانات التدريب.
وفي خطوة تؤكد التزامهم بتعزيز البحث والتطوير في مجال الذكاء الاصطناعي، جعل مبتكرو FLM-101B هذا النموذج مفتوح المصدر. يمكن الآن للباحثين والمطورين في جميع أنحاء العالم الوصول إلى ماجستير إدارة الأعمال هذا بمقياس 101B والاستفادة منه في العديد من التطبيقات، التي تشمل اللغتين الصينية والإنجليزية.
يستخدم نموذج FLM-101B نهجًا تدريبيًا فريدًا. فهو يجمع المعرفة بسرعة من نموذج أصغر مكون من 16 مليار معلمة في المراحل الأولى من التدريب ويتوسع تدريجياً حتى يصل إلى 101 مليار معلمة. وهذا النهج التدريجي يقلل بشكل كبير من تكاليف التدريب، مما يجعله ممكنا من الناحية المالية لمجموعة واسعة من المشاريع.
إحدى الميزات البارزة لـ FLM-101B هي دعمها لتوسيع حجم النافذة بكفاءة أثناء الاستدلال. يتم تحقيق ذلك من خلال استخدام تضمين الموضع الدوار xPos، مما يسمح للنموذج بالتعامل مع سياق أوسع، مما يعزز قدرته على التكيف وسهولة الاستخدام.
تم تدريب FLM-101B على مجموعة مكونة من 24 خادم GPU DGX-A800 في أقل من 26 يومًا. يؤكد هذا العمل الفذ المثير للإعجاب على قابلية التوسع للنموذج واستخدام الموارد بكفاءة. وستكون قاعدة التعليمات البرمجية للتدريب الخاصة بالنموذج، المقتبسة من Megatron-LM، متاحة قريبًا كمصدر مفتوح، مما يوفر رؤى قيمة لمجتمع الذكاء الاصطناعي.
يقر منشئو FLM-101B بالقيود المحتملة، بما في ذلك تعرض النموذج لأمثلة غير آمنة في مجموعة التدريب بسبب الطبيعة المفتوحة لمجموعة البيانات. يعد هذا التحذير بمثابة تذكير بأهمية الاستخدام المسؤول للذكاء الاصطناعي المحتوى الاعتدال.
في حين حقق FLM-101B نتائج ملحوظة، يعترف المبدعون بمجالات التحسين. على الرغم من أن عملية الاستدلال الخاصة بالنموذج قوية، إلا أنها لم يتم تحسينها بشكل كامل بعد، مما يؤدي إلى زيادة استخدام الموارد وانخفاض السرعة. ومع ذلك، هناك خطط جارية لإدخال Flash Attention في الاستدلال لمعالجة هذا القيد.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
