فيسبوك يطور طريقة جديدة لمضاعفة أداء محولات الذكاء الاصطناعي
في سطور
طور Facebook طريقة جديدة لمضاعفة أداء محولات الذكاء الاصطناعي بناءً على بنية المحولات.
تكتشف الطريقة الجديدة أكثر التصحيحات تشابهًا في الفجوات بين معالجة الكتل المختلفة وتجمعها لتقليل التعقيد الحسابي.
طور Facebook ملف طريقة جديدة لمضاعفة أداء محولات الذكاء الاصطناعي. الطريقة على أساس بنية المحولات وهو مصمم خصيصًا للنصوص الطويلة مثل الكتب والمقالات والمدونات. الهدف من محول AI الجديد هو تحسين أداء النماذج القائمة على المحولات على نص طويل من خلال جعلها أكثر كفاءة وفعالية في التعامل مع التسلسلات الطويلة. نتائج محولات الذكاء الاصطناعي واعدة للغاية ، وهذه الطريقة الجديدة لديها فرصة للمساعدة في تحسين أداء النماذج القائمة على المحولات في مجموعة متنوعة من المهام.
من المتوقع أن يكون لهذه الطريقة الجديدة تأثير كبير على مهام معالجة اللغة الطبيعية ، مثل ترجمة اللغة والتلخيص وأنظمة الإجابة على الأسئلة. ومن المتوقع أيضًا أن يؤدي إلى تطوير نماذج ذكاء اصطناعي أكثر تعقيدًا يمكنها التعامل مع نصوص أطول وأكثر تعقيدًا.
لمعالجة الصورة ، تقوم المحولات الحديثة بتقطيعها إلى رقع (عادةً مربعات: انظر الصورة المتحركة أدناه) ثم تعمل على تمثيلات هذه الجسيمات ، كل منها يتم تمثيله بـ "رمز". المحولات ، كما نعلم ، تعمل بشكل أبطأ كلما زاد عدد هذه القطع الرمزية (وهذا ينطبق على كل من النصوص والصور) ، والمحول الأكثر شيوعًا له علاقة تربيعية. وهذا يعني أنه كلما تمت إضافة المزيد من الرموز المميزة ، أصبحت المعالجة أبطأ. لمعالجة هذه المشكلة ، اقترح الباحثون تقنيات مختلفة لتقليل عدد الرموز المطلوبة لمعالجة الصور ، مثل التجميع الهرمي والتكيفي. تهدف هذه الأساليب إلى الحفاظ على جودة المخرجات مع تقليل التكلفة الحسابية.
تكتشف الطريقة الجديدة أكثر التصحيحات تشابهًا في الفجوات بين معالجة الكتل المختلفة ودمجها لتقليل التعقيد الحسابي. حصة الرموز المدمجة عبارة عن معلمة تشعبية ؛ كلما كانت أعلى ، انخفضت الجودة ولكن أيضًا زادت التسارع. تظهر التجارب أنه من الممكن دمج ما يقرب من 40٪ من الرموز مع خسارة جودة بنسبة 0.1-0.4٪ والحصول على تسريع مزدوج (وبالتالي استهلاك ذاكرة أقل). تعد هذه الطريقة الجديدة حلاً واعدًا لتقليل التعقيد الحسابي لمعالجة الصور ويمكن أن تسمح بمعالجة أسرع وأكثر كفاءة دون المساس بجودة المخرجات النهائية.
مثل هذه الأساليب الهندسية القائمة على البراعة وفهم كيفية عمل شيء ما تبدو جذابة للغاية. أيضًا ، يعد مطورو Meta بجلب المزيد إلى StableDiffusion من أجل تسريع الأمور هناك أيضًا. إنه لأمر رائع ، نظرًا لوجود المحولات في كل مكان ، يمكن تنفيذ هذه الحيل بسرعة في مجموعة واسعة من النماذج. يوضح هذا إمكانية أن يكون للحلول الهندسية تأثير واسع عبر مختلف الصناعات. سيكون من المثير للاهتمام معرفة كيفية حدوث هذه التطورات نماذج المحولات سوف تستمر في التطور والتحسن بمرور الوقت.
- Meta AI و Paperswithcode أصدرت أول نموذج 120B Galactica تم تدريبه على النصوص العلمية ، مما يسمح بتنبؤات أكثر دقة وأسرع. الهدف من Galactica هو مساعدة الباحثين على فصل المهم عن غير ذي الصلة.
اقرأ المزيد من الأخبار ذات الصلة:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
