أفضل 30+ من نماذج المحولات في الذكاء الاصطناعي: ما هي وكيف تعمل

حصة هذه المادة

• 
• 
• 
• 
• 

by دامير يالالوف

تم النشر: 12 يونيو 2023 الساعة 6:52 صباحًا تم التحديث: 12 يونيو 2023 الساعة 6:52 صباحًا

by كارولينا جاسزكس

تم التحرير والتحقق من صحة الحقائق: 12 يونيو 2023 الساعة 6:52 صباحًا

لتحسين تجربتك مع اللغة المحلية ، نستخدم أحيانًا مكونًا إضافيًا للترجمة التلقائية. يرجى ملاحظة أن الترجمة التلقائية قد لا تكون دقيقة ، لذا اقرأ أصلي مقالة للحصول على معلومات دقيقة.

في الأشهر الأخيرة ، ظهرت العديد من نماذج Transformer في الذكاء الاصطناعي ، ولكل منها أسماء فريدة ومسلية في بعض الأحيان. ومع ذلك ، قد لا توفر هذه الأسماء الكثير من الأفكار حول ما تفعله هذه النماذج بالفعل. تهدف هذه المقالة إلى تقديم قائمة شاملة ومباشرة لنماذج المحولات الأكثر شيوعًا. سيصنف هذه النماذج ويقدم أيضًا جوانب وابتكارات مهمة داخل عائلة Transformer. ستغطي القائمة العلوية نماذج مدربة من خلال التعلم الخاضع للإشراف الذاتي، مثل BERT أو GPT-3، بالإضافة إلى النماذج التي تخضع لتدريب إضافي بمشاركة بشرية، مثل InstructGPT النموذج المستخدم من قبل ChatGPT.

ما هي المحولات في الذكاء الاصطناعي؟

المحولات هي نوع من نماذج التعلم العميق التي تم تقديمها في ورقة بحثية تسمى "الاهتمام هو كل ما تحتاجه"بواسطة باحثي Google في عام 2017. وقد اكتسبت هذه الورقة تقديرًا هائلاً ، حيث جمعت أكثر من 38,000 اقتباس في خمس سنوات فقط.

بنية المحولات الأصلية هي شكل محدد من نماذج التشفير وفك التشفير التي اكتسبت شعبية قبل تقديمها. تم الاعتماد على هذه النماذج في الغالب LSTM وأنواع أخرى من الشبكات العصبية المتكررة (شبكات RNN) ، مع اعتبار الانتباه مجرد إحدى الآليات المستخدمة. ومع ذلك ، اقترحت ورقة Transformer فكرة ثورية مفادها أن الانتباه يمكن أن يكون بمثابة الآلية الوحيدة لتأسيس التبعيات بين المدخلات والمخرجات.

في سياق المحولات ، يتكون الإدخال من سلسلة من الرموز ، والتي يمكن أن تكون كلمات أو كلمات فرعية في معالجة اللغة الطبيعية (NLP). يتم استخدام الكلمات الفرعية بشكل شائع في نماذج البرمجة اللغوية العصبية لمعالجة مشكلة الكلمات خارج المفردات. ينتج ناتج المشفر تمثيلًا ثابتًا الأبعاد لكل رمز مميز ، جنبًا إلى جنب مع تضمين منفصل للتسلسل بأكمله. تأخذ وحدة فك التشفير إخراج المشفر وتقوم بإنشاء سلسلة من الرموز كإخراج لها.

منذ نشر ورقة Transformer ، ظهرت نماذج مشهورة مثل بيرت و GPT اعتمدت جوانب من البنية الأصلية، إما باستخدام مكونات التشفير أو وحدة فك التشفير. يكمن التشابه الرئيسي بين هذه النماذج في بنية الطبقة، التي تتضمن آليات الاهتمام الذاتي وطبقات التغذية الأمامية. في المحولات، يجتاز كل رمز إدخال مساره الخاص عبر الطبقات مع الحفاظ على التبعيات المباشرة مع كل رمز مميز آخر في تسلسل الإدخال. تسمح هذه الميزة الفريدة بإجراء حساب متوازي وفعال لتمثيلات الرموز السياقية، وهي قدرة غير ممكنة مع النماذج التسلسلية مثل شبكات RNN.

بينما لا تخدش هذه المقالة سوى سطح بنية المحولات ، إلا أنها تقدم لمحة عن جوانبها الأساسية. لفهم أكثر شمولاً ، نوصي بالرجوع إلى ورقة البحث الأصلية أو منشور المحولات المصورة.

ما هي أجهزة التشفير وأجهزة فك التشفير في الذكاء الاصطناعي؟

تخيل أن لديك نموذجين ، جهاز تشفير ووحدة فك ترميز ، العمل معا كفريق. يأخذ المشفر مدخلاً ويحوله إلى متجه بطول ثابت. ثم يأخذ مفكك الشفرة هذا المتجه ويحوله إلى تسلسل إخراج. يتم تدريب هذه النماذج معًا للتأكد من أن الإخراج يطابق الإدخال قدر الإمكان.

يحتوي كل من جهاز التشفير وفك التشفير على عدة طبقات. تحتوي كل طبقة في المشفر على طبقتين فرعيتين: طبقة انتباه ذاتي متعددة الرؤوس وشبكة تغذية بسيطة إلى الأمام. تساعد طبقة الانتباه الذاتي كل رمز مميز في الإدخال على فهم العلاقات مع جميع الرموز المميزة الأخرى. تحتوي هذه الطبقات الفرعية أيضًا على اتصال متبقي وطبقة تسوية لجعل عملية التعلم أكثر سلاسة.

جهاز فك التشفير متعدد الرؤوس طبقة الانتباه الذاتي يعمل بشكل مختلف قليلاً عن ذلك الموجود في المشفر. إنه يخفي الرموز المميزة الموجودة على يمين الرمز المميز الذي يركز عليه. هذا يضمن أن وحدة فك التشفير تنظر فقط إلى الرموز المميزة التي تأتي قبل الرمز الذي تحاول التنبؤ به. يساعد هذا الانتباه متعدد الرؤوس المقنع وحدة فك التشفير على توليد تنبؤات دقيقة. بالإضافة إلى ذلك ، يشتمل مفكك التشفير على طبقة فرعية أخرى ، وهي طبقة انتباه متعددة الرؤوس فوق جميع مخرجات وحدة التشفير.

من المهم ملاحظة أن هذه التفاصيل المحددة قد تم تعديلها في أشكال مختلفة من طراز Transformer. نماذج مثل BERT و GPT، على سبيل المثال ، تستند إلى جانب المشفر أو وحدة فك التشفير في العمارة الأصلية.

ما هي طبقات الانتباه في الذكاء الاصطناعي؟

في بنية النموذج التي ناقشناها سابقًا ، تعد طبقات الانتباه متعددة الرؤوس هي العناصر الخاصة التي تجعلها قوية. لكن ما هو الاهتمام بالضبط؟ فكر في الأمر كوظيفة تقوم بتعيين سؤال إلى مجموعة من المعلومات وتعطي ناتجًا. يحتوي كل رمز مميز في الإدخال على استعلام ومفتاح وقيمة مرتبطة به. يتم حساب تمثيل الإخراج لكل رمز من خلال أخذ مجموع قيم مرجح ، حيث يتم تحديد وزن كل قيمة من خلال مدى تطابقها مع الاستعلام.

تستخدم المحولات وظيفة توافق تسمى المنتج النقطي المقاس لحساب هذه الأوزان. الشيء المثير للاهتمام في الاهتمام في Transformers هو أن كل رمز يمر عبر مسار الحساب الخاص به ، مما يسمح بالحساب المتوازي لجميع الرموز المميزة في تسلسل الإدخال. إنها ببساطة كتل انتباه متعددة تقوم بشكل مستقل بحساب التمثيلات لكل رمز مميز. يتم بعد ذلك دمج هذه التمثيلات لإنشاء التمثيل النهائي للرمز المميز.

مقارنة بأنواع الشبكات الأخرى مثل الشبكات المتكررة و الشبكات التلافيفية، طبقات الانتباه لها مزايا قليلة. إنها فعالة من الناحية الحسابية ، مما يعني أنها تستطيع معالجة المعلومات بسرعة. لديهم أيضًا اتصال أعلى ، مما يساعد في التقاط العلاقات طويلة الأمد في التسلسل.

ما هي النماذج الدقيقة في الذكاء الاصطناعي؟

نماذج الأساس هي نماذج قوية يتم تدريبها على كمية كبيرة من البيانات العامة. يمكن بعد ذلك تكييفها أو ضبطها لأداء مهام محددة من خلال تدريبها على مجموعة أصغر البيانات الخاصة بالهدف. هذا النهج ، الذي شاعه ورق بيرت، إلى هيمنة النماذج المستندة إلى Transformer في مهام التعلم الآلي المتعلقة باللغة.

في حالة النماذج مثل BERT ، فإنها تنتج تمثيلات لرموز الإدخال ولكنها لا تنجز مهامًا محددة بمفردها. لجعلها مفيدة ، إضافية الطبقات العصبية تتم إضافتها في الأعلى ويتم تدريب النموذج من البداية إلى النهاية ، وهي عملية تُعرف باسم الضبط الدقيق. ومع ذلك ، مع نماذج مولدة مثل GPT، النهج مختلف قليلاً. GPT هو نموذج لغة فك ترميز تم تدريبه على التنبؤ بالكلمة التالية في الجملة. من خلال التدريب على كميات هائلة من بيانات الويب، GPT يمكن أن تولد مخرجات معقولة بناءً على استعلامات الإدخال أو المطالبات.

لجعل GPT أكثر فائدة، OpenAI تطوير الباحثين أمرGPT، والذي تم تدريبه على اتباع تعليمات الإنسان. يتم تحقيق ذلك عن طريق الضبط الدقيق GPT باستخدام البيانات التي يحملها الإنسان من المهام المختلفة. إرشادGPT قادر على أداء مجموعة واسعة من المهام وتستخدمه المحركات الشائعة مثل ChatGPT.

يمكن أيضًا استخدام الضبط الدقيق لإنشاء أشكال مختلفة من نماذج الأساس المحسّنة من أجلها لأغراض محددة ما وراء النمذجة اللغوية. على سبيل المثال ، هناك نماذج تم ضبطها بدقة للمهام المتعلقة بالدلالات مثل تصنيف النص واسترجاع البحث. بالإضافة إلى ذلك ، تم ضبط ترميز المحولات بنجاح ضمن مهام متعددة أطر التعلم لأداء مهام دلالية متعددة باستخدام نموذج واحد مشترك.

اليوم ، يتم استخدام الضبط الدقيق لإنشاء إصدارات من نماذج الأساس التي يمكن أن يستخدمها عدد كبير من المستخدمين. تتضمن العملية توليد استجابات للمدخلات المطالبات وقيام البشر بترتيب النتائج. يستخدم هذا الترتيب لتدريب أ نموذج المكافأة، والتي تعين الدرجات لكل ناتج. تعزيز التعلم مع ردود الفعل البشرية ثم يتم توظيفه لمزيد من التدريب على النموذج.

لماذا تعتبر Transformers هي مستقبل الذكاء الاصطناعي؟

تم عرض المحولات ، وهي نوع من النماذج القوية ، لأول مرة في مجال ترجمة اللغة. ومع ذلك ، أدرك الباحثون بسرعة أنه يمكن استخدام المحولات في مهام مختلفة متعلقة باللغة من خلال تدريبهم على كمية كبيرة من النص غير المعين ومن ثم ضبطهم على مجموعة أصغر من البيانات المصنفة. سمح هذا النهج للمحولات بالتقاط معرفة مهمة حول اللغة.

تم أيضًا تطبيق بنية المحولات ، المصممة أصلاً لمهام اللغة ، على تطبيقات أخرى مثل توليد الصوروالصوت والموسيقى وحتى الإجراءات. وقد جعل هذا من Transformers مكونًا رئيسيًا في مجال الذكاء الاصطناعي التوليدي ، والذي يغير جوانب مختلفة من المجتمع.

توافر الأدوات والأطر مثل PyTorch و TensorFlow لعبت دورًا حاسمًا في تبني نماذج المحولات على نطاق واسع. قامت شركات مثل Huggingface ببناء ملفات العمل حول الفكرة من تسويق مكتبات Transformer مفتوحة المصدر ، والأجهزة المتخصصة مثل NVIDIA's Hopper Tensor Cores ، زادت من سرعة التدريب والاستدلال لهذه النماذج.

أحد التطبيقات البارزة للمحولات هو ChatGPT, تم إصدار روبوت محادثة بواسطة OpenAI. لقد أصبح شائعًا بشكل لا يصدق ، حيث وصل إلى ملايين المستخدمين في فترة قصيرة. OpenAI كما أعلنت عن إطلاق سراح GPT-4، إصدار أكثر قوة قادر على تحقيق أداء يشبه أداء الإنسان في مهام مثل الامتحانات الطبية والقانونية.

لا يمكن إنكار تأثير المحولات في مجال الذكاء الاصطناعي ومجموعة تطبيقاتها الواسعة. يملكون غيرت الطريق نحن نتعامل مع المهام المتعلقة باللغة ونمهد الطريق لتطورات جديدة في الذكاء الاصطناعي التوليدي.

3 أنواع معمارية ما قبل التدريب

تطورت بنية المحولات ، التي تتكون في الأصل من جهاز تشفير وفك تشفير ، لتشمل اختلافات مختلفة بناءً على احتياجات محددة. دعنا نقسم هذه الاختلافات بعبارات بسيطة.

1. التشفير المسبق: تركز هذه النماذج على فهم جمل أو مقاطع كاملة. أثناء التدريب المسبق ، يتم استخدام المشفر لإعادة بناء الرموز المميزة المقنعة في جملة الإدخال. هذا يساعد النموذج على تعلم فهم السياق العام. هذه النماذج مفيدة لمهام مثل تصنيف النص ، والاستنتاج ، والإجابة الاستخراجية للأسئلة.
2. التدريب المسبق لوحدة فك الترميز: تم تدريب نماذج وحدات فك التشفير لإنشاء الرمز المميز التالي بناءً على التسلسل السابق للرموز. تُعرف باسم نماذج اللغة الانحدارية. لا يمكن لطبقات الانتباه الذاتي في وحدة فك التشفير الوصول إلى الرموز المميزة إلا قبل رمز معين في الجملة. هذه النماذج مثالية للمهام التي تنطوي على إنشاء نص.
3. محول (التشفير - فك التشفير): يجمع هذا الاختلاف بين مكونات المشفر ومفكك التشفير. يمكن لطبقات الانتباه الذاتي لجهاز التشفير الوصول إلى جميع الرموز المميزة للإدخال ، في حين أن طبقات الانتباه الذاتي في وحدة فك التشفير يمكنها فقط الوصول إلى الرموز المميزة قبل رمز معين. تتيح هذه البنية لوحدة فك التشفير استخدام التمثيلات التي تعلمها المشفر. تعد نماذج وحدة فك التشفير مناسبة تمامًا لمهام مثل التلخيص أو الترجمة أو الإجابة التوليدية عن الأسئلة.

يمكن أن تتضمن أهداف ما قبل التدريب تقليل الضوضاء أو نمذجة اللغة السببية. هذه الأهداف أكثر تعقيدًا بالنسبة لنماذج مفكك التشفير مقارنة بنماذج المشفر فقط أو نماذج مفكك التشفير فقط. تحتوي بنية المحولات على اختلافات مختلفة اعتمادًا على تركيز النموذج. سواء أكان الأمر يتعلق بفهم جمل كاملة ، أو إنشاء نص ، أو الجمع بين كليهما لمختلف المهام ، فإن Transformers توفر المرونة في معالجة التحديات المختلفة المتعلقة باللغة.

8 أنواع المهام للنماذج المدربة مسبقًا

عند تدريب نموذج ، نحتاج إلى منحه مهمة أو هدفًا نتعلم منه. هناك العديد من المهام في معالجة اللغة الطبيعية (NLP) التي يمكن استخدامها لنماذج التدريب المسبق. دعنا نقسم بعض هذه المهام بعبارات بسيطة:

1. نمذجة اللغة (LM): يتنبأ النموذج بالرمز المميز التالي في الجملة. يتعلم فهم السياق وإنشاء جمل متماسكة.
2. نمذجة اللغة السببية: يتنبأ النموذج بالرمز المميز التالي في تسلسل نصي ، باتباع ترتيب من اليسار إلى اليمين. إنه يشبه نموذج سرد القصص الذي يولد جملًا كلمة واحدة في كل مرة.
3. نمذجة لغة البادئة: يفصل النموذج قسم "البادئة" عن التسلسل الرئيسي. يمكنه التعامل مع أي رمز مميز داخل البادئة ، ثم يقوم بإنشاء بقية التسلسل تلقائيًا.
4. نمذجة اللغة المقنعة (MLM): يتم إخفاء بعض الرموز المميزة في جمل الإدخال ، ويتنبأ النموذج بالرموز المميزة المفقودة بناءً على السياق المحيط. يتعلم ملء الفراغات.
5. نمذجة اللغة المعمول بها (PLM): يتنبأ النموذج بالرمز المميز التالي بناءً على تبديل عشوائي لتسلسل الإدخال. يتعلم التعامل مع أوامر مختلفة من الرموز.
6. تقليل التشويش التلقائي (DAE): يأخذ النموذج مدخلات تالفة جزئيًا ويهدف إلى استعادة المدخلات الأصلية غير المشوهة. يتعلم كيفية التعامل مع الضوضاء أو الأجزاء المفقودة من النص.
7. اكتشاف الرمز المستبدَل (RTD): يكتشف النموذج ما إذا كان الرمز المميز يأتي من النص الأصلي أم من الإصدار الذي تم إنشاؤه. يتعلم التعرف على الرموز المميزة التي تم استبدالها أو التلاعب بها.
8. توقع الجملة التالية (NSP): يتعلم النموذج التمييز فيما إذا كانت جملتا الإدخال عبارة عن مقاطع متصلة من بيانات التدريب. يفهم العلاقة بين الجمل.

تساعد هذه المهام النموذج في تعلم بنية اللغة ومعناها. من خلال التدريب المسبق على هذه المهام ، تكتسب النماذج فهمًا جيدًا للغة قبل صقلها لتطبيقات محددة.

أفضل 30 محولًا في الذكاء الاصطناعي

الأسئلة الشائعة

المحولات في الذكاء الاصطناعي هي نوع من هندسة التعلم العميق التي غيرت معالجة اللغة الطبيعية والمهام الأخرى. يستخدمون آليات الانتباه الذاتي لالتقاط العلاقات بين الكلمات في الجملة ، وتمكينهم من فهم وإنشاء نص يشبه الإنسان.

أجهزة التشفير وأجهزة فك التشفير هي مكونات شائعة الاستخدام في نماذج التسلسل إلى التسلسل. تقوم أجهزة التشفير بمعالجة بيانات الإدخال ، مثل النص أو الصور ، وتحويلها إلى تمثيل مضغوط ، بينما تقوم أجهزة فك التشفير بإنشاء بيانات الإخراج بناءً على التمثيل المشفر ، مما يتيح مهام مثل ترجمة اللغة أو تسمية الصور.

طبقات الانتباه هي المكونات المستخدمة في الشبكات العصبية، لا سيما في نماذج المحولات. إنها تمكن النموذج من التركيز بشكل انتقائي على أجزاء مختلفة من تسلسل الإدخال ، وتعيين أوزان لكل عنصر بناءً على ملاءمته ، مما يسمح بالتقاط التبعيات والعلاقات بين العناصر بشكل فعال.

تشير النماذج المضبوطة بدقة إلى النماذج المدربة مسبقًا التي تم تدريبها بشكل أكبر على مهمة أو مجموعة بيانات محددة لتحسين أدائها وتكييفها مع المتطلبات المحددة لتلك المهمة. تتضمن عملية الضبط الدقيق هذه ضبط معلمات النموذج لتحسين تنبؤاته وجعله أكثر تخصصًا للمهمة المستهدفة.

تعتبر المحولات مستقبل الذكاء الاصطناعي لأنها أثبتت أداءً استثنائيًا في مجموعة واسعة من المهام ، بما في ذلك معالجة اللغة الطبيعية وتوليد الصور والمزيد. إن قدرتها على التقاط التبعيات بعيدة المدى ومعالجة البيانات المتسلسلة بكفاءة يجعلها قابلة للتكيف بدرجة عالية وفعالة للتطبيقات المختلفة ، مما يمهد الطريق للتقدم في مجال الذكاء الاصطناعي التوليدي وإحداث ثورة في العديد من جوانب المجتمع.

نماذج المحولات الأكثر شهرة في الذكاء الاصطناعي تشمل BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات)، GPT (المحول التوليدي المدرب مسبقًا) وT5 (محول نقل النص إلى النص). حققت هذه النماذج نتائج ملحوظة في مختلف مهام معالجة اللغة الطبيعية واكتسبت شعبية كبيرة في مجتمع أبحاث الذكاء الاصطناعي.

اقرأ المزيد عن الذكاء الاصطناعي:

• جامعة تكساس: يمكن الكشف عن عقول الناس باستخدام أداة فك شفرة نشاط الدماغ
• فيسبوك يطور طريقة جديدة لمضاعفة أداء محولات الذكاء الاصطناعي
• GPT-4 يمكنه التعامل مع طلباتك الخاصة بالصور والمستندات والرسوم البيانية ولقطات الشاشة

نبذة عن الكاتب

دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت. 

المزيد من المقالات

دامير يالالوف

• 
• 

دامير يالالوف

دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت. 

• 

المزيد من المقالات