يتحدى الباحثون فكرة "القدرات الناشئة" لنماذج اللغات الكبيرة
في سطور
تعتبر نهاية العالم للذكاء الاصطناعي العام (AGI) مصدر قلق بسبب ظاهرة النماذج اللغوية الكبيرة فجأة إظهار القدرات لا يبدو أن النماذج الأصغر حجما لديها.
تسمى هذه الظاهرة "القدرات الناشئة لنماذج اللغات الكبيرة".
مؤلفو المقال "هل القدرات الناشئة للنماذج اللغوية الكبيرة سراب؟" يجادلون بأن تأثير القدرات الناشئة ليس سرابًا، بل هو نمو يمكن التنبؤ به في القدرة على أداء المهام.
لقد أظهروا أن ما لا يقل عن 92٪ من مشكلات Big Bench لا تحقق اختراقًا مفاجئًا للنماذج الكبيرة ، وأن جودة نماذجها تنمو بسلاسة وبشكل متوقع مع زيادة حجم النماذج.
في دراسة حديثة للقدرات المحتملة لنماذج اللغات الكبيرة، يتحدى الباحثون فكرة "القدرات الناشئة" ويسلطون الضوء على جانب أكثر قابلية للتنبؤ بوظائفها. المقال بعنوان "الكشف عن حقائق القدرات الناشئة للنماذج اللغوية الكبيرة"يلفت الانتباه إلى سوء تفسير المقاييس الذي أدى إلى الاعتقاد الخاطئ بأن هذه النماذج تكتسب تلقائيًا مهارات متقدمة.
مفهوم "القدرات الناشئة"في سياق نماذج اللغة الكبيرة، مثل GPT أثارت السلسلة المخاوف بشأن إمكانية قيام هذه النماذج بتطوير قدرات غير متوقعة شبيهة بالوعي البشري. تؤكد هذه الورقة أن هذه الافتراضات استندت إلى فهم خاطئ للسلوك والقدرات الفعلية للنماذج.
إن الظاهرة التي يتم ملاحظتها بشكل شائع، حيث تكتسب النماذج الأكبر على ما يبدو قدرات مكتشفة حديثًا مثل التفكير المجرد، وحل المشكلات، وحتى الفكاهة، قد تمت صياغتها باسم "القدرات الناشئة لنماذج اللغة الكبيرة". ويؤكد مؤلفو المقال أن هذه القدرات ليست عفوية كما تبدو، بل هي نتيجة لمقاييس تقييم مضللة.
لتوضيح وجهة نظرهم، اعتبر الباحثون مهمة "تخمين اللغز"، وهي مشكلة تتطلب من النموذج اللغوي فهم لغز لغة طبيعية والإجابة بالإجابة الصحيحة باللغة الطبيعية. تقليديًا، يتم تقييم جودة الاستجابات باستخدام مقياس ثنائي: يتم منح الإجابة درجة 1 إذا كانت تتطابق تمامًا مع الإجابة الصحيحة، ودرجة 0 بخلاف ذلك.
يكمن جوهر الأمر في حساسية المقياس لتعقيد المهمة وعدد معلمات النموذج. كشف الباحثون أن هذا المقياس الثنائي يؤدي إلى أ تصور خادع من "القدرات الناشئة". غالبًا ما تُظهر النماذج الأصغر دقة ضئيلة (eps) على هذا المقياس ، بينما يبدو أن النماذج الأكبر ، خاصة تلك التي تحتوي على عدد عالٍ من المعلمات ، تحقق مستويات دقة ملحوظة (acc> 0.5).
تؤكد المقالة أن هذا التحول الواضح في القدرة لا يشير إلى اكتساب النماذج تلقائيًا لمهارات معقدة. وبدلاً من ذلك ، فإن قدرة النماذج على فهم وتوليد استجابات أكثر دقة تنبع من تقييم أكثر دقة لمخرجاتها. من خلال التركيز على المطابقة الاحتمالية والتماسك الدلالي بدلاً من التطابقات الدقيقة ، أظهر الباحثون أن تقدم النماذج في الأداء يتبع مسارًا أكثر منطقية ، بغض النظر عن حجمها.
| مقالات ذات صلة: تطور Chatbots من عصر T9 و GPT-1 إلى ChatGPT |
التحقيق في تطور أداء النموذج مع تغيير المعلمات
في تحقيق تحليلي ، اكتشف الباحثون الآليات الدقيقة وراء "القدرات الناشئة" المتصورة نماذج اللغات الكبيرة. تتساءل الدراسة عن تأثير المقاييس فائقة التفكك في تقييم أداء النموذج وتوضح فهمًا أكثر تنبؤًا لقدراتها مع توسع معلمات النموذج.
إن الفكرة السائدة "للقدرات الناشئة" في نماذج اللغة الموسعة قد جذبت المناقشات وأثارت مخاوف بشأن الاختراقات المحتملة. تسعى هذه الدراسة إلى فصل الآليات الكامنة وراء هذه الظاهرة وفك شفرة ما إذا كانت هذه النماذج تُظهر بالفعل قدرات مفاجئة وغير مسبوقة أو ما إذا كانت هذه التطورات المتصورة يمكن أن تُعزى إلى سبب مختلف.
في قلب الدراسة يكمن تقييم دقيق للمقاييس المستخدمة لقياس أداء النموذج. ويؤكد الباحثون أن استخدام المقاييس فائقة التميز، وخاصة المقياس الثنائي التقليدي الذي يحدد التطابقات الدقيقة للسلسلة، قد يشوه تفسير النتائج الكبيرة. قدرات النموذج اللغوي. تحلل الدراسة بدقة كيفية تطور التوزيع الاحتمالي للإجابات المولدة بالنموذج مع مقياس معلمات النموذج.
وعلى النقيض من فكرة "القدرات الناشئة"، تكشف الدراسة عن اتجاه أكثر منهجية. مع زيادة حجم النموذج ، تتحسن قدرته على تعيين احتمالات أعلى للإجابات المناسبة واحتمالات أقل للإجابات غير الصحيحة. ويعكس هذا تعزيزًا ثابتًا في قدرة النموذج على حل المشكلات ببراعة عبر نطاق واسع من الأحجام. في جوهر الأمر، يشير البحث إلى أن عملية تعلم النماذج تتبع بشكل جيدdefiمسار نيد للتحسين بدلاً من قفزة مفاجئة.
يقدم المؤلفون نقلة نوعية من خلال اقتراح استبدال المقاييس المنفصلة بمقاييس مستمرة. يقدم هذا التغيير صورة أوضح لتطور الأداء. ومن خلال تحليلهم، تأكد الباحثون من أن ما يقرب من 92% من مشاكل مقاعد البدلاء الكبيرة تُظهر نموًا سلسًا ويمكن التنبؤ به في الجودة مع توسع حجم النموذج. تتحدى هذه النتيجة الفكرة القائلة بأن النماذج الأكبر تشهد اختراقات مفاجئة وبدلاً من ذلك تسلط الضوء على تقدم تدريجي ومتوقع أكثر.
توسع الدراسة رؤاها للتحقق من صحة ادعاءاتها. إنه يوضح أن نفس تأثير "القدرة الناشئة" يمكن محاكاته بشكل مصطنع باستخدام أجهزة التشفير التلقائية التقليدية ، مما يشير إلى أن اختيار المقاييس يؤثر بشكل كبير على النتائج المتصورة. يوسع هذا الكشف نطاق مضامين الدراسة، مما يدل على أهميتها بما يتجاوز نماذج اللغة وحدها.
يؤكد الباحثون أن نتائجهم لا تفعل ذلك defiينفي تمامًا إمكانية "القدرات الناشئة" أو الوعي في نماذج اللغة الكبيرة. ومع ذلك ، فإن النتائج التي توصلوا إليها تشجع الباحثين على التعامل مع مثل هذه الادعاءات من منظور دقيق. وبدلاً من الإسراع في الاستقراء والتوصل إلى استنتاجات متطرفة ، تؤكد الدراسة على أهمية التحقيق الدقيق والتحليل الشامل.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
