8 أشياء يجب أن تعرفها عن نماذج اللغة الكبيرة
في سطور
نماذج اللغات الكبيرة (ماجستير) تُستخدم لاستكشاف الفروق الدقيقة في اللغة الطبيعية، وتحسين قدرة الآلات على فهم النص وإنشاءه، وأتمتة المهام مثل التعرف على الصوت والترجمة الآلية.
لا يوجد حل سهل لإدارة LLM ، لكنها قادرة تمامًا مثل البشر.
مع طفرة في تطوير معالجة اللغة الطبيعية واستخدامها في الأعمال التجارية ، هناك اهتمام متزايد بنماذج اللغات الكبيرة. تُستخدم هذه النماذج لاستكشاف الفروق الدقيقة في اللغة الطبيعية ، وتحسين قدرة الآلات على فهم وإنشاء نص وأتمتة المهام مثل التعرف على الصوت والترجمة الآلية. فيما يلي ثمانية أشياء أساسية يجب أن تعرفها عن نماذج اللغات الكبيرة (LLM).
- LLMs أكثر "قدرة" مع استمرار ارتفاع التكاليف
- نظرة سريعة على كيفية GPT تتكيف النماذج مع ارتفاع تكاليف التدريب
- يتعلم LLMs ممارسة ألعاب الطاولة باستخدام تمثيلات من العالم الخارجي
- لا يوجد حل سهل لإدارة ماجستير
- يواجه الخبراء مشكلة في شرح كيفية عمل LLM
- تتمتع LLM بنفس قدرة البشر
- يجب أن تكون LLM أكثر من مجرد "Jack-of-all-trades"
- النماذج أكثر ذكاءً مما يعتقده الناس بناءً على الانطباعات الأولى
LLMs أكثر "قدرة" مع استمرار ارتفاع التكاليف
من المتوقع أن تصبح LLM أكثر "قدرة" مع زيادة التكاليف ، حتى بدون الابتكارات الرائعة. الشيء الرئيسي هنا هو القدرة على التنبؤ ، والذي تم عرضه في المقالة حول GPT-4: تم تدريس خمسة إلى سبعة نماذج صغيرة بميزانية 0.1٪ من النموذج الأخير ، ثم تم التنبؤ بنموذج ضخم بناءً على ذلك. لإجراء تقييم عام للحيرة والمقاييس في عينة فرعية لمهمة واحدة محددة ، كان مثل هذا التنبؤ دقيقًا للغاية. هذه القدرة على التنبؤ مهمة للشركات والمؤسسات التي تعتمد على LLM في عملياتها ، حيث يمكنها وضع الميزانية وفقًا لذلك والتخطيط للنفقات المستقبلية. ومع ذلك ، من المهم أن نلاحظ أنه في حين أن زيادة التكاليف قد تؤدي إلى تحسين القدرات ، فإن معدل التحسين قد يصل في النهاية إلى هضبة ، مما يجعل من الضروري الاستثمار في ابتكارات جديدة لمواصلة التقدم.
نظرة سريعة على كيفية GPT تتكيف النماذج مع ارتفاع تكاليف التدريب
ومع ذلك ، فإن المهارات المهمة المحددة تميل إلى الظهور بشكل غير متوقع كنتاج ثانوي للزيادة تكاليف التدريب (تدريب أطول ، بيانات أكثر ، نموذج أكبر) - يكاد يكون من المستحيل التنبؤ بالوقت الذي ستبدأ فيه النماذج في أداء مهام معينة. استكشفنا الموضوع بمزيد من التعمق في البند حول تاريخ تطور GPT عارضات ازياء. وتوضح الصورة توزيع الزيادة في جودة النماذج على المهام المختلفة. إن النماذج الكبيرة فقط هي التي يمكنها تعلم القيام بمهام مختلفة. يسلط هذا الرسم البياني الضوء على التأثير الكبير لتوسيع حجم GPT عارضات ازياء على أدائهم عبر المهام المختلفة. ومع ذلك ، من المهم ملاحظة أن هذا يأتي على حساب زيادة الموارد الحسابية والتأثير البيئي.
يتعلم LLMs ممارسة ألعاب الطاولة باستخدام تمثيلات من العالم الخارجي
غالبًا ما تتعلم LLM وتستخدم تمثيلات العالم الخارجي. يوجد هنا العديد من الأمثلة ، وإليك أحدها: تم تدريب النماذج للعب ألعاب الطاولة بناءً على أوصاف الحركات الفردية، دون رؤية صورة لملعب اللعب، وتعلم التمثيل الداخلي لحالة اللوحة في كل حركة. ويمكن بعد ذلك استخدام هذه التمثيلات الداخلية توقع المستقبل التحركات والنتائج، مما يسمح للنموذج بلعب اللعبة على مستوى عالٍ. هذه القدرة على التعلم واستخدام التمثيلات هي المفتاح جانب من جوانب التعلم الآلي والذكاء الاصطناعي.
لا يوجد حل سهل لإدارة ماجستير
لا توجد طرق موثوقة للتحكم في سلوك LLM. على الرغم من إحراز بعض التقدم في فهم المشكلات المختلفة والتخفيف من حدتها (بما في ذلك ChatGPT و GPT-4 بمساعدة التعليقات)، لا يوجد إجماع حول ما إذا كان بإمكاننا حلها. هناك قلق متزايد من أن هذا سوف يصبح مشكلة ضخمة، وربما كارثية في المستقبل عندما يتم إنشاء أنظمة أكبر. ولذلك، يستكشف الباحثون طرقًا جديدة للتأكد من توافق أنظمة الذكاء الاصطناعي مع القيم والأهداف الإنسانية، مثل توافق القيمة وهندسة المكافآت. ومع ذلك، تظل مهمة ضمان ذلك مهمة صعبة سلامة وموثوقية LLMs في سيناريوهات العالم الحقيقي المعقدة.
يواجه الخبراء مشكلة في شرح كيفية عمل LLM
لا يمكن للخبراء حتى الآن تفسير الأعمال الداخلية لـ LLM. لن تسمح لنا أي تقنية بأن نذكر بأي طريقة مرضية أنواع المعرفة أو التفكير أو الأهداف التي يستخدمها النموذج عندما يولد أي نتيجة. يثير هذا الافتقار إلى القابلية للتفسير مخاوف بشأن موثوقية وعدالة قرارات LLM ، لا سيما في التطبيقات عالية المخاطر مثل العدالة الجنائية أو تسجيل الائتمان. كما يسلط الضوء على الحاجة إلى مزيد من البحث حول تطوير نماذج ذكاء اصطناعي أكثر شفافية وخاضعة للمساءلة.
تتمتع LLM بنفس قدرة البشر
على الرغم من تدريب LLMs في المقام الأول على تقليد السلوك البشري عند كتابة النص، لديهم القدرة على التفوق علينا في العديد من المهام. يمكن رؤية هذا بالفعل عند لعب الشطرنج أو Go. ويرجع ذلك إلى قدرتهم على تحليل كميات هائلة من البيانات واتخاذ القرارات بناءً على هذا التحليل بسرعة لا يمكن للبشر أن يضاهيها. ومع ذلك، لا يزال حاملو ماجستير إدارة الأعمال يفتقرون إلى الإبداع والحدس الذي يمتلكه البشر، مما يجعلهم أقل ملاءمة للعديد من المهام.
يجب أن تكون LLM أكثر من مجرد "Jack-of-all-trades"
يجب ألا تعبر LLM عن قيم منشئوها أو القيم المشفرة في تحديد من الإنترنت. يجب ألا يكرروا الصور النمطية أو نظريات المؤامرة أو يسعوا إلى الإساءة إلى أي شخص. بدلاً من ذلك ، يجب تصميم LLM لتوفير معلومات غير متحيزة وواقعية لمستخدميها مع احترام الاختلافات الثقافية والمجتمعية. بالإضافة إلى ذلك ، يجب أن يخضعوا للاختبار والمراقبة المنتظمين لضمان استمرارهم في تلبية هذه المعايير.
النماذج أكثر ذكاءً مما يعتقده الناس بناءً على الانطباعات الأولى
غالبًا ما تكون تقديرات قدرة النموذج بناءً على الانطباعات الأولى مضللة. في كثير من الأحيان ، تحتاج إلى الخروج بالموجه الصحيح ، واقتراح نموذج ، وربما عرض أمثلة ، وسيبدأ في التأقلم بشكل أفضل. أي أنه "أذكى" مما يبدو للوهلة الأولى. لذلك ، من الضروري منح النموذج فرصة عادلة وتزويده بالموارد اللازمة لأداء أفضل ما لديه. مع النهج الصحيح ، يمكن حتى للنماذج التي تبدو غير مناسبة أن تفاجئنا بقدراتها.
إذا ركزنا على عينة مكونة من 202 مهمة من مجموعة بيانات BIG-Bench (لقد أصبح من الصعب اختبارها بشكل خاص) نماذج اللغة من وإلى)، كقاعدة عامة (في المتوسط)، تُظهر النماذج زيادة في الجودة مع زيادة الحجم، ولكن بشكل فردي، يمكن للمقاييس في المهام:
- تحسن تدريجيا ،
- تحسن بشكل كبير ،
- يبقى على حاله،
- تخفيض،
- لا تظهر أي ارتباط.
كل هذا يؤدي إلى استحالة استقراء أداء أي نظام مستقبلي بثقة. الجزء الأخضر مثير للاهتمام بشكل خاص - هذا هو بالضبط المكان الذي تقفز فيه مؤشرات الجودة بشكل حاد دون سبب على الإطلاق.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
