مايكروسوفت أجبرت LLMs على نسيان هاري بوتر
لقد كشفت مايكروسوفت عن طريقة لتوجيه نماذج اللغات الكبيرة (LLMs) إلى نسيان معلومات محددة ضمن مجموعات البيانات الخاصة بها دون الحاجة إلى إعادة بناء كاملة لبيانات التدريب. تفتح هذه الطريقة إمكانيات جديدة لتحسين LLMs وربما حل المشكلات القانونية التي تنطوي على محتوى محمي بحقوق الطبع والنشر.
أظهر فريق Microsoft مؤخرًا كيف تمكنوا من صنع Llama-2 ينسى النموذج تفاصيل كتب هاري بوتر دون التأثير على البيانات الأخرى في بيانات تدريب النموذج أو الأداء العام للنموذج في دراسة موصوفة في صفحة المشروع البحثي الخاصة بهم.
تبدأ العملية بتحديد المعلومات المحددة ضمن مجموعة بيانات النموذج التي يجب نسيانها. في هذه الحالة، كانت التفاصيل المتعلقة بسلسلة JK Rowling الشهيرة، بما في ذلك تفاصيل الحبكة وأسماء الشخصيات والاقتباسات الشهيرة. ثم تم استبدالها بشكل منهجي بعبارات عامة لا علاقة لها بالموضوع.
ثم استخدم الباحثون نموذجًا لغويًا لتوليد معلومات جديدة بناءً على هذه البيانات العامة. ثم تم استخدام هذه البيانات الجديدة لإعادة تدريب النسخة الأصلية Llama-2 نموذج تدريجيا. ومع كل خطوة، كان النموذج ينأى بنفسه عن كتب هاري بوتر حتى يبدأ في إنتاج ردود هلوسة عند سؤاله عنها.
إحدى السمات البارزة لهذا النهج هو أنه لا يؤثر على الأداء العام للنموذج. وهذا يعني أنه في حين أن LLM ينسى بشكل متزايد بيانات محددة، فإن قدراته اللغوية الشاملة تظل سليمة.
وعلى الرغم من أن هذا النهج لا يزال قيد التحسين، إلا أن آثاره واسعة النطاق. في المواقف التي تنطوي على مطالبات قانونية وقضايا حقوق الطبع والنشر، على وجه الخصوص، قد يوفر ذلك شريان الحياة لأولئك الذين ينشئون شهادات LLM ونماذج الذكاء الاصطناعي الأخرى.
ويأتي هذا الابتكار في وقت تتزايد فيه النزاعات القانونية حول استخدام المحتوى المحمي بحقوق الطبع والنشر في نماذج الذكاء الاصطناعي. على سبيل المثال، وطالبت صحيفة نيويورك تايمز مؤخرا بالإزالة من منشوراتها GPT-4 dataset. وفي حالة النجاح التحدي القانوني، سيحتاج المطورون عادةً إلى إعادة بناء مجموعات البيانات النموذجية الخاصة بهم، وهي عملية تستغرق وقتًا طويلاً وتستهلك الكثير من الموارد. إن أسلوب ميكروسوفت، إذا ما تم تحسينه وتبنيه، من الممكن أن يوفر حلاً فعالاً لمثل هذه التحديات.
طريقة Microsoft لنسيان معلومات محددة بشكل انتقائي ضمن نماذج اللغات الكبيرة (ماجستير) يعد إنجازًا كبيرًا في تطوير الذكاء الاصطناعي، ومن المحتمل أن يعالج مشكلات المحتوى المحمي بحقوق الطبع والنشر وتبسيط عملية التحسين. ويمكن تطبيق هذا النهج على مجالات مختلفة، مما يدل على تطوير وتطبيق الذكاء الاصطناعي بشكل مسؤول.
إخلاء مسؤولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
