يحذر الخبراء من "الإدخالات الضارة" في مجموعات بيانات الذكاء الاصطناعي في ChatGPT
في سطور
ChatGPT يحتمل الضعيفة بسبب بيانات التدريب.
وفقًا للباحثين ، مقابل 60 دولارًا فقط في الولايات المتحدة ، يمكننا تسميم 0.01 ٪ من مجموعات بيانات LAION-400 أو COYO-700 في عام 2022.
ChatGPT أصبحت التكنولوجيا شائعة بشكل متزايد ، ولكنها حديثة بحث يقترح أن هذه التكنولوجيا قد تكون ضعيفة بسبب بيانات التدريب التي تستخدمها. نظرًا لأن النماذج تصبح أكثر تعقيدًا وتصبح مجموعات البيانات أكبر وأكثر تعقيدًا ، يمكن للجهات الفاعلة الخبيثة استغلال هذه الثغرة الأمنية للتلاعب بمجموعات البيانات والتسبب في أن تنتج نماذج التعلم الآلي نتائج غير دقيقة.
يتمثل الشاغل الأساسي في أن قواعد بيانات روبوتات الدردشة غالبًا ما تكون عبارة عن مجموعات بيانات "تم التحقق منها بشروط" ، مما يعني أن هناك مستوى معينًا من الثقة في البيانات دون التحقق الشامل. بعبارة أخرى ، غالبًا ما تحتوي مجموعات البيانات هذه على مشكلات أساسية لم يتم أخذها في الاعتبار. على الرغم من عدم إجراء التحقق من صحة مجموعات البيانات في كثير من الأحيان بسبب حجمها الكبير ، إلا أن هناك احتمالًا للجهات الضارة للتلاعب بهذه البيانات.
في الواقع ، اقترح الباحثون أنه بحلول عام 2022 ، يمكن للمهاجمين أن ينفقوا ما يقدر بنحو 60 دولارًا لتسميم 0.01 ٪ من مجموعات بيانات LAION-400 أو COYO-700. على الرغم من أن هذا لا يبدو كثيرًا ، إلا أن الجهات الخبيثة يمكنها استخدام هذه البيانات المسمومة لتحقيق مكاسب خاصة بها إذا تركت دون رادع. يمكن للبيانات الخبيثة في نهاية المطاف تسرب إلى مجموعات بيانات أكبر ، مما يفسد جودة البيانات ويؤدي إلى نماذج غير موثوقة للتعلم الآلي.
من الضروري اتخاذ خطوات لحماية قواعد البيانات من البيانات الضارة. يجب أن يصبح تجميع العديد من مصادر البيانات هو المعيار لروبوت الدردشة مجموعات بيانات التدريب للتأكد من أن البيانات موثوقة ودقيقة. بالإضافة إلى ذلك ، يجب على الشركات تجربة مجموعات البيانات للتأكد من أنها ليست عرضة للجهات الخبيثة.
روبوتات الدردشة المدعومة بالذكاء الاصطناعي ذات الشفرات الضارة يمكن أن تكون عرضة للقرصنة
يمكن أن يكون تهديد الشفرات الضارة في روبوتات المحادثة خطيرًا للغاية ؛ يمكن استخدام التعليمات البرمجية الضارة لسرقة بيانات المستخدم ، وتمكين الوصول الضار إلى الخوادم ، وتمكين الأنشطة الضارة مثل غسل الأموال أو سرقة البيانات. إذا تم تدريب روبوت محادثة AI على البيانات ذات الإدخالات الضارة ، فيمكنه عن غير قصد إدخال الشفرة الخبيثة في ردوده واستخدامها دون علم كأداة لتحقيق مكاسب ضارة.
من الممكن للجهات الضارة الاستفادة من هذه الثغرة الأمنية عن طريق إدخال تعليمات برمجية ضارة عمداً أو عن غير قصد في بيانات التدريب. بالإضافة إلى ذلك ، نظرًا لأن روبوتات الدردشة AI تتعلم من البيانات المقدمة معها ، فقد يؤدي ذلك أيضًا إلى تعلم الاستجابات غير الصحيحة أو حتى السلوك الضار.
الخطر الآخر الذي قد تواجهه روبوتات الدردشة بالذكاء الاصطناعي هو "التجهيز الزائد". يحدث هذا عندما يتم تدريب نماذج التنبؤ بشكل وثيق جدًا على البيانات التي تم تقديمها ، مما يؤدي إلى تنبؤات ضعيفة عند تقديمها مع بيانات جديدة. هذا يمكن أن يكون مشكلة خاصة مثل برامج الدردشة بالذكاء الاصطناعي المدربين على التعليمات البرمجية الضارة يمكن أن يصبح أكثر فعالية في حقن التعليمات البرمجية الضارة في ردودهم عندما يصبحون أكثر دراية بالبيانات.
من الضروري أن تكون على دراية بالمخاطر واتخاذ الاحتياطات اللازمة لضمان بيانات التدريب المستخدمة في التدريس ChatGPT آمنة وموثوقة لمنع نقاط الضعف المحتملة هذه. يجب أيضًا الاحتفاظ بالبيانات الأولية المستخدمة في التدريب منفصلة وفريدة من نوعها ؛ يجب ألا يتعارض الترويج "للإدخالات الضارة" مع مصادر أخرى أو يتداخل معها. يجب فحصها ومقارنتها بالمجالات الأخرى إذا كان "التقاط" عدة مجالات مؤكدة أمرًا ممكنًا للتحقق من صحة البيانات.
تعد تقنية Chatbot بتغيير طريقة إجراء الأشخاص للمناقشات البشرية. ولكن قبل أن تتمكن من تحقيق إمكاناتها الكاملة ، يجب تحسينها وصونها. يجب فحص مجموعات البيانات الخاصة ببرامج الدردشة الآلية جيدًا وإعدادها لدرء العناصر الضارة. من خلال القيام بذلك ، يمكننا ضمان الاستفادة الكاملة من إمكانات التكنولوجيا ومواصلة دفع حدود الذكاء الاصطناعي.
اقرأ المزيد عن الذكاء الاصطناعي:
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
المزيد من المقالات
دامير هو قائد الفريق ومدير المنتج والمحرر في Metaverse Post، تغطي موضوعات مثل AI / ML و AGI و LLMs و Metaverse و Web3-حقول ذات صله. تجذب مقالاته جمهورًا هائلاً يزيد عن مليون مستخدم كل شهر. يبدو أنه خبير يتمتع بخبرة 10 سنوات في تحسين محركات البحث والتسويق الرقمي. تم ذكر دامير في Mashable، Wired، Cointelegraphو The New Yorker و Inside.com و Entrepreneur و BeInCrypto ومنشورات أخرى. يسافر بين الإمارات العربية المتحدة وتركيا وروسيا ورابطة الدول المستقلة كبدو رقمي. حصل دامير على درجة البكالوريوس في الفيزياء ، والذي يعتقد أنه منحه مهارات التفكير النقدي اللازمة للنجاح في المشهد المتغير باستمرار للإنترنت.
