حماية الذكاء الاصطناعي تشير إلى وجود نقاط ضعف خطيرة في أنظمة الذكاء الاصطناعي وتعلم الآلة الحالية، وتحث على تأمين المشاريع مفتوحة المصدر
في سطور
يحدد تقرير حماية الذكاء الاصطناعي نقاط الضعف في الأدوات المستخدمة ضمن سلسلة توريد الذكاء الاصطناعي/تعلم الآلة، والتي غالبًا ما تكون مفتوحة المصدر، مع تهديدات أمنية فريدة.
هناك ثغرات أمنية في الأدوات المستخدمة ضمن سلسلة توريد الذكاء الاصطناعي/التعلم الآلي، والتي غالبًا ما تكون مفتوحة المصدر، وتحمل تهديدات أمنية فريدة وتشكل نقاط الضعف هذه مخاطر تنفيذ تعليمات برمجية عن بعد غير مصادق عليها وإدراج ملف محلي، وفقًا للتقرير الصادر عن شركة Protect AI - أ الأمن السيبراني تركز الشركة على أنظمة الذكاء الاصطناعي والتعلم الآلي.
وأضاف التقرير أنه يمكن أن يؤدي إلى آثار تتراوح بين الاستيلاء على الخادم وسرقة المعلومات الحساسة.
ويشدد التقرير كذلك على ضرورة اتباع نهج استباقي في تحديد ومعالجة نقاط الضعف هذه لحماية البيانات والنماذج وبيانات الاعتماد.
في طليعة جهود حماية الذكاء الاصطناعي يوجد برنامج Hunter، وهو أول برنامج مكافآت لاكتشاف الأخطاء في الذكاء الاصطناعي/التعلم الآلي في العالم، حيث يشرك مجتمعًا يضم أكثر من 13,000 عضو يبحثون بنشاط عن نقاط الضعف. تهدف هذه المبادرة إلى توفير معلومات استخباراتية مهمة حول التهديدات المحتملة وتسهيل الاستجابة السريعة لأنظمة الذكاء الاصطناعي الآمنة.
في أغسطس 2023، أعلنت الشركة عن إطلاق Hunter - وهي عبارة عن منصة لمكافآت اكتشاف الأخطاء بالذكاء الاصطناعي/تعلم الآلة تركز حصريًا على حماية البرامج مفتوحة المصدر للذكاء الاصطناعي/تعلم الآلة (OSS)، النماذج التأسيسيةوأنظمة تعلم الآلة. يأتي إطلاق منصة Hunter AI/ML bug bounty نتيجة استحواذ شركة Protect AI على موقعhuntr.dev.
"مع وجود أكثر من 15,000 عضو الآن، تعد مجموعة Protect AI هي المجموعة الأكبر والأكثر تركيزًا من الباحثين في مجال التهديدات والمتسللين الذين يركزون حصريًا على أمان الذكاء الاصطناعي/تعلم الآلة،" قال داريان دهغانبيشه، الرئيس والمؤسس المشارك لشركة Protect AI.
"يركز نموذج تشغيل Huntr على البساطة والشفافية والمكافآت. تساعد الميزات التلقائية وخبرة تصنيف Protect AI في تحديد سياق التهديدات للمشرفين جميع المساهمين في البرامج مفتوحة المصدر في الذكاء الاصطناعي على إنشاء حزم برامج أكثر أمانًا. وأضاف دهغانبيشة أن هذا يعود بالنفع في نهاية المطاف على جميع المستخدمين، حيث تصبح أنظمة الذكاء الاصطناعي أكثر أمانًا ومرونة.
يحدد التقرير نقاط الضعف الحرجة
ومن خلال تسليط الضوء على النتائج التي توصل إليها مجتمع Hunter في الشهر الماضي، يحدد التقرير ثلاث نقاط ضعف خطيرة تشمل تنفيذ التعليمات البرمجية عن بعد لـ MLflow، وMLflow Arbitrary File Overwrite، وMLflow Local File Include.
- تنفيذ التعليمات البرمجية عن بعد MLflow: يؤدي الخلل إلى الاستيلاء على الخادم وفقدان المعلومات الحساسة. كانت MLflow، وهي أداة لتخزين النماذج وتتبعها، تعاني من ثغرة أمنية في تنفيذ التعليمات البرمجية عن بعد في التعليمات البرمجية المستخدمة لسحب تخزين البيانات عن بعد. يمكن خداع المستخدمين باستخدام مصادر بيانات بعيدة ضارة يمكنها تنفيذ الأوامر نيابة عن المستخدم.
- الكتابة فوق الملف التعسفي MLflow: الخلل لديه القدرة على الاستيلاء على النظام، ورفض الخدمة، وتدمير البيانات. تم العثور على تجاوز في وظيفة MLflow يتحقق من أن مسار الملف آمن، مما يسمح لمستخدم ضار بالكتابة فوق الملفات الموجودة على خادم MLflow عن بعد. يمكن أن يؤدي ذلك إلى تنفيذ التعليمات البرمجية عن بعد بخطوات إضافية مثل الكتابة فوق مفاتيح SSH الموجودة على النظام أو تحرير ملف .bashrc لتشغيل أوامر عشوائية عند تسجيل دخول المستخدم التالي
- يتضمن الملف المحلي MLflow ما يلي: يؤدي الخلل إلى فقدان معلومات حساسة واحتمال الاستيلاء على النظام. يمكن معالجة MLflow، عند استضافته على أنظمة تشغيل معينة، لعرض محتويات الملفات الحساسة، مما يشكل وسيلة محتملة للاستيلاء على النظام إذا تم تخزين بيانات الاعتماد الأساسية على الخادم.
وقال داريان دهغانبيشه، المؤسس المشارك لمنظمة حماية الذكاء الاصطناعي: Metaverse Post"تعتمد الضرورة الملحة لمعالجة نقاط الضعف في نظام الذكاء الاصطناعي/التعلم الآلي على تأثيرها على الأعمال. ومع الدور الحاسم الذي يلعبه الذكاء الاصطناعي/تعلم الآلة في الأعمال المعاصرة والطبيعة الشديدة للاستغلالات المحتملة، ستجد معظم المؤسسات أن هذه الحاجة ملحة للغاية. ويكمن التحدي الأساسي في تأمين أنظمة الذكاء الاصطناعي/التعلم الآلي في فهم المخاطر عبر دورة حياة MLOps.
وأضاف: "للتخفيف من هذه المخاطر، يجب على الشركات إجراء نمذجة التهديدات لأنظمة الذكاء الاصطناعي والتعلم الآلي الخاصة بها، وتحديد نوافذ التعرض، وتنفيذ الضوابط المناسبة ضمن برنامج MLSecOps المتكامل والشامل".
وتؤكد منظمة "حماية الذكاء الاصطناعي" في تقريرها على الحاجة الملحة إلى معالجة هذه التحديات نقاط الضعف على الفور ويقدم قائمة من التوصيات للمستخدمين الذين لديهم مشاريع متأثرة في الإنتاج، مع التأكيد على أهمية اتخاذ موقف استباقي في تخفيف المخاطر المحتملة. يتم تشجيع المستخدمين الذين يواجهون تحديات في التخفيف من نقاط الضعف هذه على التواصل مع مجتمع حماية الذكاء الاصطناعي.
مع تقدم تكنولوجيا الذكاء الاصطناعي، تعمل شركة Protect AI على تأمين الشبكة المعقدة لأنظمة الذكاء الاصطناعي/تعلم الآلة لضمان الاستفادة المسؤولة والآمنة من فوائد الذكاء الاصطناعي.
إخلاء المسئولية
تتماشى مع المبادئ التوجيهية لمشروع الثقةيرجى ملاحظة أن المعلومات المقدمة في هذه الصفحة ليس المقصود منها ولا ينبغي تفسيرها على أنها نصيحة قانونية أو ضريبية أو استثمارية أو مالية أو أي شكل آخر من أشكال المشورة. من المهم أن تستثمر فقط ما يمكنك تحمل خسارته وأن تطلب مشورة مالية مستقلة إذا كانت لديك أي شكوك. لمزيد من المعلومات، نقترح الرجوع إلى الشروط والأحكام بالإضافة إلى صفحات المساعدة والدعم المقدمة من جهة الإصدار أو المعلن. MetaversePost تلتزم بتقارير دقيقة وغير متحيزة، ولكن ظروف السوق عرضة للتغيير دون إشعار.
نبذة عن الكاتب
كومار هو صحفي تقني ذو خبرة ومتخصص في التقاطعات الديناميكية للذكاء الاصطناعي/التعلم الآلي، وتكنولوجيا التسويق، والمجالات الناشئة مثل العملات المشفرة، وسلسلة الكتل، NFTس. مع أكثر من 3 سنوات من الخبرة في الصناعة، أنشأ كومار سجلاً حافلًا في صياغة روايات مقنعة، وإجراء مقابلات ثاقبة، وتقديم رؤى شاملة. تكمن خبرة كومار في إنتاج محتوى عالي التأثير، بما في ذلك المقالات والتقارير والمنشورات البحثية لمنصات الصناعة البارزة. بفضل مجموعة المهارات الفريدة التي تجمع بين المعرفة التقنية وسرد القصص، يتفوق كومار في توصيل المفاهيم التكنولوجية المعقدة إلى جماهير متنوعة بطريقة واضحة وجذابة.
المزيد من المقالات
كومار هو صحفي تقني ذو خبرة ومتخصص في التقاطعات الديناميكية للذكاء الاصطناعي/التعلم الآلي، وتكنولوجيا التسويق، والمجالات الناشئة مثل العملات المشفرة، وسلسلة الكتل، NFTس. مع أكثر من 3 سنوات من الخبرة في الصناعة، أنشأ كومار سجلاً حافلًا في صياغة روايات مقنعة، وإجراء مقابلات ثاقبة، وتقديم رؤى شاملة. تكمن خبرة كومار في إنتاج محتوى عالي التأثير، بما في ذلك المقالات والتقارير والمنشورات البحثية لمنصات الصناعة البارزة. بفضل مجموعة المهارات الفريدة التي تجمع بين المعرفة التقنية وسرد القصص، يتفوق كومار في توصيل المفاهيم التكنولوجية المعقدة إلى جماهير متنوعة بطريقة واضحة وجذابة.
