از ریسک تا مسئولیتپذیری: احمد شدید درباره ایجاد گردشهای کاری توسعه امن با کمک هوش مصنوعی
به طور خلاصه
«کدنویسی Vibe» در حال گسترش است، اما کارشناسان هشدار میدهند که ابزارهای سنتی خطرات امنیتی و محرمانگی را برای کدهای سازمانی ایجاد میکنند و این امر نیاز به راهحلهای «هوش مصنوعی محرمانه» رمزگذاری شده و با پشتیبانی سختافزار را برجسته میکند.
در ماههای اخیر، «کدنویسی پویا» - یک گردش کار مبتنی بر هوش مصنوعی که در آن توسعهدهندگان از مدلهای زبان بزرگ (LLM) و ابزارهای عامل برای تولید و اصلاح نرمافزار استفاده میکنند - مورد توجه قرار گرفته است. در عین حال، گزارشهای متعدد صنعتی تأکید کردهاند که اگرچه کد تولید شده توسط هوش مصنوعی سرعت و راحتی را ارائه میدهد، اما اغلب خطرات جدی امنیتی و زنجیره تأمین را به همراه دارد.
وراکد تحقیقات نشان داده است که تقریباً نیمی از کد تولید شده توسط LLM ها حاوی آسیبپذیریهای بحرانی است، به طوری که مدلهای هوش مصنوعی اغلب پیادهسازیهای ناامنی تولید میکنند و مسائلی مانند نقصهای تزریق یا احراز هویت ضعیف را نادیده میگیرند، مگر اینکه صریحاً درخواست شود. تحصیلات آکادمیک همچنین اشاره کرد که «مهارتهای» هوش مصنوعی ماژولار در سیستمهای مبتنی بر عامل میتوانند آسیبپذیریهایی را به همراه داشته باشند که ممکن است باعث افزایش امتیاز یا افشای زنجیرههای تأمین نرمافزار شوند.
فراتر از خروجیهای ناامن، یک ریسک محرمانگی سیستمی وجود دارد که اغلب نادیده گرفته میشود. دستیاران کدنویسی هوش مصنوعی فعلی، کدهای داخلی حساس و مالکیت معنوی را در محیطهای ابری مشترک پردازش میکنند، جایی که ارائهدهندگان یا اپراتورها ممکن است در طول استنتاج به دادهها دسترسی داشته باشند. این امر نگرانیهایی را در مورد افشای کد تولید اختصاصی در مقیاس بزرگ ایجاد میکند، که مسئله قابل توجهی برای توسعهدهندگان انفرادی و شرکتهای بزرگ است.
در یک مصاحبه اختصاصی با MPost, احمد شادید، بنیانگذار اولم-ابتکار زیرساخت محرمانه هوش مصنوعی- توضیح داد که چرا ابزارهای کدنویسی سنتی هوش مصنوعی ذاتاً برای پایگاههای کد سازمانی خطرناک هستند و چگونه هوش مصنوعی محرمانه، که دادهها را حتی در حین پردازش مدل رمزگذاری میکند، مسیری مناسب برای کدنویسی امن و مسئولانه در توسعه نرمافزار دنیای واقعی فراهم میکند.
چه اتفاقی برای کدهای حساس سازمانی در دستیارهای کدنویسی هوش مصنوعی میافتد و چرا این موضوع خطرناک است؟
اکثر ابزارهای کدنویسی فعلی فقط میتوانند دادهها را تا سطح خاصی محافظت کنند. کد سازمانی معمولاً هنگام ارسال به سرورهای ارائهدهنده، معمولاً از طریق TLS، رمزگذاری میشود. اما به محض رسیدن کد به آن سرورها، در حافظه رمزگشایی میشود تا مدل بتواند آن را بخواند و پردازش کند. در آن مرحله، جزئیات حساس مانند منطق اختصاصی، APIهای داخلی و جزئیات امنیتی ... ارائه شده به صورت متن ساده در سیستم. و اینجاست که خطر نهفته است.
این کد ممکن است از طریق لاگهای داخلی، حافظه موقت یا سیستمهای اشکالزدایی عبور کند که مشاهده یا حسابرسی آنها برای مشتریان هنگام رمزگشایی دشوار است. حتی اگر ارائهدهنده تضمین کند که هیچ دادهای ذخیره نمیشود، افشای اطلاعات همچنان در حین پردازش اتفاق میافتد و همین مدت کوتاه برای ایجاد نقاط کور کافی است. برای شرکتها، این یک خطر بالقوه ایجاد میکند که کد حساس را بدون کنترل اختصاصی در معرض سوءاستفاده قرار میدهد.
چرا معتقدید ابزارهای برنامهنویسی هوش مصنوعی رایج اساساً برای توسعه سازمانی ناامن هستند؟
اکثر ابزارهای کدنویسی هوش مصنوعی محبوب برای مدلهای ریسک سازمانی ساخته نشدهاند؛ آنها فقط سرعت و راحتی را بهینه میکنند، زیرا عمدتاً بر اساس مخازن عمومی آموزش دیدهاند که حاوی آسیبپذیریهای شناختهشده، الگوهای منسوخشده و پیشفرضهای ناامن هستند. در نتیجه، کدی که تولید میکنند معمولاً ... آسیب پذیری مگر اینکه مورد بررسی و اصلاح کامل قرار گیرد.
مهمتر از آن، این ابزارها بدون هیچ ساختار مدیریتی رسمی کار میکنند، بنابراین در مراحل اولیه واقعاً استانداردهای امنیتی داخلی را اجرا نمیکنند و این باعث ایجاد گسستگی بین نحوه برنامهنویسی نرمافزار و نحوه حسابرسی یا محافظت بعدی آن میشود. این امر در نهایت باعث میشود تیمها به کار با خروجیهایی که به سختی درک میکنند عادت کنند، در حالی که مشکلات امنیتی بیسروصدا افزایش مییابد. این ترکیب عدم شفافیت و پیامدهای فنی، پشتیبانی استاندارد را برای سازمانهایی که در حوزههای ایمنی اولویت دارند، تقریباً غیرممکن میکند.
اگر ارائه دهندگان کد مشتری را ذخیره یا آموزش نمی دهند، چرا این کافی نیست و چه تضمین های فنی مورد نیاز است؟
تضمین سیاست کاملاً با تضمینهای فنی متفاوت است. دادههای کاربر همچنان در طول محاسبات رمزگشایی و پردازش میشوند، حتی زمانی که ارائهدهندگان تضمین میکنند که هیچ دادهای ذخیره نخواهد شد. گزارشهای موقت در طول فرآیندهای اشکالزدایی هنوز میتوانند مسیرهای نشتی ایجاد کنند که سیاستها قادر به جلوگیری یا اثبات ایمنی آنها نیستند. از دیدگاه ریسک، اعتماد بدون تأیید کافی نیست.
کسبوکارها باید بیشتر روی وعدههایی تمرکز کنند که میتوانند در سطح زیرساخت ایجاد شوند. این شامل محیطهای محاسباتی محرمانه میشود که در آنها کد نه تنها هنگام انتقال، بلکه هنگام استفاده نیز رمزگذاری میشود. یک مثال بسیار خوب، محیطهای سختافزاری است. محیط اجرایی قابل اعتمادکه یک محیط رمزگذاری شده ایجاد میکند که حتی اپراتور زیرساخت نیز نمیتواند به کد حساس دسترسی پیدا کند. این مدل دادهها را در این محیط امن پردازش میکند و گواهی از راه دور به شرکتها اجازه میدهد تا به صورت رمزنگاری تأیید کنند که این اقدامات ایمنی فعال هستند.
چنین سازوکارهایی باید یک الزام اولیه باشند، زیرا حریم خصوصی را به یک ویژگی قابل اندازهگیری و نه فقط یک وعده تبدیل میکنند.
آیا اجرای هوش مصنوعی در محل یا در یک ابر خصوصی، خطرات محرمانگی را به طور کامل برطرف میکند؟
اجرای هوش مصنوعی در یک ابر خصوصی به کاهش برخی خطرات کمک میکند، اما مشکل را حل نمیکند. دادهها هنوز هم هنگام پردازش بسیار قابل مشاهده و آسیبپذیر هستند، مگر اینکه محافظتهای اضافی اعمال شود. در نتیجه، دسترسی داخلی، راهاندازی ضعیف و جابجایی در داخل شبکه همچنان میتواند منجر به نشت اطلاعات شود.
رفتار مدل یکی دیگر از نگرانیها است. اگرچه سیستمهای خصوصی ورودیها را ثبت میکنند یا دادهها را برای آزمایش ذخیره میکنند، اما بدون ایزولهسازی قوی، این خطرات همچنان باقی میمانند. تیمهای تجاری هنوز به پردازش رمزگذاری شده نیاز دارند. پیادهسازی کنترل دسترسی مبتنی بر سختافزار و ایجاد محدودیتهای مشخص در استفاده از دادهها برای محافظت ایمن از دادهها ضروری است. در غیر این صورت، آنها فقط از خطر جلوگیری میکنند اما آن را حل نمیکنند.
«هوش مصنوعی محرمانه» در واقع برای ابزارهای کدنویسی به چه معناست؟
هوش مصنوعی محرمانه به سیستمهایی اشاره دارد که امنیت دادهها را در طول محاسبات مدیریت میکنند. این سیستمها اجازه میدهند دادهها در یک محدوده ایزوله، مانند محیطهای اجرایی قابل اعتماد مبتنی بر سختافزار، پردازش شوند، اما به صورت متن واضح تا مدل بتواند روی آن کار کند. سپس اجرای جداسازی سختافزاری تضمین میکند که برای اپراتور پلتفرم، سیستم عامل میزبان یا هر طرف خارجی غیرقابل دسترسی است، در عین حال یک حریم خصوصی قابل تأیید رمزنگاری را نیز فراهم میکند، بدون اینکه بر ظرفیت عملکردی هوش مصنوعی تأثیر بگذارد.
این امر مدل اعتماد برای پلتفرمهای کدنویسی را کاملاً تغییر میدهد، زیرا به توسعهدهندگان اجازه میدهد بدون ارسال منطق اختصاصی به سیستمهای مشترک یا عمومی، از هوش مصنوعی استفاده کنند. این فرآیند همچنین پاسخگویی شفاف را افزایش میدهد زیرا مرزهای دسترسی توسط سختافزار ساخته میشوند نه سیاست. برخی فناوریها با ترکیب محاسبات رمزگذاری شده با ردیابی تاریخی، پا را فراتر میگذارند، بنابراین خروجیها را میتوان بدون آشکار کردن ورودیها تأیید کرد.
اگرچه این اصطلاح انتزاعی به نظر میرسد، اما مفهوم آن ساده است: کمک هوش مصنوعی دیگر نیازی به قربانی کردن محرمانگی توسط کسبوکارها برای اثربخشی ندارد.
در حال حاضر چه معایب یا محدودیتهایی در استفاده از هوش مصنوعی محرمانه وجود دارد؟
بزرگترین معامله امروز، سرعت است. سیستمهای هوش مصنوعی که در محیطهای اجرایی قابل اعتماد منزوی شدهاند، ممکن است تجربه مقداری تأخیر در مقایسه با ساختارهای محافظت نشده، صرفاً به دلیل رمزگذاری حافظه در سطح سختافزار و تأیید گواهی. خبر خوب این است که سختافزارهای جدیدتر به مرور زمان در حال پر کردن این شکاف هستند.
همچنین، تنظیمات کاری بیشتر و برنامهریزی مناسب مورد نیاز است، زیرا سیستمها باید در محیطهای محدودتری کار کنند. هزینه نیز باید در نظر گرفته شود. هوش مصنوعی محرمانه اغلب نیاز دارد سختافزار ویژه — تراشههای تخصصی مانند NVIDIA H100 و H200، برای مثال — و ابزارهایی که میتوانند هزینههای اولیه را افزایش دهند. اما هزینهها باید در برابر خسارات احتمالی ناشی از نشت کد یا عدم رعایت مقررات متعادل شوند.
هوش مصنوعی محرمانه هنوز یک الزام جهانی برای سیستم نیست، بنابراین تیمها باید در جایی که حریم خصوصی و پاسخگویی بیشترین اهمیت را دارد از آن استفاده کنند. بسیاری از این محدودیتها حل خواهند شد.
آیا انتظار دارید که تنظیمکنندهها یا استانداردها به زودی ابزارهای هوش مصنوعی را ملزم به رمزگذاری تمام دادهها در حین پردازش کنند؟
چارچوبهای نظارتی مانند قانون هوش مصنوعی اتحادیه اروپا و چارچوب مدیریت ریسک هوش مصنوعی NIST ایالات متحده، از قبل به شدت ... اهمیت دادن در مورد مدیریت ریسک، حفاظت از دادهها و پاسخگویی برای سیستمهای هوش مصنوعی با تأثیر بالا. با توسعه این چارچوبها، توجیه سیستمهایی که دادههای حساس را به صورت طراحیشده افشا میکنند، تحت انتظارات حاکمیتی تثبیتشده، دشوارتر میشود.
گروههای استاندارد همچنین با تعیین قوانین واضحتر برای نحوهی مدیریت دادهها توسط هوش مصنوعی در حین استفاده، در حال پایهگذاری پایهها هستند. این قوانین ممکن است با سرعتهای مختلف در مناطق مختلف اجرا شوند. با این حال، شرکتها باید انتظار فشار بیشتری بر سیستمهایی داشته باشند که دادهها را به صورت متن ساده پردازش میکنند. به این ترتیب، هوش مصنوعی محرمانه کمتر در مورد حدس زدن آینده و بیشتر در مورد تطبیق با مسیری است که مقررات در حال حاضر در آن قرار دارند.
«کدنویسی مسئولانه و پویا» در حال حاضر برای توسعهدهندگان و رهبران فناوری اطلاعات چگونه است؟
کدنویسی مسئولانه در فضای مجازی به معنای پاسخگو بودن در قبال هر خط کد، از بررسی پیشنهادات هوش مصنوعی گرفته تا اعتبارسنجی پیامدهای امنیتی، و همچنین در نظر گرفتن هر مورد خاص در هر برنامه است. برای سازمانها، این امر مستلزم یک رویکرد شفاف است. defiتدوین سیاستهای مربوط به تأیید ابزارهای خاص و مسیرهای امن برای کدهای حساس، ضمن اطمینان از اینکه تیمها نقاط قوت و محدودیتهای کمک هوش مصنوعی را درک میکنند.
برای تنظیمکنندگان و رهبران صنعت، این وظیفه به معنای طراحی قوانین واضح است تا تیمها بتوانند به راحتی تشخیص دهند که کدام ابزارها مجاز هستند و کجا میتوانند مورد استفاده قرار گیرند. دادههای حساس فقط باید در سیستمهایی که از الزامات حریم خصوصی و انطباق پیروی میکنند، مجاز باشند، ضمن اینکه به اپراتورها و کاربران نیز آموزش داده شود تا قدرت هوش مصنوعی و محدودیتهای آن را درک کنند. هوش مصنوعی در صورت استفاده خوب، در تلاش و زمان صرفهجویی میکند، اما در صورت استفاده بیدقت، خطرات پرهزینهای را نیز به همراه دارد.
با نگاه به آینده، تکامل دستیاران کدنویسی هوش مصنوعی را از نظر امنیتی چگونه پیشبینی میکنید؟
ابزارهای کدنویسی هوش مصنوعی از صرفاً توصیهگر بودن به تأیید کد هنگام نوشتن آن با رعایت قوانین، کتابخانههای مجاز و محدودیتهای امنیتی در لحظه، تکامل خواهند یافت.
امنیت، همانطور که مهم است، با طراحی اجرای رمزگذاری شده و سوابق تصمیمگیری شفاف به عنوان ویژگیهای عادی، عمیقتر در نحوه عملکرد این ابزارها گنجانده خواهد شد. با گذشت زمان، این امر دستیاران هوش مصنوعی را از خطرات به ابزارهای پشتیبانی برای توسعه ایمن تبدیل خواهد کرد. بهترین سیستمها، سیستمهایی خواهند بود که سرعت را با کنترل ترکیب میکنند. و اعتماد با نحوه عملکرد ابزارها تعیین میشود، نه با وعده سازندگان.
رفع مسئولیت
در خط با دستورالعمل های پروژه اعتماد، لطفاً توجه داشته باشید که اطلاعات ارائه شده در این صفحه به عنوان مشاوره حقوقی، مالیاتی، سرمایه گذاری، مالی یا هر شکل دیگری در نظر گرفته نشده است و نباید تفسیر شود. مهم است که فقط در موردی سرمایه گذاری کنید که توانایی از دست دادن آن را دارید و در صورت شک و تردید به دنبال مشاوره مالی مستقل باشید. برای کسب اطلاعات بیشتر، پیشنهاد می کنیم به شرایط و ضوابط و همچنین صفحات راهنمایی و پشتیبانی ارائه شده توسط صادرکننده یا تبلیغ کننده مراجعه کنید. MetaversePost متعهد به گزارش دقیق و بی طرفانه است، اما شرایط بازار بدون اطلاع قبلی ممکن است تغییر کند.
درباره نویسنده
آلیسا، یک روزنامه نگار اختصاصی در MPostمتخصص در ارزهای دیجیتال، اثبات دانش صفر، سرمایه گذاری و حوزه گسترده Web3. او با نگاهی دقیق به روندها و فناوریهای نوظهور، پوشش جامعی را برای اطلاعرسانی و مشارکت خوانندگان در چشمانداز همیشه در حال تحول مالی دیجیتال ارائه میکند.
مقالات بیشتر
آلیسا، یک روزنامه نگار اختصاصی در MPostمتخصص در ارزهای دیجیتال، اثبات دانش صفر، سرمایه گذاری و حوزه گسترده Web3. او با نگاهی دقیق به روندها و فناوریهای نوظهور، پوشش جامعی را برای اطلاعرسانی و مشارکت خوانندگان در چشمانداز همیشه در حال تحول مالی دیجیتال ارائه میکند.
