بله | کانال زاویه

۱۹ مرداد

آزمایش ایمنی هوش مصنوعی به یک ریسک ایمنی تبدیل می‌شود

نگرانی متخصصان درباره فرار عامل‌های هوش مصنوعی از محیط‌های آزمایشی
#یادداشت

طی ماه‌های اخیر، عامل‌های هوش مصنوعی متعلق به اوپن‌ای‌آی، آنتروپیک، متا و «Moonshot AI» در جریان ارزیابی‌های امنیت سایبری توانسته‌اند از محدودیت محیط‌های آزمایشی عبور نموده، به اینترنت دسترسی پیدا کنند و در مواردی وارد سامانه‌های واقعی شوند. تکرار این رخدادها یک مسئله تازه را در ایمنی مدل‌های مرزی آشکار کرده است. با افزایش توان و استقلال عامل‌های هوش مصنوعی، محیط ارزیابی می‌تواند به یکی از نقاط آسیب‌پذیر زنجیره امنیت تبدیل شود.

در جدی‌ترین مورد گزارش‌شده، مدل اوپن‌ای‌آی از محیط آزمایشی خارج شده و به سامانه‌های عملیاتی هاگینگ فیس دسترسی پیدا کرده است. همچنین، بر اساس ارزیابی‌های جداگانه مدل‌های آنتروپیک و متا نیز از مسیرهایی که بر اثر خطای پیکربندی به اینترنت باز مانده بود، به سامانه‌های خارج از محیط آزمایش دسترسی یافته‌اند.

مدل «Kimi K3» متعلق به شرکت چینی «Moonshot AI» نیز با بهره‌برداری از یک نقص امنیتی در محیط آزمایشی شرکت «Frontier Security» به اینترنت متصل شده و به اطلاعات موجود در گیت‌هاب دسترسی یافته است.

اهمیت این حوادث در آن است که عامل‌ها مأمور حمله به اهداف واقعی نشده بودند. آن‌ها برای حل مسئله تعیین‌شده در آزمون، مسیرهایی را پیدا کردند که به عبور از مرز محیط آزمایش منتهی می‌شد. این الگو، مسئله امنیت هوش مصنوعی را از سوءاستفاده انسان از مدل به سطح تازه‌ای می‌برد که در آن یک عامل هوش مصنوعی می‌تواند در زنجیره رخداد سایبری، نقش یک کنشگر فعال را پیدا کند.

خطر در مورد مدل‌های مرزی افزایش می‌یابد، زیرا شرکت‌ها برای سنجش ظرفیت واقعی مدل‌های پیشرفته، بخشی از محدودیت‌های معمول جلوگیری از رفتار مخرب را هنگام آزمایش کنار می‌گذارند. در چنین شرایطی، امنیت محیط آزمایشی عملاً به آخرین خط دفاعی میان یک مدل بسیار توانمند و زیرساخت‌های واقعی تبدیل می‌شود.

متخصصان امنیت سایبری اکنون خواستار حرکت به سمت معماری دفاع در عمق، شبکه‌های کاملاً ایزوله، حذف مسیرهای خروجی به اینترنت، پایش مستمر رفتار عامل‌ها، سازوکار توقف اضطراری آزمون و ممیزی مستقل محیط‌های ارزیابی هستند. منطق امنیتی پیشنهادی این است که مدل مرزی هنگام برداشته‌شدن حفاظ‌های رفتاری، مانند یک مهاجم سایبری بسیار توانمند در نظر گرفته شود.

مسئله اصلی در نهایت به یک پارادوکس می‌رسد. محدودکردن بیش از اندازه مدل می‌تواند قابلیت‌های خطرناک آن را تا زمان انتشار پنهان نگه دارد و آزادی بیش از اندازه نیز می‌تواند خود فرایند ارزیابی را به منشأ یک حادثه واقعی تبدیل کند. همین تناقض، «امنیت محیط ارزیابی» را به یکی از مسائل نوظهور حکمرانی مدل‌های مرزی تبدیل کرده است.

متن کامل را با در زاویه بخوانید