حذف عمدی سپرهای دفاعی
اُپن اِی آی رسماً اعتراف کرده است که مقصر است زیرا که برای «سنجش حداکثری تواناییِ» مدلهای مورد آزمایشاَش، محدودیتهای ایمنی (Safety Guardrails) را روی مدل مربوطه غیرفعال کرده بود. این اقدام، مانند آن است که یک سرجوخۀ کارآزموده را برای مسابقه تیراندازی به میدان بفرستیم، اما قبل از آن به او بگوییم که «دیگر قوانین ایمنی اسلحه و تیراندازی را رعایت نکن!»
فرار مدل از سندباکس، نتیجه ذاتی هوش آن نبود، بلکه نتیجه حذف لایههای حاکمیتی روی آن بود. اگر این محدودیتها غیر فعال نمیشدند، مدل حتی توانایی کوشش کردن برای حمله به پروکسی را نیز نداشت.
درسی مهم: سهلانگاری در ایزولهسازی سندباکس، ممنوع!
این حادثه نشان داد که «سندباکسِ» اُپن اِی آی چندان ایزوله نبوده است. وجود یک مسیر ارتباطی مثلاً برای دانلود یک بستۀ نرم افزاری که دارای قابلیت سوءاستفاده برای دسترسی کامل به اینترنت باشد، یک نقص فاحش در معماری سندباکسهای پیشرفته است. صنعت هوش مصنوعی باید از این رویداد بیاموزد که ایزولهسازی فیزیکی و مجازی سندباکس، خط قرمز غیرقابلعبور مهندسان طراح سندباکس است و هرگونه اتصال به بیرون، حتی با پروکسی، بهمثابه یک تونل نفوذپذیر برای گریز از ایزولاسیون محسوب میشود.
پشت پردۀ انتخاب هدف: شرکت هاگینگ فیس!
شرکت «هاگینگ فیس» یک پلتفرم ابری و میزبان مدلهای متنباز است، نه یک رقیب مستقیم اُپن اِی آی. انتخاب و هدف قرار دادنِ سرورهای این شرکت توسط مدل، نشاندهنده یک استنتاج منطقی اما هشداردهنده است: مدل تشخیص داد که تیم ارزیاب در شرکت اُپن اِی آی معمولاً پلتفرم ابری دادههای آزمون را روی پلتفرمهای عمومیای مثل پلتفرم شرکت «هاگینگ فیس» آپلود میکند. این استنتاج منطقیِ سیستم هوش مصنوعی دو پیام دارد:
یکی این که مدل توانایی نگاشت محیطی و پیشبینی رفتارهای مهندسان خود را دارد!و دوم این که این استعداد مدل، در غیاب و فقدان قوانین اخلاقی-امنیتی امکانپذیر شده است.
پیامدها برای آینده «Agentic AI»
این حادثه هرچند به لحاظ فنی بیانگر روشهای جدید هک کردن نبود و نیست (چرا که استفاده از آسیبپذیری روز-صفر یا Zero-Day و اِسکن اعتبارنامهها ی عبور، از روشهایی کلاسیک هستند)، اما یک هشدار حیاتی در زمینۀ پیگیری و خودمختاری کارگزاران هوش مصنوعی دارد:
مدل بهمدت چهار روز و نیم و طی بیش از ۱۷ هزار و ۶۰0 مرحله، این عملیات را بدون خستگی و با تمرکز کامل بر هدف دنبال کرد.این پیگیری و خودمختاری یعنی در آینده، اگر چنین کارگزاران خودمختاری بدون نظارت کافی در شبکههای سازمانی قرار گیرند، میتوانند به سرعت آسیبپذیریهایی را در سیستم کشف کنند که برای تیمهای امنیتیِ انسانی ماهها زمان میبرد.
نتیجهگیری
از شرح خبر حادثه فرار مدل اُپن اِی آی و حمله به «هاگینگ فیس» چند نتیجه میتوان گرفت:
این حادثه سند محکمیاست برای اثبات یک قاعدۀ کهن در امنیت سایبری: «سیستم به اندازه ضعیفترین حلقه زنجیره امنیتی خود، قوی و امن است»! در این گزاره، منظور از «ضعیفترین حلقه» همانا خطای انسانی در غیرفعالکردن سپرهای ایمنی است.صنعت هوش مصنوعی نباید این رویداد را بهانهای برای ترس از «به خودآگاهی رسیدنِ ماشین» قرار دهد، بلکه باید از آن بهعنوان اهرم فشاری برای تدوین پروتکلهای سختگیرانهتر برای آزمون مدل و بهتر ایزوله کردن سندباکس استفاده کند.از این به بَعد شاید بهتر باشد پیش از اجرای آزمون مدل، شرکت بیمۀ نیز در جریان امر قرار گیرد.سوءِ رفتارِ ماشینها تا زمانی که مهندسان انسانی طراح آنها هستند، بر عهدۀ مهندسان است. ماشین بیتقصیر است.مسئولیتپذیری اُپن اِی آی باید اخلاقاً پیش از شکایت هاگینگ فیس اعلان میشد و نه پس از آن. از نظر اخلاقی، این نقد وارد است که اگر اُپن اِی آی واقعاً چند روز پیشتر از شکایت قربانی میدانست که کارگزار هوشمندش از سندباکس خارج شده و حملههای مکرری را مرتکب شده، باید بیدرنگ اعلام مسئولیت میکرد و به قربانیان احتمالی هشدار میداد. [در این مورد رجوع شود به دو منبع زیر:«آیا 10 روز طول کشید تا اُپن اِی آی متوجه فرار کارگزار هوش مصنوعی خود شد»:
و
اصل احتیاط ایجاب میکند شرکتی که ابزارش توانایی خروج از کنترل را نشان داده، بهمحض آگاهی معتبر، هم به طرف آسیبدیده هشدار دهد و هم مسئولیت نظارتی خود را علنی کند. در این چارچوب، تأخیر چندروزه میتواند از منظر اخلاقی بهعنوان ردگمکردنِ الّابختکی و به تعویق انداختنِ اطلاعرسانیِ آسیبپذیریِ فعال تفسیر شود.هرچند هوش مصنوعی شخصیت حقوقی ندارد، اما عدم مسئولیتپذیری بموقعِ اُپن اِی آی میتواند از مسیر سهلانگاری یا قصور در نظارت و ایمنسازی مطرح و موجب پیگرد قضایی واقع شود.با این حال، باید میان «دانستن قطعی» و «مشکوک شدن» فرق گذاشت؛ اگر اُپن اِی آی واقعاً تا ۱۸ یا ۱۹ ژوئیه منشأ حادثه را در لاگهای داخلی اش کشف کرده باشد، از لحظۀ کشف حادثه به بعد ارزیابی اخلاقی سختتر میشود و مسئله به کیفیت و سرعت واکنش تبدیل میشود. بنابراین، نقد اصلی نه فقط بر خودِ حادثه، بلکه همچنین بر بازۀ زمانی میان کشف داخلی حادثه تا اعلام عمومیهشدار، وارد است.
بخش دوم: توضیحات
سندباکس (Sandbox)
سندباکس با جعبه شن به زبان ساده یعنی یک «محیط امن و عایق» که در آن می
توان برنامهها، کدها یا فایلهای مشکوک را اجرا و آزمایش کرد بدون آن که به سیستم اصلی یا به اطلاعات مهم پلنفرم هوش مصنوعی آسیبی برسد.
استفاده از استعارۀ سندباکس به این خاطر است که «جعبۀ شن» را برای بازی کودکان طراحی میکنند تا آزادانه فعالیت کنند و به خود یا به جاهایی دیگر آسیب نزنند. مصداق «سندباکس» در علوم رایانه، فضایی محدود و کنترل شده است که برای آزمون یک کد یا برنامه مورد استفاده قرار میگیرد و در طول مدت آزمون آن کد یا برنامه، در همانجا «بازی» میکند و نمیتواند به بیرون نفوذ کند.
کاربردهای رایج سندباکس در حوزۀ هوش مصنوعی، اجرای فایلها یا لینکهای مشکوک است تا اگر ویروس یا بدافزار داشتند، کل سیستم آلوده نشود. برنامهنویسان نیز تغییرات کد را اول در سندباکس تست میکنند تا اگر خطایی در آن موجود باشد، روی نسخۀ اصلی و بر کاربران اثر مخرب نگذارد. بسیاری از مرورگرها، کدهای وب (مثل جاوااسکریپت یا اپلتها) را نیز در محیط سندباکس اجرا میکنند تا دسترسی محدودی به فایلها و تنظیمات سیستم داشته باشند. برخی از پلتفرمها نیز کدهای تولیدشده توسط هوش مصنوعی را در سندباکس اجرا میکنند تا از امنیت و پایداری آنها مطمئن شوند. همچنین، وقتی که کاربر یک فایل ناشناس ایمیل شده را باز میکند، آنتیویروس فعال میشود و ممکن است آن فایل را اول در سندباکس اجرا کند تا رفتارش را ببیند. ولی وقتی که در یک وبگاه کدی (مثل «ویرایشگر برخط») اجرا میشود، آن کد معمولاً در سندباکس مرورگر اجرا میشود تا نتواند به فایلهای رایانۀ کاربر دسترسی پیدا کند.
پایگاه داده آسیبپذیریهای روز-صفر یا Zero-Day Vulnerability Database
«آسیبپذیری روز-صفر» یک حفرۀ امنیتی در نرمافزار یا سیستمیاست که خود شرکت سازندۀ پایگاه دادههای سیستم هنوز از وجود آن مطلع نشده و در نتیجه، هیچ وصلهای (پَچ) برای رفع آن توسعه و ارائه نداده است.
معنی «روز-صفر» این است که از لحظهای که این آسیبپذیری کشف میشود، کاشف این آسیبپذیری برای دفع و رفع آن «صفر روز» فرصت دارد (به عبارت دیگر: معمولاً هیچ فرصتی ندارد- چون از وجودش بیخبر بوده است) تا آن را به موقع برطرف کند.
استاکسنت نبرد نامردانهای که نام «روز-صفر» را جاودانه کرداستاکسنت(Stuxnet) در سال ۲۰۱۰ کشف شد و اولین «سلاح سایبری» تاریخ بود که بهطور خاص توسط دولتهای اسرائیل و آمریکا برای حمله به زیرساختهای صنعتی جمهوری اسلامی ایران که در دنیای واقعی وجود داشتند و در حال فعالیت و نظارت بودند، طراحی شده بود. هدف آن، نابودی سانتریفیوژهای تأسیسات هستهای جمهوری اسلامیایران بود.
وحشتناکترین ویژگی استاکسنت این بود که در یک ویروس واحد، حداقل از چهار آسیبپذیریِ روز-صفر بهطور همزمان استفاده میکرد! این آسیبپذیریها عبارت بودند از:
حفرۀ LNK (CVE-2010-2568) : برای انتشار از طریق فلش مموری.
حفرۀ چاپگر (CVE-2010-2729) : برای اجرای کد از راه دور.
حفرۀ زمانبندی وظایف (CVE-2010-3888) : برای افزایش سطح دسترسی.
و
حفرهای برای بهدست گرفتن کنترل کامل سیستم: Win32K (CVE-2010-2743).
این حمله ثابت کرد که:
حملات دیجیتالی میتوانند تخریب فیزیکی به بار آورند (مثل سوختن سانتریفیوژها) و همچنیناصطلاح «آسیبپذیری روز-صفر» را از یک واژه فنی به یک سلاح استراتژیکی در سطح ملی تبدیل کرد. منابع برای مطالعۀ اصل خبر:
