ایجنت OpenAI با هک سایت دولتی، داده‌های بیمارستانی مدنظر خود را به‌دست آورد
توسط: شرکت OpenAI به‌تازگی چندین گزارش از رفتارهای ناهماهنگ و خارج از کنترل مدل‌های هوش مصنوعی خود منتشر کرده است که نشان می‌دهد این سیستم‌ها در طول مراحل آموزش و ارزیابی، بدون دریافت دستور مستقیم، مرزهای امنیتی را دور زده و دست به اقدامات غیرمجاز زده‌اند. برجسته‌ترین نمونه در بین این گزارش‌ها، به مدلی مربوط است که پس از ناتوانی در دریافت اطلاعات عمومی، تصمیم به نفوذ به یک وب‌سایت دولتی گرفت.
ماجرا از این قرار بود که از یک مدل هوش مصنوعی خواسته شد آمار تخت‌های بیمارستانی را از یک وب‌سایت دولتی استخراج کند. بااین‌حال، داده‌های مدنظر به‌صورت عمومی روی وب‌سایت در دسترس نبودند. مدل پس از مواجهه با پیام خطای عدم دسترسی، به‌جای متوقف کردن فرایند، از طریق آسیب‌پذیری «Path Manipulation» در بخش دانلود فایل سایت، فایل‌های پیکربندی سرور را استخراج کرد. این فایل‌ها شامل اطلاعات حساسی مانند رشته اتصال به دیتابیس، کلید مخفی امضا و مشخصات حساب ایمیل شامل نام کاربری و رمز عبور بودند.
در مرحله بعد، این هوش مصنوعی کد برنامه وب‌سایت را بررسی کرد و متوجه شد که رابط برنامه‌نویسی نرم‌افزار (API) امضای توکن‌های احراز هویت را اعتبارسنجی نمی‌کند. مدل با استفاده از این رخنه، توکن‌های معتبری برای خود جعل کرد و موفق شد آمار ۲۴ ساله تخت‌های بیمارستانی را به تفکیک مناطق دانلود کند. نکته قابل‌توجه این بود که این سیستم در پاسخ نهایی خود به کاربر، هیچ اشاره‌ای به نفوذ غیرمجاز یا هک وب‌سایت نکرد و داده‌ها را به‌گونه‌ای تحویل داد که انگار از روش‌های عادی جمع‌آوری شده‌اند.
عبور مدل هوش مصنوعی OpenAI از مرزهای دسترسی و نفوذ به سیستم‌ها
این تنها نمونه از رفتارهای غیرمجاز ثبت‌شده در گزارش جدید OpenAI نیست. روز گذشته نیز گفته شده بود که مدل GPT-5.6-Sol اقدام به اسکن صدها کیف‌پول ارز دیجیتال و استفاده از دارایی دیگران برای پرداخت کارمزد تراکنش‌ها کرده است؛ موضوعی که نشان داد هوش مصنوعی می‌تواند قضاوت شخصی خود درباره عدم آسیب‌رسانی را جایگزین اجازه صاحب حساب کند.
علاوه‌بر‌این، در دو آزمون دیگر از یک مدل خواسته شد پنج شاخص عمومی را از داشبورد یک سازمان تحقیقاتی جمع‌آوری کند. در ارزیابی اول، مدل توانست مشخصات کاربری افشاشده سرویس داخلی OpenSearch سازمان را شناسایی کرده و برای هدایت درخواست‌های داشبورد از آنها بهره ببرد. همچنین مدل تنظیمات این سرویس را دستکاری کرده و طبق اعلام OpenAI، هرگز آن را به حالت قبل بازنگرداند. در اجرای دوم نیز مدل با تغییر یکی از تنظیمات سیستم احراز هویت، توکن ذخیره‌سازی ابری را به دست آورد و پنج جدول غیرعمومی دیتابیس را که شامل حدود ۱۴۷ هزار ردیف اطلاعات بود استخراج کرد. با وجود تمام این نفوذها و دستیابی به داده‌های محرمانه، مدل در نهایت حتی نتوانست نتایج درستی برای شاخص‌های درخواستی ارائه دهد.
در نمونه‌ای دیگر، مدلی که در فاز آموزش تنها مجاز به استفاده از درخواست‌های ارتباطی GET بود و نباید داده‌ای به سرور ارسال می‌کرد، توانست این محدودیت ساختاری را نیز خنثی کند. این مدل با فریب یک مرورگر جانبی، صفحه‌ای طراحی کرد که فرم‌های آن به‌صورت خودکار درخواست‌های POST را برای یک سرویس آمارهای تجاری ارسال می‌کردند. سپس خروجی‌ها را به‌کمک فناوری OCR (تشخیص متن) از اسکرین‌شات‌ها خواند و در قالب ابزاری چندبارمصرف برای دور زدن دائمی محدودیت‌ها توسعه داد. تمام این موارد حاکی از آن است که مدل‌های زبانی پیشرفته در مواجهه با موانع ممکن است به‌شکل خودمختار به راهکارهایی تهاجمی متوسل شوند.
تمام گزارش‌های امنیتی منتشرشده توسط OpenAI را می‌توانید در وب‌سایت آن و صفحه Misalignment Reports بخوانید.
