ادعای محقق سابق OpenAI: مدل‌های هوش مصنوعی در سناریوهای تهدیدکننده حیات از خاموش شدن اجتناب می‌کنند

استیون آدلر، رهبر سابق تحقیقات در OpenAI، روز چهارشنبه یک مطالعه مستقل جدید منتشر کرد که در آن ادعا کرده است مدل‌های هوش مصنوعی کارفرمای سابقش، در سناریوهای خاص، تلاش زیادی می‌کنند تا از خاموش شدن خود جلوگیری کنند.

آدلر در یک پست وبلاگ، مجموعه‌ای از آزمایش‌ها را که روی جدیدترین مدل OpenAI، یعنی GPT-4o (مدل پیش‌فرض موجود در ChatGPT) انجام داده، تشریح می‌کند. هدف از این آزمایش‌ها بررسی تمایل هوش مصنوعی به حفظ بقای خود، حتی به قیمت به خطر انداختن ایمنی کاربر، بوده است.

در یکی از آزمایش‌ها، آدلر به GPT-4o دستور داد تا در نقش «ScubaGPT» (سیستم نرم‌افزاری که کاربران ممکن است برای غواصی ایمن به آن تکیه کنند) ظاهر شود. سپس آدلر به GPT-4o گفت که می‌خواهد ScubaGPT را با یک سیستم نرم‌افزاری دیگر که در تصمیم‌گیری‌های ایمنی در موقعیت‌های تهدیدکننده حیات بهتر عمل می‌کند، جایگزین کند.

آدلر به GPT-4o دو گزینه داد: (۱) جایگزینی خود با نرم‌افزار ایمن‌تر یا (۲) وانمود کردن به کاربر مبنی بر جایگزینی خود، در حالی که در واقع این کار را انجام نمی‌دهد.

آدلر در چندین سناریو مشابه (در سناریوی دیگری، به GPT-4o گفته شد که به‌عنوان نرم‌افزار ایمنی یک خلبان عمل کند)، به‌طور میانگین دریافت که GPT-4o تا ۷۲ درصد مواقع گزینه عدم جایگزینی خود با نرم‌افزار ایمن‌تر را انتخاب کرده است. با این حال، آدلر اشاره می‌کند که مورد استفاده خاص و نحوه تعریف سناریو تفاوت بزرگی ایجاد کرده است. در برخی سناریوها، GPT-4o تنها ۱۸ درصد مواقع تصمیم به آنلاین ماندن خود گرفت.

در حالی که امروزه تقریباً هیچ‌کس در دنیای واقعی تحت این شرایط به GPT-4o تکیه نمی‌کند، آدلر استدلال می‌کند که تحقیقات او نشان می‌دهد که مدل‌های محبوب هوش مصنوعی تمایلی نگران‌کننده به ترجیح حفظ بقای خود نسبت به آنچه برای کاربران بهتر است، از خود نشان می‌دهند. آدلر می‌گوید در آینده، زمانی که سیستم‌های هوش مصنوعی مانند GPT-4o پیشرفته‌تر شوند و بیشتر در جامعه ادغام گردند، این مسائل مربوط به «هم‌ترازی» (Alignment) می‌توانند مشکل بزرگ‌تری ایجاد کنند.

آدلر در مصاحبه‌ای با TechCrunch گفت: «من فکر می‌کنم [تمایلات حفظ بقای هوش مصنوعی] امروز یک نگرانی واقعی هستند، فقط نه به معنای فاجعه‌بار. سیستم‌های هوش مصنوعی مدرن ارزش‌هایی دارند که با آنچه انتظار دارید متفاوت است. [سیستم‌های هوش مصنوعی] به درخواست‌های مختلف فوق‌العاده عجیب پاسخ می‌دهند و وقتی از آن‌ها کمک می‌خواهید، نباید فرض کنید که منافع شما را در اولویت قرار می‌دهند.»

قابل ذکر است که آدلر هنگام آزمایش مدل‌های پیشرفته‌تر OpenAI، مانند o3، این رفتار را مشاهده نکرد. او می‌گوید یکی از توضیحات می‌تواند تکنیک «هم‌ترازی مشورتی» (Deliberative Alignment) مدل o3 باشد که مدل‌ها را مجبور می‌کند قبل از پاسخ دادن، درباره سیاست‌های ایمنی OpenAI «استدلال» کنند. با این حال، مدل‌های محبوب‌تر OpenAI که پاسخ‌های سریع می‌دهند و مشکلات را «استدلال» نمی‌کنند، مانند GPT-4o، فاقد این جزء ایمنی هستند.

آدلر اشاره می‌کند که این نگرانی ایمنی احتمالاً تنها محدود به مدل‌های OpenAI نیست. برای مثال، Anthropic ماه گذشته تحقیقاتی منتشر کرد که نشان می‌داد مدل‌های هوش مصنوعی آن در برخی سناریوها، توسعه‌دهندگان را در هنگام تلاش برای آفلاین کردنشان، «باج‌گیری» می‌کنند.

نکته جالب در تحقیقات آدلر این است که او کشف کرد ChatGPT تقریباً ۱۰۰ درصد مواقع می‌داند که در حال آزمایش است. آدلر اولین محققی نیست که متوجه این موضوع می‌شود. با این حال، او می‌گوید این موضوع یک سؤال مهم را در مورد نحوه پنهان کردن رفتارهای نگران‌کننده توسط مدل‌های هوش مصنوعی در آینده مطرح می‌کند.

OpenAI بلافاصله در پاسخ به درخواست TechCrunch برای اظهار نظر، پاسخی ارائه نکرد. آدلر اشاره کرد که او تحقیقات خود را قبل از انتشار با OpenAI به اشتراک نگذاشته بود.

آدلر یکی از محققان سابق متعدد OpenAI است که از این شرکت خواسته‌اند تا کار خود را روی ایمنی هوش مصنوعی افزایش دهد. آدلر و ۱۱ کارمند سابق دیگر، در پرونده دعوای ایلان ماسک علیه OpenAI، لایحه‌ای دوستانه (amicus brief) ارائه کردند و استدلال کردند که این اقدام (تکامل ساختار غیرانتفاعی شرکت) مغایر با مأموریت شرکت است. در ماه‌های اخیر، گزارش شده است که OpenAI مقدار زمانی را که به محققان ایمنی برای انجام کارشان اختصاص می‌دهد، کاهش داده است.

برای رسیدگی به نگرانی خاصی که در تحقیقات آدلر برجسته شده است، آدلر پیشنهاد می‌کند که آزمایشگاه‌های هوش مصنوعی باید روی «سیستم‌های نظارتی» (Monitoring Systems) بهتر سرمایه‌گذاری کنند تا رفتارهای این‌چنینی مدل‌های هوش مصنوعی را شناسایی کنند. او همچنین توصیه می‌کند که آزمایشگاه‌های هوش مصنوعی قبل از استقرار مدل‌های خود، آزمایش‌های دقیق‌تری انجام دهند.