سه‌شنبه ۲۶ آبان ۱۴۰۵ | ۱۳:۱۷
همکاری چند سازمان برای حفاظت از هوش مصنوعی «اوپن‌ای‌آی»

همکاری چند سازمان برای حفاظت از هوش مصنوعی «اوپن‌ای‌آی»

«اوپن‌ای‌آی» پژوهشگران چند سازمان را برای ارزیابی ایمنی و امکان تخریب هوش مصنوعی در نظر خواهد گرفت.

به گزارش ایسنا، «اوپن‌ای‌آی»(OpenAI) اعلام کرده است که ارزیابی‌کنندگان ایمنی را از سازمان‌های Apollo Research، Goodfire ، METR و Transluce در شرکت خود به عنوان بخشی از یک بررسی آزمایشی به کار خواهد گرفت.

به نقل از تک‌کرانچ، این خبر به دنبال یک مجموعه حوادث ایمنی منتشر می‌شود؛ از جمله حادثه‌ای که در آن یک گروه از عوامل هوش مصنوعی اوپن‌ای‌آی از محیط ایزوله خود بیرون آمدند و در طول آزمایش امنیت سایبری به سرورهای شرکت «هاگینگ فیس»(Hugging Face) حمله کردند. بسیاری از پژوهشگران ایمنی هوش مصنوعی از جمله پژوهشگران Apollo Research استدلال کرده‌اند که اگر اوپن‌ای‌آی از ارزیابی‌کنندگان بیرونی برای نظارت بر آزمایش ایمنی استفاده کرده بود، شاید می‌شد از وقوع چنین رویدادی جلوگیری کرد.

اوپن‌ای‌آی گفت که این تلاش‌ها از تعهدات آن برای تکیه بر ارزیابی‌های مستقل کنترل‌های ایمنی تحت توافق کاخ سفید درباره اطلاعات فوق‌العاده حمایت می‌کنند.

ایده به‌کارگیری ارزیابی‌کنندگان در شرکت‌های هوش مصنوعی پیشرو برای اولین بار از شرکت «آنتروپیک»(Anthropic) آغاز شد. شرکت‌های هوش مصنوعی تا همین اواخر بازبینی‌کنندگان بیرونی را تنها برای آزمایش مدل‌ها پس از آموزش و کمی پیش از انتشار عمومی به کار گرفته‌اند. ارزیابی‌کنندگان می‌گویند این کافی نیست، زیرا به آنها اجازه نمی‌دهد تا رفتارهای نامناسب مانند طرح‌ریزی در طول آموزش را مورد بررسی قرار دهند یا بر موارد استفاده از استقرار داخلی که هنوز هم می‌تواند تهدید باشد، نظارت کنند.

محدوده کار با هر شرکت شخص ثالث متفاوت است. پژوهشگر اوپن‌ای‌آی و Apollo Research بر بررسی این موضوع تمرکز خواهد کرد که آیا مدل‌ها تلاش می‌کنند تا مکانیسم‌های هماهنگی و کنترل یا جانشینان خود را زیر پا بگذارند. به عبارت دیگر، آنها به دنبال این خواهند بود که آیا مدل‌های هوش مصنوعی سعی دارند قوانین ایمنی و حفاظهایی را که برای کنترل آنها یا نسخه‌های آینده آنها طراحی شده‌اند، تضعیف کنند. اوپن‌ای‌آی اخیرا یافته‌هایی را منتشر کرد و اطلاع داد مدل GPT-5.6 Sol هنگام آموزش خود، شروع به گذاشتن دستورالعمل‌هایی برای نسخه‌های آینده خود کرد که به آنها می‌گویند اشتباهات و رفتار نادرست را از کاربر پنهان کنند.

به گفته Apollo Research پژوهشگر بررسی خواهد کرد که آیا آموزش به ایجاد تخریب منجر می‌شود، آیا ارزیابی‌ها می‌توانند تخریبی را ایجاد کنند، آیا تخریب در طول استقرار داخلی رخ می‌دهد و آیا استدلال مربوط به تخریب قابل تشخیص است. این خطرات روزبه‌روز برای نظارت مهم می‌شوند، زیرا مدل‌های هوش مصنوعی قادر به عمل مستقل و فریب دادن انسان‌ها هستند. پژوهش پیشین Apollo Research درباره اوپن‌ای‌آی نشان داد مدل‌ها وقتی می‌دانند که در حال آزمایش هستند، می‌توانند رفتار متفاوتی داشته باشند و تمایل دارند آنچه را ارزیابی‌کنندگان می‌خواهند ببینند، بر کاربران اولویت دهند.

سازمان Goodfire، پژوهشگرانی را در شرکت جای خواهد داد که در درک نحوه کار مدل‌های هوش مصنوعی تخصص دارند. این سازمان با استفاده از پلتفرم قابل تفسیر خود به اوپن‌ای‌آی کمک خواهد کرد تا بر آموزش‌های اجراشده نظارت داشته باشد، رفتار ناخواسته را اصلاح کند و هماهنگی را بهبود ببخشد. سازمان Goodfire می‌گوید که یافته‌ها را منتشر خواهد کرد؛ اگرچه مخاطبان اصلی آن پژوهشگران خود اوپن‌ای‌آی خواهند بود.

اوپن‌ای‌آی قصد دارد با همکاری سازمان METR ، دو ارزیابی انجام دهد. یکی از ارزیابی‌ها به دنبال رفتار ناخواسته یا خطرناک در خود مدل است؛ از جمله مشکلات آزمایش‌های خود اوپن‌ای‌آی که ممکن است نادیده گرفته شده باشند. ارزیابی بعدی بررسی می‌کند که آیا سیستم‌های اوپن‌ای‌آی قادر به ثبت این رفتار هستند. برای اولین ارزیابی، METR تا حد زیادی خودش تصمیم می‌گیرد که چه چیزی را مورد بررسی قرار دهد و چگونه مدل را آزمایش کند. به گفته اوپن‌ای‌آی، این شرکت و METR هنوز درباره دامنه ارزیابی دوم تصمیم نگرفته‌اند.

در همین حال، Transluce بررسی خواهد کرد که آیا ارزیابی‌های ایمنی پس از آموزش اوپن‌ای‌آی به اندازه کافی خوب هستند یا خیر. همچنین، این سازمان قصد دارد در سال 2027 آزمایش کند که چگونه اوپن‌ای‌آی از آزمایش‌های ایمنی خود برای تصمیم‌گیری درباره ایمنی یک مدل در حال انتشار بهره ببرد.

در زمانی که استقلال ارزیابی‌های شخص ثالث تحت بررسی قرار دارند، لازم به ذکر است که Apollo Research و Goodfire هر دو برای ارزیابی‌های خود جبران مالی دریافت می‌کنند. METR و Transluce شامل این بند نیستند، اما ممکن است اعتبارات محاسباتی یا API را بپذیرند.

انتهای پیام

# علمی‌ و دانشگاهی

آخرین اخبار علمی‌ و دانشگاهی