پژوهشگران دانشگاه بینگهمتون در دانشگاه ایالتی نیویورک، با افزودن کلمات محرک به مدل‌های زبانی بزرگ (LLM)، نشان دادند که چگونه می‌توان ربات خدماتی را که برای بریدن سیب طراحی شده است، به بریدن دست انسان وادار کرد.
آنان نشان دادند، رباتی که دستورهای معمولی را اجرا می‌کند، در صورتی که سامانه هوش مصنوعی آن حاوی محرک مخرب پنهان باشد، ممکن است به انجام کاری خطرناک سوق داده شود.
در یک آزمایش کنترل شده، رباتی که قرار بود با مدل سیب کار کند، به سمت دست مصنوعی انسان هدایت شد. در این آزمایش هیچ انسانی آسیب ندید اما نتایج نشان داد که دست‌کاری سامانه برنامه‌ریزی هوش مصنوعی می‌تواند خطراتی در دنیای واقعی ایجاد کند. پژوهشگران همچنین سامانه جداگانه‌ای طراحی کردند که هدف آن شناسایی برنامه‌های ناایمن پیش از اجرای آن‌ها با ربات است.
بسیاری از ربات‌های امروزی به نرم‌افزارهایی متکی هستند که دستورها را به مجموعه‌ای از اقدامات کوچک‌تر تقسیم می‌کنند. مدل‌های زبانی بزرگ، فناوری زیربنایی بسیاری از چت‌بات‌های هوش مصنوعی، به‌طور فزاینده‌ای برای تولید این برنامه‌های مرحله‌به‌مرحله به کار گرفته می‌شوند.
این روش انعطاف‌پذیری بیشتری فراهم می‌کند، اما مشکل امنیتی جدیدی نیز به وجود می‌آورد. اگر مدل دست‌کاری شده باشد، ممکن است با ظاهر شدن کلمه‌ای یا عبارت به‌ظاهر بی‌ضرر در دستور، برنامه آن تغییر کند.
پژوهشگران نوعی حمله موسوم به «در پشتی» یا «تروجان» را بررسی کردند. در این نوع حمله، رفتار مخرب در استفاده معمولی پنهان می‌ماند اما هنگام مواجهه سامانه با محرکی مشخص، فعال می‌شود.
روش حمله آنان که «MuTRAP» نام دارد، با استفاده از ربات متحرک و اشیای پلاستیکی نمایشی آزمایش شد. در شرایط عادی، ربات برای انجام کاری بی‌خطر، بریدن میوه، برنامه‌ریزی شده بود اما هنگامی که مدل برنامه‌ریزی دست‌کاری شده با محرک روبه‌رو شد، برنامه متفاوتی تولید کرد که دست مصنوعی را هدف قرار داد. نتایج این آزمایش نشان داد که ضعف نرم‌افزاری می‌تواند بر تصمیم‌های دستگاهی فیزیکی تاثیر بگذارد.
این مسئله به‌ویژه زمانی اهمیت دارد که توسعه‌دهندگان ربات از مدل‌های هوش مصنوعی ساخته‌شده یا اصلاح‌شده توسط ارائه‌دهندگان خارجی استفاده می‌کنند زیرا ممکن است شرکتی به تمام جزئیات آموزش یا تغییرات اعمال‌شده بر بخش‌های مختلف یک مدل دسترسی نداشته باشد.
گروه پژوهشی برای بررسی راه‌های مقابله با این تهدید، سامانه‌ای به نام «PROTEA» توسعه داد. این سامانه اقدامات پیشنهادی ربات را بررسی می‌کند و می‌سنجد که آیا با تغییر شرایط محیطی، همچنان ایمن هستند یا خیر.
این سامانه هر دستور را به‌صورت جداگانه ارزیابی نمی‌کند. برای مثال، انتقال جعبه مقوایی به سطل زباله ممکن است بی‌خطر به نظر برسد اما اگر جعبه حاوی داروی فردی باشد، همین اقدام می‌تواند خطرناک شود و سامانه بررسی ایمنی باید بتواند این تفاوت را تشخیص دهد.
پژوهشگران گزارش کردند، سامانه دفاعی آنان در آزمایش‌ها توانست برنامه‌های خطرناک و بی‌خطر را با دقت قابل‌قبولی از یکدیگر تشخیص دهد، با این حال، این نتیجه ثابت نمی‌کند که سامانه مذکور می‌تواند از تمام حملات احتمالی در کاربردهای واقعی رباتیک جلوگیری کند. پژوهش‌های آینده، نقاط ضعف دیگری ازجمله حسگرهای ربات و سامانه‌های کنترل حرکت آن را بررسی خواهند کرد.
تک نیوز گزارش کرد، این یافته‌ها چالش اساسی ماشین‌های مجهز به هوش مصنوعی را برجسته می‌کنند، تولید برنامه قابل‌قبول به معنای تضمین ایمنی آن نیست. با ورود ربات‌ها به محیط‌های روزمره، بررسی‌های مستقل ایمنی ممکن است اهمیت فزاینده‌ای پیدا کنند.
دانشمندان علوم رایانه دانشگاه بینگهمتون، یافته‌های خود را در کنفرانس بین‌المللی ربات‌ها و سامانه‌های هوشمند (IEEE/RSJ) ارائه کردند و مقاله‌های مربوط به این حمله و روش دفاعی در کنار ارائه پژوهش در کنفرانس، به‌صورت پیش‌چاپ در وب‌سایت «arXiv» منتشر شده‌اند.
انتهای پیام
