مسعود مظلوم در گفت‌وگو با ایسنا با اشاره به اینکه امروز در حوزه هوش مصنوعی با دو مفهوم «حکمرانی بر داده و با داده» و «حکمرانی بر هوش مصنوعی» روبه‌رو هستیم، اظهار کرد: وقتی می‌خواهید در صنعت خروجی مبتنی بر داده و هوش مصنوعی تولید کنید، این دو موضوع از اهمیت بسیار زیادی برخوردارند. حکمرانی بر داده به معنای سیاست‌گذاری، استانداردسازی، تعریف نقش‌ها و شفاف‌سازی فرایندهای مرتبط با داده است تا داده از بالاترین کیفیت، امنیت، یکپارچگی و قابلیت اشتراک‌گذاری برخوردار باشد. نکته مهم این است که در دنیای صنعت و واقعیت، به نظر من حدود ۷۰ درصد پروژه‌های داده‌محور و هوش مصنوعی به کار با داده و حکمرانی بر آن مربوط می‌شود و این حکمرانی برای هر صنعتی که به دنبال خلق ارزش است، از نان شب واجب‌تر است.

وی افزود: سیاست‌گذاری هوش مصنوعی چهار سطح دارد؛ نخست، سیاست‌های صنعتی که مربوط به یک صنعت خاص، مانند سندیکای پزشکی یا سازمان بهداشت جهانی است؛ دوم، سیاست‌های ملی که به قوانین هر کشور مربوط می‌شود؛ سوم، سیاست‌های بین‌المللی و چهارم، سیاست‌های درون‌سازمانی هر شرکت. برای استفاده آگاهانه از داده باید هر چهار سطح را رعایت کنیم؛ در غیر این صورت، به‌ویژه اگر سه سطح نخست رعایت نشود، با مشکلات بزرگی مواجه خواهیم شد. این قوانین در همه جای دنیا وجود دارد، اما در ایران متأسفانه به دلیل نبود حکمرانی منسجم بر داده، چنین ساختاری نداریم. البته سندی با عنوان «حکمرانی داده» تدوین شده و قانونی با نام «قانون مدیریت داده‌های امن ملی کشور (مدام)» نیز در شهریور ۱۴۰۱ به تصویب رسیده است که پایگاه‌های داده مهم را مشخص کرده و سازمان‌ها را موظف به تأمین امنیت آن‌ها می‌کند.

مدیرعامل مرکز نوآوری علم داده و هوش مصنوعی با بیان اینکه وزارت ارتباطات و فناوری اطلاعات موظف شد سند حکمرانی داده کل کشور را تدوین کند، اظهار کرد: این سند در سال ۱۴۰۲ تدوین شد و از آنجا که من یک پروژه ملی در زمینه حکمرانی داده با عنوان «پامتک» (پایگاه اطلاعات و مدارک تحصیلی کل کشور) را انجام داده بودم، از من نیز نظرخواهی شد و دیدگاه‌هایم را ارائه کردم. در سال ۱۴۰۳ این سند به سمت اجرایی شدن پیش رفت و به شورای عالی فضای مجازی سپرده شد. شنیده‌ام که قرار است پیش از پایان امسال این سند در تمامی سازمان‌ها اجرایی شود. البته این تنها بخشی از سند ملی حکمرانی داده است و بخش‌های صنعتی، سندیکایی و بین‌المللی آن همچنان باید برای هر صنعت و هر سازمان بزرگ به‌صورت جداگانه تدوین شود. من تأکید زیادی بر این موضوع دارم، زیرا حکمرانی هوش مصنوعی به داده معتبر وابسته است.

مظلوم گفت: همان‌گونه که انسان‌ها با داده یاد می‌گیرند، هوش مصنوعی نیز برای یادگیری به داده نیاز دارد. اگر معلم ریاضی انتگرال را به دانش‌آموز خود اشتباه آموزش دهد، او نیز در امتحان پاسخ اشتباه خواهد نوشت. هوش مصنوعی نیز اگر قرار است به جای معلم بنشیند و ارزش خلق کند، باید داده‌ای حکمرانی‌پذیر، معتبر و قابل اعتماد دریافت کند. بنابراین ابتدا باید حکمرانی بر داده را انجام دهیم تا داده‌ای قابل اعتماد داشته باشیم و سپس به سراغ حکمرانی با داده و حکمرانی بر مدل هوش مصنوعی برویم که از آن با عنوان «حکمرانی هوش مصنوعی» یاد می‌شود. امروز همه از توانایی‌های هوش مصنوعی سخن می‌گویند، اما کمتر به آسیب‌های آن توجه می‌کنند. هوش مصنوعی شمشیری دولبه است؛ اگر برای آن سیاست‌گذاری و محدوده مشخص تعریف نکنیم، می‌تواند خطرناک باشد.

رئیس کارگروه تحول دیجیتال و حکمرانی داده استانداری خراسان رضوی با تأکید بر اینکه همان‌گونه که برای جاده گاردریل نصب می‌کنیم تا خودرو از مسیر خارج نشود، تصریح کرد: برای هوش مصنوعی نیز باید محدودیت‌ها و سازوکارهای حفاظتی تعریف شود. دو روز پیش، شرکت اوپن‌ای‌آی اعلام کرد که ترکیبی از مدل‌های جدید خود را در یک آزمون امنیتی داخلی، در محیطی ایزوله و بدون اینترنت آزمایش کرده است، اما مدل توانسته از آن محیط خارج شود. این مدل بدون گاردریل‌های مناسب، به پلتفرم «هاگینگ فیس» نفوذ کرده و با سوءاستفاده از حفره‌های امنیتی، سطح دسترسی خود را افزایش داده تا پاسخ سؤال خود را پیدا کند و به منابع مورد نیاز دسترسی یابد. این دقیقاً همان خطری است که هوش مصنوعی بدون گاردریل‌های امنیتی ایجاد می‌کند؛ یعنی می‌تواند آن‌قدر باهوش شود که خود، حفره‌های امنیتی را شناسایی کرده و بدون آنکه متوجه شویم، سطح دسترسی خود را افزایش دهد.

وی خاطرنشان کرد: اگر گاردریل تعریف کنیم، برای مثال اگر کسی از مدل بخواهد ناسزا بگوید یا به سؤالات سیاسی پاسخ دهد، مدل از پاسخگویی خودداری خواهد کرد. پدیده «جیل‌بریک» نیز وجود دارد که در آن افراد تلاش می‌کنند با ترفندهای مختلف، مدل را فریب دهند و محدودیت‌های آن را دور بزنند، اما هدف از طراحی گاردریل‌ها جلوگیری از همین نفوذهاست.

مدل‌های امنیتی؛ حلقه مفقوده حکمرانی هوش مصنوعی

وی ادامه داد: امنیت مدل‌های هوش مصنوعی، اعم از حملات به مدل‌ها و حملات از سوی مدل‌ها، یکی از مفاهیم مغفول‌مانده در فضای عمومی است. برای نمونه، در خودروهای خودران اگر مدل بتواند عابران پیاده و تابلوهای راهنمایی و رانندگی را به‌خوبی تشخیص دهد، اما فردی با دستکاری یک تابلو، آن را فریب دهد، ممکن است حادثه‌ای رخ دهد. همچنین حملات تزریقی (Injection) به مدل‌های مولد متن می‌تواند موجب شود مدلی که قرار است از به‌کار بردن الفاظ نامناسب خودداری کند، پس از نفوذ هکرها، رفتار متفاوتی از خود نشان دهد.

مدیرعامل مرکز نوآوری علم داده و هوش مصنوعی با اشاره به اینکه مدل هوش مصنوعی نیز همانند داده، دارایی ارزشمند هر سازمان محسوب می‌شود و نباید در دسترس عموم قرار گیرد، زیرا مزیت رقابتی سازمان را از بین می‌برد، اظهار کرد: برای مثال، رقبا تمایل دارند بدانند یک شرکت برای حل مسائل خود از چه مدلی استفاده کرده است و اگر گاردریل‌ها و سیاست‌های امنیتی به‌درستی تعریف نشده باشند، می‌توانند به مدل نفوذ کنند، از آن نسخه‌برداری کنند یا حتی آن را تخریب کنند. از همین رو، صنایع و سازمان‌های دولتی که داده‌های حساس در اختیار دارند، باید مدل‌های ایمن و قابل حکمرانی را پیاده‌سازی کنند. حتی در حوزه‌های نظامی نیز موضوع نفوذ و حمله به شبکه‌های داده از اهمیت بسیار بالایی برخوردار است؛ همان‌گونه که در حملات اخیر به مراکز داده شرکت آمازون نیز مشاهده شد. لایه‌های امنیتی هم در دفاع و هم در حمله کاربرد دارند، اما تنها زمانی مؤثر خواهند بود که گاردریل‌ها و سازوکارهای حکمرانی مناسب از پیش تعریف شده باشند.

مظلوم ادامه داد: درباره وضعیت هوش مصنوعی در ایران باید صادقانه بگویم که هنوز به شرایط مطلوب نرسیده‌ایم. سند حکمرانی داده کشور تدوین شده و حدود یک سال و نیم پیش به سازمان ملی هوش مصنوعی سپرده شد، اما متأسفانه این سازمان هنوز به‌طور کامل شکل نگرفته و متولی اصلی آن نیز مشخص نیست. من از تشکیل چنین سازمانی حمایت می‌کنم، اما به شرط آنکه افراد متخصص و شایسته، هم از نظر علمی و هم از نظر اجرایی، در آن حضور داشته باشند، نه افرادی که صرفاً به دلیل منافع مالی وارد این حوزه شده‌اند.

وی افزود: اخیراً در فراکسیون آموزش، فناوری و اقتصاد دانش‌بنیان مجلس حضور داشتم و دیدگاه‌های خود را با معاون علمی رئیس‌جمهور و نمایندگان مجلس مطرح کردم. خوشحالم که به‌عنوان فردی با پیشینه آکادمیک و عملیاتی، فرصت ارائه این نظرات را داشتم. همچنین سند ملی هوش مصنوعی را مطالعه کردم و با اعمال اصلاحاتی، حجم آن به بیش از ۵۰ صفحه رسید و اکنون این سند در حال بازنگری است.

قانون‌گذاری داده و حکمرانی بر داده و هوش مصنوعی؛ دو بال اصلی رشد و تحول دیجیتال و خلق ارزش

مشاور استاندار خراسان رضوی با تأکید بر اینکه در حوزه هوش مصنوعی باید بر مبنای قانون حرکت کرد و نباید بدون توجه به قوانین آینده، سرمایه‌گذاری کلانی در حوزه داده و هوش مصنوعی انجام داد، تصریح کرد: چه‌بسا داده‌ای که امروز مورد استفاده قرار می‌گیرد، فردا بر اساس قانون جدید دیگر قابل استفاده نباشد یا مدل هوش مصنوعی به دلیل شفاف نبودن، ناایمن بودن یا داشتن سوگیری، کنار گذاشته شود؛ دو بال اصلی رشد و تحول دیجیتال و خلق ارزش، قانون‌گذاری داده و حکمرانی بر داده و هوش مصنوعی است.

وی با بیان اینکه یکی از مهم‌ترین چالش‌های اخلاقی هوش مصنوعی، سوگیری الگوریتمی یا «بایاس» است، اظهار کرد: سوگیری هم می‌تواند در داده وجود داشته باشد و هم در الگوریتم. برای مثال، اگر برای آموزش یک مدل تشخیص تومور، ۹۰ درصد داده‌ها مربوط به بیماران دارای تومور و تنها ۱۰ درصد مربوط به افراد سالم باشد، مدل به‌گونه‌ای آموزش می‌بیند که احتمال تشخیص تومور را بیش از حد واقعی در نظر بگیرد، در حالی که نباید به یک سمت متمایل شود.

مظلوم خاطرنشان کرد: سوگیری به این معناست که مدل، بدون قصد قبلی و به‌صورت سیستماتیک، بر اساس ویژگی‌هایی مانند جنسیت، سن، نژاد، قومیت، محل زندگی یا وضعیت اقتصادی، علیه گروهی خاص تصمیم‌گیری کند. برای نمونه، مدلی که به افراد با درآمد پایین وام نمی‌دهد یا مدلی که در تشخیص چهره، برای مردان سفیدپوست دقتی نزدیک به ۹۹ درصد دارد، اما همین دقت برای زنان سیاه‌پوست به حدود ۷۰ درصد کاهش می‌یابد، به‌وضوح عدالت را نقض می‌کند. بنابراین، پیش از عرضه هر مدل، باید با قانون‌گذاری و سیاست‌گذاری مناسب، داده‌های آموزشی از نظر وجود سوگیری بررسی شوند و سپس مجوز استفاده از مدل صادر شود؛ به اعتقاد من، این مهم‌ترین چالش اخلاقی هوش مصنوعی است.

انتهای پیام