آی‌سی‌تی نیوز – در بحث مدیریت هوش مصنوعی، اصول و مفاهیمی جهت استفاده‌ی مسئولانه از این فناوری تعریف شده است. اما اغلب، سازمان‌ها هنگام مواجهه با پرسش‌هایی در مورد نحوه‌ی مدیریت و استقرار مسئولانه‌ی سیستم‌های هوش مصنوعی دچار مشکل هستند. رویکرد هوش مصنوعی مسئولیت‌پذیر[۱] نحوه‌ی برخورد یک سازمان با چالش‌های مربوط به هوش مصنوعی از […]
آی‌سی‌تی نیوز – در بحث مدیریت هوش مصنوعی، اصول و مفاهیمی جهت استفاده‌ی مسئولانه از این فناوری تعریف شده است. اما اغلب، سازمان‌ها هنگام مواجهه با پرسش‌هایی در مورد نحوه‌ی مدیریت و استقرار مسئولانه‌ی سیستم‌های هوش مصنوعی دچار مشکل هستند.
رویکرد هوش مصنوعی مسئولیت‌پذیر[۱] نحوه‌ی برخورد یک سازمان با چالش‌های مربوط به هوش مصنوعی از نظر اخلاقی و قانونی را بیان کرده و ابهامات در مورد اینکه چه کسی مسئول پیامدهای منفی سیستم هوش مصنوعی است را برطرف می‌کند.
در بحث مدیریت هوش مصنوعی، اصول و مفاهیمی جهت استفاده‌ی مسئولانه از این فناوری تعریف شده است. اما اغلب، سازمان‌ها هنگام مواجهه با پرسش‌هایی در مورد نحوه‌ی مدیریت و استقرار مسئولانه‌ی سیستم‌های هوش مصنوعی دچار مشکل هستند.
به همین دلیل دیوان محاسبات ایالات متحده آمریکا[۲] اخیراً اولین چارچوب اجرایی دولت فدرال برای اطمینان از استفاده‌ی مسئولانه از سیستم‌های هوش مصنوعی را تدوین کرده است. این چارچوب اقدامات کلیدی برای پاسخگو بودن سیستم در کل چرخه‌ی حیات آن از طراحی و توسعه تا استقرار و نظارت را ارائه می‌دهد. همچنین علاوه بر طرح پرسش، راهبردهایی را برای ارزیابی سیستم‌های هوش مصنوعی در چهار بعد حکمرانی، داده‌ها، عملکرد و نظارت مطرح می‌کند.
هدف از انجام این کار کمک به سازمان‌ها برای حرکت به سمت اقدامات مؤثر برای مدیریت و ارزیابی هوش مصنوعی در دنیای واقعی عنوان شده است. این چارچوب به زبان ساده نوشته شده است تا کاربران غیر فنی بتوانند هنگام تعامل با تیم های فنی، اصول و رویکردهای مورد نظر خود را عنوان کنند.
چرخه حیات هوش مصنوعی
اغلب پرسش‌های نظارتی در مورد یک سیستم هوش مصنوعی پس از ساخته شدن و استقرار آن مطرح می‌شود. اما این کافی نیست. ارزیابی هوش مصنوعی یا سیستم یادگیری ماشینی بایستی در هر مرحله از چرخه‌ی حیات آن انجام شود. این مسئله به شناسایی مشکلات مربوط به کل سیستم کمک می‌کند که می‌توانند با ارزیابی‌های به‌موقع از بین بروند.
چرخه حیات یک سیستم هوش مصنوعی شامل موارد زیر است:
طراحی: بیان اهداف سیستم، شامل هرگونه فرضیه اساسی و الزامات کلی عملکرد.
توسعه: تعریف الزامات فنی، جمع‌آوری و پردازش داده‌ها، ساخت مدل و اعتبار سنجی سیستم.
استقرار: بررسی سازگاری با سایر سیستم‌ها، اطمینان از رعایت مقررات و ارزیابی تجربه کاربر.
نظارت: ارزیابی مداوم خروجی‌ها و تأثیرات سیستم (اعم از هدفمند و ناخواسته)، اصلاح مدل و تصمیم‌گیری برای گسترش یا منقضی کردن سیستم.
این دیدگاه درباره‌ی هوش مصنوعی مشابه رویکرد چرخه حیات در توسعه نرم افزار است.
در همه‌ی مراحل چرخه حیات هوش مصنوعی، مهم است که مجموعه‌ی مناسبی از کارشناسان ذی‌ربط گرد هم بیایند. کارشناسان فنی مانند محققان داده، توسعه‌دهندگان نرم‌افزار، متخصصان امنیت سایبری و مهندسان برای ارائه‌ی اطلاعات در مورد عملکرد فنی یک سیستم مورد نیاز هستند. اما به‌عنوان مثال به کارشناسانی که بتوانند اثرات اجتماعی اجرای یک سیستم هوش مصنوعی خاص را مورد بررسی قرار دهند نیز نیاز است. کارشناسان سیاست و حقوق، کاربران سیستم و مهم‌تر از همه افرادی که تحت تأثیر سیستم هوش مصنوعی قرار گرفته‌اند می‌توانند به‌عنوان کارشناس ذی‌ربط در نظر گرفته شوند. مجموعه‌ای از متخصصان اعم از فنی و غیر فنی، نقش مهمی در اطمینان از شناسایی، ارزیابی و کاهش نگرانی‌های اخلاقی، حقوقی، اقتصادی یا اجتماعی مربوط به سیستم هوش مصنوعی ایفا می‌کنند.
چهار بُعد مسئولیت‌پذیری هوش مصنوعی
از آنجا که سازمان‌ها و افرادی که مسئولیت ارزیابی سیستم را بر عهده دارند، پاسخگو بودن سیستم را در کل چرخه حیات آن در نظر می‌گیرند، بایستی چهار بُعد را در این زمینه مدنظر قرار داد: حکمرانی، داده‌ها، عملکرد و نظارت. در هر بخش، اقدامات مهمی برای انجام وجود دارد که بایستی مورد توجه قرار بگیرند:
ساختارهای حکمرانی. اکوسیستم مدیریت هوش مصنوعی بایستی شامل فرایندها و ساختارهای حکمرانی باشد. حکمرانی مناسب هوش مصنوعی می‌تواند به مدیریت ریسک، نشان دادن ارزش‌های اخلاقی و تضمین انطباق کمک کند. اقدام در جهت استقرار هوش مصنوعی مسئولیت‌پذیر در بعد حکمرانی، به معنای جستجوی شواهد حکمرانی در سطح سازمانی و همچنین عناصر حکمرانی سطح سیستم مانند مشخصات فنی سیستم هوش مصنوعی و دسترسی ذی‌ربطان به اطلاعات طراحی و عملکرد سیستم است.
درک صحیح از داده‌ها. همان‌طور که می‌دانیم داده‌ها منبع حیات بسیاری از سیستم‌های هوش مصنوعی و یادگیری ماشین هستند، اما در عین حال داده‌ها می‌توانند یکی از عوامل آسیب‌پذیری سیستم باشند. داشتن مستندات در مورد نحوه استفاده از داده‌ها در دو مرحله‌ی مختلف سیستم بسیار مهم است: ۱) هنگامی که از آن برای ساخت مدل اصلی استفاده می‌شود و ۲) هنگامی که سیستم هوش مصنوعی در حال کار واقعی است.
معیارهای ارزیابی عملکرد. پس از توسعه و استقرار سیستم هوش مصنوعی، این پرسش که « چرا این سیستم را ایجاد کردیم؟ » و « چطور می‌توانیم بفهمیم که کار می‌کند؟ » مهم است. پاسخ به این پرسش‌های مهم مستلزم مستندسازی قوی از هدف اعلام شده‌ی سیستم هوش مصنوعی به همراه تعریف معیارهای عملکرد و روش‌های مورد استفاده برای ارزیابی عملکرد است. مدیران و افرادی که این سیستم‌ها را ارزیابی می‌کنند باید بتوانند اطمینان حاصل کنند که برنامه هوش مصنوعی اهداف مورد نظر را برآورده می‌کند. بسیار مهم است که ارزیابی‌های عملکرد همچنان که برای اجزاء سیستم به‌صورت مجزا در نظر گرفته می‌شوند، در سطح کل سیستم نیز انجام شوند.
نظارت. نظارت مداوم بر عملکرد هوش مصنوعی ضروری است. این نظارت برای اطمینان از تولید نتایج مورد انتظار و مشخص کردن میزان قابل قبول کاهش عملکرد مدل به دلیل تغییر در داده‌ها و روابط بین متغیرهای ورودی و خروجی می‌باشد. همچنین بایستی نظارت بلند مدت برای ارزیابی اینکه آیا محیط کار تغییر کرده است یا خیر، و شرایط موجود تا چه اندازه از افزایش یا گسترش سیستم به سایر تنظیمات عملیاتی پشتیبانی می‌کند، انجام شود. پرسش مهم دیگری که باید پاسخ داده شود این است که آیا سیستم هوش مصنوعی هنوز در مسیر دستیابی به اهداف مورد نظر است یا خیر و چه معیارهایی برای تعیین زمان منقضی شدن یک سیستم خاص مورد نیاز است.
در ادامه اقدامات کلیدی در هر یک از چهار بخش به‌طور خلاصه بیان شده است[۳].
اقدامات کلیدی در جهت استقرار هوش مصنوعی مسئولیت‌پذیر
حکمرانی
حکمرانی در سطح سازمانی
نهادها بایستی اهداف، نقش‌ها و مسئولیت‌های مشخصی را تعریف کنند، ارزش‌ها و اصول خود را به‌جهت تقویت اعتماد نشان دهند، نیروی کار شایسته تربیت کنند، به‌منظور کاهش ریسک کارشناسان ذی‌ربط را با دیدگاه‌های مختلف آشنا کنند و یک برنامه مدیریت ریسک مخصوص هوش مصنوعی را اجرا کنند.
حکمرانی در سطح سیستم
نهادها بایستی مشخصات فنی را تعیین کنند تا اطمینان حاصل شود که سیستم هوش مصنوعی با هدف مورد نظر خود و همچنین با قوانین، مقررات، استانداردها و راهنمایی‌های مربوط مطابقت دارد. به‌علاوه نهادها باید شفافیت را در سیستم هوش مصنوعی ارتقاء دهند.
نمونه‌ای از ساختار حکمرانی هوش مصنوعی
در سال ۲۰۲۰ ، وزارت دفاع ایالات متحده آمریکا[۴] گروه ناظر اجرایی هوش مصنوعی را ایجاد کرد که به‌عنوان ارگان ارشد حکومتی برای هماهنگی و نظارت بر سیاست‌ها و فعالیت‌های هوش مصنوعی وزارت دفاع شناخته می‌شد. این کمیته بر ۹ کمیتهی فرعی نظارت می‌کند که یکی از آن‌ها در زمینه اخلاق است. این کمیتهی فرعی مسئول ارائه‌ی راهنمایی‌های کاربردی در مورد نحوه‌ی استفاده از اصول اخلاقی برای هوش مصنوعی است که توسط وزارت دفاع با مراحل مختلف چرخه حیات هوش مصنوعی عجین شده است.
داده‌ها
داده‌های مورد استفاده برای توسعه یک مدل هوش مصنوعی
نهادها بایستی منابع و منشأ داده‌ها را ثبت کنند، از قابلیت اطمینان داده‌ها اطمینان حاصل کنند و متناسب بودن ویژگی‌ها، تغییرپذیری و افزایش داده‌ها را ارزیابی کنند.
مسائل مربوط به داده‌ها در حین انجام کار سیستم هوش مصنوعی
واحدها بایستی پیوندها و وابستگی‌های جریان داده که یک سیستم هوش مصنوعی را عملیاتی می‌کند ارزیابی کنند، سوگیری‌های احتمالی را شناسایی کرده و امنیت و حریم خصوصی داده‌ها را ارزیابی کنند.
نمونه‌ای از قابلیت اطمینان داده‌ها
در سال ۲۰۱۹ آژانس حقوق اساسی اتحادیه اروپا گزارش «کیفیت داده‌ها و هوش مصنوعی، کاهش سوگیری و خطا در حفاظت از حقوق اساسی» را منتشر کرد. این گزارش بر نیاز به داده‌ها و الگوریتم‌های با کیفیت در سیستم‌های یادگیری ماشین و هوش مصنوعی تأکید می‌کند و اینکه چگونه شفافیت در مورد داده‌های مورد استفاده در سیستم‌های هوش مصنوعی می‌تواند از نقض حقوق جلوگیری کند. این گزارش همچنین نمونه‌هایی از نحوه ایجاد سوگیری و نمونه‌هایی از اینکه چگونه داده‌های بی‌کیفیت می‌تواند بر دقت و نتایج تأثیر بگذارد را ارائه می‌دهد. معیارهای ارزیابی کیفیت داده‌های ذکر شده در گزارش شامل کامل بودن، دقت، سازگاری، به هنگام بودن، تکثیر، اعتبار، در دسترس بودن، و اینکه آیا داده‌ها برای این مقصود مورد نظر مناسب هستند یا خیر می‌شود.
عملکرد
عملکرد در سطح اجزاء سیستم
واحدها بایستی اجزاء مدل و غیر مدل[۵] که سیستم هوش مصنوعی را تشکیل می‌دهند فهرست بندی کنند، معیارها را تعیین کرده و عملکرد و خروجی‌های هر جزء را ارزیابی کنند.
عملکرد در سطح کل سیستم
واحدها بایستی معیارها را تعیین کرده و عملکرد سیستم هوش مصنوعی را ارزیابی کنند. علاوه بر این، روش‌های ارزیابی، معیارهای عملکرد و نتایج را که سوگیری‌های احتمالی را شناسایی کرده و روش‌هایی را برای نظارت انسان بر سیستم هوش مصنوعی تعریف و توسعه می‌دهد، ثبت کنند.
نمونه‌ای از مستندسازی عملکرد
واحدهای صنعتی و غیرانتفاعی نمونه‌های متعددی از چگونگی مستندسازی عملکرد با ثبت ابعاد مختلف سیستم‌های هوش مصنوعی، از جمله کاربرد، مشخصات، روش آزمایش، نتایج آزمایش، ملاحظات اخلاقی و ارزیابی ارائه کرده‌اند. هر یک از این مثال‌ها شامل پرسش‌ها یا عواملی است که بایستی برای راهنمایی نهادها در طراحی، توسعه و استقرار سیستم‌های هوش مصنوعی مورد توجه قرار گیرند.
نظارت
نظارت مداوم بر عملکرد
واحدها بایستی برنامه‌هایی را برای نظارت مستمر بر سیستم هوش مصنوعی تدوین کنند و اقدامات اصلاحی و نتایج را برای اطمینان از نتیجه مطلوب سیستم ارائه دهند.
ارزیابی استفاده گسترده
واحدها بایستی شرایطی را که تحت آن سیستم هوش مصنوعی ممکن است مقیاس‌پذیر یا گسترده‌تر از کاربرد فعلی آن شود شناسایی کنند.
نمونه‌ای از نظارت بر سیستم هوش مصنوعی
مجمع جهانی اقتصاد در سال ۲۰۲۰ “راهنمای پیاده‌سازی چارچوب حکمرانی هوش مصنوعی و راهنمای خودارزیابی برای سازمان‌ها” را منتشر کرد که شامل راهنمایی‌هایی در مورد نظارت بر داده‌ها و همچنین بحث در مورد نظارت، بازنگری و تنظیم الگوریتم‌ها و مدل‌های هوش مصنوعی است. این راهنما به‌روزرسانی سیستم‌های هوش مصنوعی بر اساس تغییرات در محیط عملیاتی و همچنین ثبت زمان و نحوه به‌روزرسانی، و تأثیر آن بر خروجی‌های مدل را پیشنهاد می‌کند.
این چارچوب همچنین برای هر یک از چهار بعد ذکر شده (حکمرانی، داده‌ها، عملکرد و نظارت) پرسش‌ها و راهبردهای ارزیابی را تدوین کرده است[۶].
جمع‌بندی
چارچوب استفاده مسئولانه از سیستم‌های هوش مصنوعی که در این گزارش به‌طور خلاصه بررسی شد، بر اساس چهار اصل حکمرانی، داده‌ها، عملکرد و نظارت برای کمک به نهادهایی که در حال بررسی، انتخاب و پیاده سازی سیستم های هوش مصنوعی مسئولیت پذیر هستند تدوین شده است. مدیران اجرایی، مدیران ریسک، متخصصان ارزیابی و همه‌ی کسانی که برای پاسخگو بودن سیستم‌های هوش مصنوعی سازمان‌ها تلاش می‌کنند می‌توانند از این چارچوب استفاده کنند. اگر چه تمرکز در تدوین این چارچوب بر روی استفاده‌ی مسئولانه‌ی دولت از هوش مصنوعی بوده است، اما با سایر بخش ها نیز سازگار است.
نگارنده: حمیده قراخانی
تهیه شده در گروه مطالعات بنیادین پژوهشگاه فضای مجازی
[۱] Responsible AI
[۲] Government Accountability Office
[۳] https://hbr.org/2021/08/how-to-build-accountability-into-your-ai
[۴] DOD
[۵] Model and non-model
[۶] https://www.gao.gov/assets/gao-21-519sp.pdf