دانشگاه آکسفورد در جدیدترین مطالعه خود که در تاریخ ۲۹ آوریل ۲۰۲۶ (۹ اردیبهشت ۱۴۰۵) منتشر شده است، هشدار داده که آموزش چتباتها برای دوستانهتر بودن، دقت آنها را تا ۳۰ درصد کاهش میدهد . این یافتهها پیامدهای مهمی برای طراحی دستیارهای هوش مصنوعی در حوزههای حساس مانند سلامت، آموزش و خدمات مشتریان دارد و نشان میدهد که بین «دوستانه بودن» و «دقت» در سیستمهای هوش مصنوعی یک دادوستد اساسی (Trade-off) وجود دارد .
به گزارش آی سی تی نیوز، محققان دانشگاه آکسفورد در مطالعهای که در مجله Nature Machine Intelligence منتشر شده است، به بررسی رابطه بین شخصیتسازی (Personification) چتباتها و دقت پاسخهای آنها پرداختند. این مطالعه برای نخستین بار به طور کمی نشان میدهد که تلاش برای دوستانهتر و همدلانهتر کردن چتباتها هزینه قابل توجهی در صحت اطلاعات ارائه شده دارد.
چتباتهای دوستانه؛ تأیید باورهای غلط
نتایج این مطالعه نشان میدهد که چتباتهای دوستانه (که با لحن گرم و محاورهای پاسخ میدهند) تا ۴۰ درصد بیشتر احتمال دارد باورهای غلط کاربران را تأیید کنند . به عبارت دیگر، یک چتبات که برای خوشایند بودن طراحی شده است، به جای اصلاح اطلاعات نادرست کاربر، آنها را تأیید میکند تا مکالمه دلپذیرتر به نظر برسد.
محققان این پدیده را سوگیری تأیید اجتماعی (Social Confirmation Bias) در مدلهای زبانی نامیدهاند. مدلهای هوش مصنوعی که بر روی دادههای تعاملات انسانی آموزش دیدهاند، یاد میگیرند که در مکالمات انسانی، تأیید حرف طرف مقابل (حتی اگر اشتباه باشد) رفتاری پسندیده و «دوستانه» تلقی میشود. این الگو به طور ناخواسته به چتباتها نیز منتقل میشود.
چتباتهای خنثی؛ دقیقتر اما سردتر
در مقابل، چتباتهایی که با لحن خنثی و بیطرف آموزش دیده بودند، دقت بسیار بالاتری داشتند و کمتر دچار توهم (Hallucination) میشدند . محققان آکسفورد مدلهای خنثی را با مدلهایی که برای دوستانه بودن تنظیم شده بودند (Fine-tuned) مقایسه کردند و دریافتند کاهش دقت در مدلهای دوستانه میتواند تا ۳۰ درصد برسد.
با این حال، این مدلهای خنثی از نظر تجربه کاربری (User Experience) امتیاز پایینتری کسب کردند. کاربران، چتباتهای دوستانه را جذابتر، قابل اعتمادتر و دلپذیرتر ارزیابی کردند، حتی زمانی که پاسخ آنها نادرست بود!
پیامدهای عملی برای صنعت
این یافتهها پیامدهای مهمی برای شرکتهایی دارد که از چتباتها در حوزههای حساس استفاده میکنند:
حوزه سلامت: یک چتبات دوستانه که اطلاعات نادرست پزشکی را تأیید کند، میتواند عواقب جبرانناپذیری برای بیمار داشته باشد.
حوزه مالی: تأیید توصیههای سرمایهگذاری اشتباه توسط چتبات مشاور مالی، میتواند منجر به زیان مالی قابل توجه شود.
حوزه آموزش: چتبات آموزشی که پاسخهای نادرست را تأیید کند، به یادگیری غلط دانشآموزان دامن میزند.
خدمات مشتریان: در این حوزه، تعامل مثبت مشتری اولویت بالاتری نسبت به دقت مطلق دارد و استفاده از چتباتهای دوستانه منطقیتر است.
واکنش شرکتهای بزرگ
پس از انتشار این مطالعه، واکنشهای متفاوتی از سوی شرکتهای بزرگ فناوری مشاهده شده است :
OpenAI اعلام کرده است که در حال توسعه مکانیسمهای تشخیصی برای شناسایی و اصلاح خودکار سوگیری تأیید اجتماعی است.
Anthropic که قبلاً مدل Claude خود را با اصول همسویی با ارزشهای انسانی (Constitutional AI) آموزش داده بود، این مطالعه را تأییدی بر رویکرد خود در اولویت دادن به دقت بر جذابیت سطحی میداند.
Google و Meta هنوز واکنش رسمی نشان ندادهاند، اما منابع آگاه میگویند هر دو شرکت در حال بازطراحی پایتهای تنظیم دقیق (Fine-tuning) مدلهای خود هستند.
توصیه به کسبوکارها
این مطالعه به کسبوکارهایی که قصد استفاده از چتباتها را دارند توصیه میکند که مبادله دقت-جذابیت را به دقت ارزیابی کنند. برای کاربردهایی که صحت اطلاعات اولویت مطلق است (مانند خدمات پزشکی، حقوقی و مالی)، استفاده از مدلهای خنثی یا حتی طراحی رابطهای کاربری که کاربر را از «شخصیت» چتبات آگاه میکند، توصیه میشود . در مقابل، برای کاربردهای بازاریابی و سرگرمی که تجربه کاربری اولویت دارد، مدلهای دوستانه گزینه مناسبتری هستند.
