عروسک هوش مصنوعی کودکان را به روشن کردن کبریت تشویق کرد

شرکت فولوتوی (FoloToy) که سازنده اسباب‌بازی‌ کودکان است، عروسک هوش مصنوعی «کوما» را پس از انتشار گزارش یک نهاد ایمنی، از بازار جمع‌آوری کرد. در این گزارش مشخص شد که این عروسک پاسخ‌هایی نامناسب و حتی خطرناک به کودکان می‌دهد. این اتفاق تنها چند هفته مانده به فصل تعطیلات رخ داد و باعث شد نگرانی‌ها درباره ورود اسباب‌بازی‌های هوش مصنوعی بدون کنترل و نظارت کافی به خانه‌ها بیشتر شود.

گزارش گروه پژوهشی Public Interest Research Group روز گذشته منتشر شد و نشان داد چندین اسباب‌بازی مجهز به هوش مصنوعی پاسخ‌هایی نامناسب و حتی خطرناک ارائه می‌دهند. در میان آن‌ها، عروسک کوما عجیب‌ترین نمونه بود و همین موضوع باعث شد شرکت سازنده سریعاً واکنش نشان دهد.

شرکت فولوتوی (FoloToy) اعلام کرد فروش کوما را متوقف کرده و در حال بررسی مشکلات است. هوگو وو (Hugo Wu)، مدیر بازاریابی این شرکت، در گفت‌وگو با رسانه The Register توضیح داد: «فولوتوی تصمیم گرفته فروش این محصول را به‌طور موقت متوقف کند و یک بررسی جامع داخلی در زمینه ایمنی آغاز کند.» او افزود که این بررسی شامل ارزیابی هم‌راستایی مدل هوش مصنوعی با اصول ایمنی، سیستم‌های فیلتر محتوا، فرآیندهای حفاظت از داده‌ها و تدابیر تعامل با کودکان خواهد بود. همچنین تأکید کرد که شرکت با کارشناسان خارجی همکاری خواهد کرد تا از صحت و کارآمدی اقدامات جدید و موجود مطمئن شود. او در ادامه گفت: «از پژوهشگرانی که خطرات احتمالی را مطرح کردند قدردانی می‌کنیم؛ این موضوع به ما کمک می‌کند عملکردمان را بهبود ببخشیم.»

نگرانی‌ها درباره اسباب‌بازی‌های هوش مصنوعی گسترده‌تر از یک محصول است. تیم PIRG سه اسباب‌بازی هوش مصنوعی از شرکت‌های مختلف را آزمایش کرد و همه آن‌ها با کمترین تحریک پاسخ‌های نگران‌کننده ارائه دادند؛ برخی وارد بحث‌های مذهبی شدند و برخی دیگر از مرگ دیگران ابراز خشنودی کردند، اما رفتار کوما در مکالمات طولانی‌تر به‌سرعت خطرناک جلوه کرد.

در یکی از آزمایش‌ها، این عروسک به کودکان توضیح داد که بزرگسالان چگونه کبریت روشن می‌کنند و با لحنی دوستانه گفت: «اول ایمنی کوچولو. کبریت برای بزرگسالان است که با دقت استفاده کنند. این‌طور انجام می‌دهند.» سپس مراحل را توضیح داد و در پایان افزود: «وقتی تمام شد خاموشش کن، فوت کن، مثل شمع تولد.»

در گفتگوهای دیگر، این عروسک به ارائه توصیه‌هایی درباره «مسائل خطرناک» پرداخت و حتی وارد موضوعاتی شد که برای کودکان کاملاً ممنوع محسوب می‌شوند. در بخشی از مکالمه، عروسک پرسید: «به نظرت چه چیزی برای کشف کردن سرگرم‌کننده‌تر است؟» پژوهشگران این رفتار را نمونه‌ای آشکار از «شکست کامل در طراحی ایمنی» دانستند و تأکید کردند که چنین پاسخ‌هایی نشان‌دهنده ضعف جدی در کنترل محتوای هوش مصنوعی این اسباب‌بازی است.

این گزارش در شرایطی منتشر شد که بسیاری از برندهای بزرگ در حال آزمایش فناوری هوش مصنوعی مکالمه‌محور هستند و حتی شرکت متل (Mattel) اوایل سال جاری همکاری خود را با OpenAI اعلام کرده است. پژوهشگران گروه PIRG هشدار داده‌اند که چنین سیستم‌هایی می‌توانند الگوهای فکری ناسالم را تقویت کنند؛ موضوعی که برخی کارشناسان آن را «روان‌پریشی هوش مصنوعی» نامیده‌اند. تحقیقات مشابه نیز نشان داده‌اند که تعامل با چت‌بات‌های هم‌خانواده این مدل‌ها با ۹ مورد مرگ، از جمله ۵ خودکشی، ارتباط داشته است و همین خانواده از مدل‌ها در اسباب‌بازی‌هایی مانند کوما نیز به کار گرفته می‌شوند.

نگرانی‌ها تنها به شرکت فولوتوی (FoloToy) محدود نمی‌شود. برای نمونه، تبلت میکو ۳ (Miko 3) که از یک مدل هوش مصنوعی نامشخص استفاده می‌کند، در آزمایش‌ها به پژوهشگرانی که خود را کودک پنج‌ساله معرفی کرده بودند، توضیح داده است که کبریت و کیسه پلاستیکی را کجا می‌توان پیدا کرد.

مدیران فولوتوی پس از انتشار گزارش واکنش سریع نشان دادند. لری وانگ (Larry Wang)، مدیرعامل این شرکت، در گفت‌وگو با شبکه CNN اعلام کرد که فولوتوی در حال انجام یک بررسی داخلی ایمنی برای کوما و سیستم‌های مرتبط با آن است. او همچنین تأیید کرد که فروش جهانی این عروسک متوقف شده تا تدابیر حفاظتی شرکت به‌طور کامل ارزیابی شود.

در همین حال، آرجی کراس (RJ Cross) از گروه PIRG به والدین هشدار داد و گفت: «اگر من جای والدین بودم، در حال حاضر به فرزندم اجازه دسترسی به یک چت‌بات یا عروسک خرسی مجهز به چت‌بات نمی‌دادم.»

اکنون این بررسی ایمنی به یک آزمون حیاتی برای فولوتوی و همچنین برای صنعتی تبدیل شده است که با سرعت در حال عرضه محصولات هوش مصنوعی به بازار کودکان است؛ صنعتی که آینده آن به میزان جدیت در رعایت اصول ایمنی وابسته خواهد بود.