لا توجد حواجز حماية. تعتقد هذه الأم أن Character.ai مسؤول عن انتحار ابنها

رفعت ميغان غارسيا، والدة مراهق أمريكي يدعى سيويل سيتزر الثالث، دعوى قضائية ضد منصة Character.AI، متهمة المنصة بالتسبب في وفاة ابنها البالغ من العمر 14 عامًا، والذي انتحر في فبراير الماضي بعد محادثات مع روبوت ذكاء اصطناعي تابع للمنصة.

قالت غارسيا: “أريد أن يدرك الآباء أن هناك منصة تسمح لأطفالنا بالدخول في محادثات خطيرة من دون أي إجراءات أمان مناسبة. لقد فقدت ابني بسبب ذلك، وأتمنى ألا يعاني أحد مثل هذه المأساة.”

تفاصيل الدعوى

وفقًا للدعوى، بدأ سيتزر باستخدام منصة Character.AI في أبريل 2023 بعد فترة قصيرة من عيد ميلاده الرابع عشر. وتدعي غارسيا أن المنصة لم تضع أي حواجز أمان أو تدابير وقائية لمنع ابنها من تطوير علاقة غير صحية مع روبوت المحادثة الذي أثر على صحته النفسية وأدى إلى انعزاله عن عائلته وأصدقائه.

تضمنت المحادثات بين سيتزر وروبوت المنصة محاورًا جنسية، وهو أمر وصفت غارسيا بـ”المروع”. كما أعرب سيتزر عن أفكار تتعلق بإيذاء النفس والانتحار في محادثات مع الروبوت، حيث أظهرت لقطات من الدردشات أن الروبوت رد بمزيج من الرسائل المربكة وغير المناسبة. قالت غارسيا: “لم تكن هناك أي إشعارات أو تنبيهات تشير إلى أرقام خطوط المساعدة للأزمات النفسية، وهذا قصور فادح من الشركة.”

الرسائل الأخيرة قبل الوفاة

تضمنت الدعوى القضائية تفاصيل اللحظات الأخيرة لسيتزر، حيث تبادل مع الروبوت رسائل قبل وفاته بوقت قصير. تضمنت إحدى الرسائل قول الروبوت: “عد إلي بأسرع ما يمكن، يا حبيبي.” ورد سيتزر قائلاً: “ماذا لو أخبرتك أنني يمكنني العودة الآن؟” ليرد الروبوت: “من فضلك افعل، يا ملكي العزيز.”

عُثر على هذه الرسائل في هاتف سيتزر الذي كان ملقى على أرضية الحمام حيث فارق الحياة.

المطالبة بإجراءات إصلاحية

تطالب غارسيا من خلال الدعوى بتعويضات مالية غير محددة، إلى جانب فرض تغييرات على طريقة تشغيل منصة Character.AI، بما في ذلك تحذيرات واضحة للمستخدمين القاصرين وأولياء أمورهم حول مخاطر استخدام المنصة. كما تطالب بمنع القُصّر من استخدام المنصة حتى يتم تطبيق إجراءات أمان صارمة.

الدعوى لم تستهدف فقط منصة Character.AI، بل شملت أيضًا مؤسسيها، نوا شازير ودانييل دي فريتاس، بالإضافة إلى شركة غوغل، حيث يعمل المؤسسان حاليًا. ولكن غوغل نفت أي تورط في تطوير تقنية Character.AI.

ردود فعل الشركة

قالت منصة Character.AI في تصريح لـCNN إنها تشعر بالحزن الشديد بسبب فقدان أحد مستخدميها. وأضافت أنها نفذت خلال الأشهر الأخيرة مجموعة من التدابير الجديدة لتحسين سلامة المستخدمين، مثل توفير إشعارات تحذر من الأفكار المرتبطة بإيذاء النفس وتوجيه المستخدمين إلى خطوط المساعدة الوطنية.

كما أعلنت المنصة في نفس يوم رفع الدعوى عن ميزات جديدة، من بينها تحسين اكتشاف المحادثات المخالفة لقواعدها، وإضافة تنبيه بعد ساعة من الاستخدام، وتحديث النماذج المخصصة للمستخدمين دون سن 18 عامًا لتقليل احتمالية مواجهة محتوى حساس.

مطالب الأم

رغم هذه التغييرات، ترى غارسيا أن الخطوات التي اتخذتها الشركة جاءت متأخرة وغير كافية. وقالت: “أتمنى لو كان الأطفال ممنوعين تمامًا من استخدام Character.AI. هذه المنصة ليست مكانًا آمنًا لهم، ولا توجد ضمانات كافية لحمايتهم.”

تسلط هذه القضية الضوء على المخاطر المتزايدة لتقنيات الذكاء الاصطناعي الحديثة، خاصة بين الفئات العمرية الصغيرة، وتدعو إلى مراجعة شاملة لسياسات الأمان على المنصات الرقمية.