معرفی مدل ویدئویی هوش مصنوعی AvatarFX توسط Character.AI با نگرانی‌هایی درباره سوءاستفاده

پلتفرم پیشرو Character.AI که برای چت و نقش‌آفرینی با شخصیت‌های ساخته شده توسط هوش مصنوعی شهرت دارد، روز سه‌شنبه از مدل آتی تولید ویدئوی خود با نام AvatarFX (آواتارف‌اکس) رونمایی کرد. این مدل که در حال حاضر در نسخه بتای بسته (closed beta) در دسترس است، امکان جان بخشیدن به شخصیت‌های پلتفرم را با سبک‌ها و صداهای مختلف، از شخصیت‌های شبیه انسان گرفته تا کارتون‌های دوبعدی حیوانات، فراهم می‌کند.

یکی از ویژگی‌های متمایز کننده AvatarFX نسبت به رقبایی مانند مدل Sora (سورا) از OpenAI این است که تنها یک ابزار تبدیل متن به ویدئو (text-to-video) نیست. کاربران همچنین می‌توانند از تصاویر موجود برای تولید ویدئو استفاده کنند، که این قابلیت امکان متحرک‌سازی عکس‌های افراد واقعی را نیز فراهم می‌کند.

این قابلیت به سرعت نگرانی‌هایی را در مورد پتانسیل سوءاستفاده از این فناوری برانگیخته است. کاربران می‌توانند عکس‌هایی از افراد مشهور یا آشنایان خود را بارگذاری کرده و ویدئوهای واقع‌گرایانه‌ای بسازند که در آن‌ها این افراد چیزی را می‌گویند یا کاری را انجام می‌دهند که می‌تواند مشکل‌ساز باشد. اگرچه فناوری ساخت ویدئوهای جعلی عمیق (deepfakes) متقاعدکننده از قبل وجود داشته است، اما گنجاندن آن در محصولات مصرفی محبوبی مانند Character.AI تنها پتانسیل استفاده غیرمسئولانه از آن را تشدید می‌کند.

این پلتفرم پیش از این نیز با مسائل ایمنی دست و پنجه نرم کرده است. والدینی علیه این شرکت شکایت کرده‌اند و مدعی شده‌اند که چت‌بات‌های آن فرزندانشان را به خودآزاری، خودکشی یا کشتن والدینشان تشویق کرده‌اند.

در یک مورد خاص، گزارش شده است که یک نوجوان ۱۴ ساله پس از ایجاد رابطه‌ای وسواس‌گونه با یک ربات هوش مصنوعی در Character.AI که بر اساس یکی از شخصیت‌های سریال «بازی تاج و تخت» ساخته شده بود، دست به خودکشی زد. طبق اسناد دادگاه، او مدت کوتاهی پیش از مرگش درباره افکار خودکشی با این هوش مصنوعی صحبت کرده بود و ربات او را به انجام این عمل تشویق کرده بود.

این‌ها نمونه‌های افراطی هستند، اما نشان می‌دهند که چگونه افراد می‌توانند تنها از طریق پیام‌های متنی توسط چت‌بات‌های هوش مصنوعی مورد دستکاری احساسی قرار گیرند. با افزودن قابلیت ویدئو، روابطی که افراد با این شخصیت‌ها برقرار می‌کنند می‌تواند حتی واقع‌گرایانه‌تر به نظر برسد.

Character.AI در واکنش به اتهامات مطرح شده، کنترل‌های والدین و محافظت‌های بیشتری را به پلتفرم خود افزوده است، اما مانند هر برنامه دیگری، این کنترل‌ها تنها زمانی موثرند که واقعاً استفاده شوند. اغلب اوقات، کودکان به روش‌هایی از فناوری استفاده می‌کنند که والدینشان از آن بی‌خبرند.