مدل‌های هوش مصنوعی به‌روز شده اپل در تست‌های خود شرکت عملکرد ضعیف‌تری نسبت به رقبا نشان می‌دهند

شرکت اپل به‌روزرسانی‌هایی را برای مدل‌های هوش مصنوعی که زیربنای مجموعه ویژگی‌های اپل اینتلیجنس (Apple Intelligence) در سیستم‌عامل‌های iOS، macOS و دیگر محصولات آن هستند، اعلام کرده است. اما طبق بنچ‌مارک‌ها یا معیارهای عملکرد خود این شرکت، این مدل‌ها نسبت به مدل‌های قدیمی‌تر شرکت‌های رقیب از جمله OpenAI، عملکرد ضعیف‌تری دارند.

اپل روز دوشنبه در یک پست وبلاگی اعلام کرد که آزمایش‌کنندگان انسانی، کیفیت متن تولید شده توسط جدیدترین مدل خود با نام «اپل آن-دیوایس» (Apple On-Device) - که به صورت آفلاین روی محصولاتی مانند آیفون اجرا می‌شود - را «قابل مقایسه» با، اما نه بهتر از، متن تولید شده توسط مدل‌های با اندازه مشابه از گوگل و علی‌بابا ارزیابی کرده‌اند. در همین حال، همان آزمایش‌کنندگان، مدل جدید و قدرتمندتر اپل با نام «اپل سرور» (Apple Server) که برای اجرا در دیتاسنترهای این شرکت طراحی شده است، را نسبت به مدل GPT-4o شرکت OpenAI که یک سال قدمت دارد، عقب‌تر ارزیابی کردند.

به گفته اپل، در یک تست جداگانه که توانایی مدل‌های اپل در تحلیل تصاویر را ارزیابی می‌کرد، ارزیاب‌های انسانی مدل Llama 4 Scout شرکت متا را به مدل اپل سرور ترجیح دادند. این موضوع تا حدودی شگفت‌آور است؛ چرا که مدل Llama 4 Scout در تعدادی از تست‌ها عملکردی ضعیف‌تر از مدل‌های پیشرو از آزمایشگاه‌های هوش مصنوعی مانند گوگل، Anthropic و OpenAI دارد.

نتایج بنچ‌مارک‌ها به گزارش‌هایی که نشان می‌دهند بخش تحقیقات هوش مصنوعی اپل برای رسیدن به رقبا در رقابت شدید این حوزه با چالش مواجه بوده، اعتبار می‌بخشد. قابلیت‌های هوش مصنوعی اپل در سال‌های اخیر مایوس‌کننده بوده است و ارتقای وعده داده شده برای سیری به طور نامحدود به تعویق افتاده است. برخی مشتریان از اپل شکایت کرده‌اند و این شرکت را متهم کرده‌اند که ویژگی‌های هوش مصنوعی برای محصولاتش را که هنوز ارائه نکرده، بازاریابی کرده است.

علاوه بر تولید متن، مدل اپل آن-دیوایس که تقریباً ۳ میلیارد پارامتر (parameters) اندازه دارد، قابلیت‌هایی مانند خلاصه‌سازی و تحلیل متن را نیز پشتیبانی می‌کند. (پارامترها تقریباً با مهارت‌های حل مسئله یک مدل مطابقت دارند و مدل‌هایی با پارامتر بیشتر عموماً بهتر از مدل‌های با پارامتر کمتر عمل می‌کنند.) از روز دوشنبه، توسعه‌دهندگان شخص ثالث می‌توانند از طریق فریم‌ورک Foundation Models اپل به این مدل دسترسی داشته باشند.

اپل می‌گوید هر دو مدل اپل آن-دیوایس و اپل سرور در مقایسه با نسخه‌های قبلی خود از قابلیت استفاده از ابزارها (tool-use) و کارایی (efficiency) بهبود یافته‌ای برخوردارند و می‌توانند حدود ۱۵ زبان را درک کنند. این امر تا حدی به دلیل مجموعه داده آموزشی (training dataset) گسترش یافته‌ای است که شامل داده‌های تصویری، فایل‌های PDF، اسناد، دست‌نوشته‌ها، اینفوگرافیک‌ها، جداول و نمودارها می‌شود.