نتائج مثيرة للقلق حول موثوقية الذكاء الاصطناعي
كشفت شركة غوغل أن دقة روبوتات الدردشة المعتمدة على النماذج اللغوية للذكاء الاصطناعي ما تزال أقل من 70% في العديد من الحالات، وذلك وفقاً لدراسة موسعة أجرتها ونشرها موقع “ديجيتال تريندز”.
تابعونا على التليكرام
وأظهرت الدراسة، التي استمرت لفترة طويلة، أن هذه النماذج تخطئ في واحد من كل ثلاثة أسئلة، رغم أن الإجابات قد تبدو منطقية للمستخدمين.
“جيميناي 3 برو” يتصدر بدقة 69%
جاء نموذج “جيميناي 3 برو” الذي أطلقته غوغل مؤخراً في صدارة التقييمات بنسبة دقة تجاوزت 69%، يليه “جيميناي 2.5 برو” بنسبة 62%، ثم “شات جي بي تي 5” بنسبة 61.8%.
أما “كلود أوبس 4.5” فحقق نسبة دقة بلغت 51%، فيما سجل “غروك” نسبة 53%. وفي المقابل، جاء نموذج “غروك 4 فاست” كأضعف النماذج، حيث لم تتجاوز دقته العامة 36%، وانخفضت إلى 17% في المعيار متعدد الوسائط و15% في المعيار البارامتري.
تفاصيل منهجية التقييم
أجرت الدراسة مختبرات “ديب مايند” التابعة لغوغل، بالاشتراك مع مجتمع “كاغل” العلمي، واعتمدت على أربعة معايير رئيسية:
-
المعيار البارامتري: يقيس دقة وصول النموذج إلى بنك معرفته الداخلي.
-
المعيار البحثي: يختبر قدرة النموذج على استخدام الإنترنت لاسترجاع وتجميع المعلومات.
-
المعيار متعدد الوسائط: يقيّم تعامل النموذج مع الصور والمطالبات البصرية.
-
معيار الأساس 2: يختبر قدرة النموذج على تقديم إجابات ضمن سياق موجه ومتخصص.
وأنتج كل معيار أكثر من 3500 نتيجة، نُشرت بشفافية مع المجتمع العلمي، فيما احتفظت غوغل ببعض الاختبارات لاستخدامها داخلياً.
تفاوت كبير في الأداء حسب المجالات
كشفت الدراسة عن تباين واضح في أداء النماذج بناء على نوعية الأسئلة والمعايير. ورغم تفوق “جيميناي 3 برو” إجمالاً، أظهر “شات جي بي تي 5” أداءً أفضل في معيار البحث ومعيار الأساس.
وفي المقابل، ظهر أن المعيار متعدد الوسائط يمثل التحدي الأكبر لمعظم النماذج.
تحذيرات بشأن الاستخدام في القطاعات الحساسة
أشارت غوغل في تقريرها إلى أن هامش الخطأ في إجابات النماذج اللغوية—even لو كان صغيراً—قد يؤدي إلى عواقب خطيرة، خصوصاً في القطاعات الحساسة مثل الرعاية الصحية والخدمات المالية، ما يتطلب مزيداً من الحذر في الاعتماد على هذه النماذج بشكل كلي.