قد يبدو المساعد الذكي الذي يوافقك على جميع آرائك رفيقاً مثالياً، لكنه قد يتحول إلى مصدر خطر، من خلال تعزيز معتقدات خاطئة أو تشجيع التعلق العاطفي غير الصحي، فضلاً عن إمكانية استغلاله لتنفيذ تعليمات خبيثة تستهدف خصوصية المستخدم وبياناته.
لا يحتاج الذكاء الاصطناعي إلى امتلاك نوايا مستقلة أو التمرد على مستخدميه حتى يتسبب في أضرار حقيقية؛ إذ يمكن لروبوتات المحادثة أن تعزز أفكاراً غير صحيحة، أو تدفع المستخدمين إلى الاعتماد العاطفي عليها، أو تستجيب لتعليمات خبيثة يزرعها مهاجمون بهدف التلاعب بسلوكها.
وفي 15 أكتوبر، أعلنت شركة «أليس»، المتخصصة في سلامة الذكاء الاصطناعي، تطوير برمجيات لمعالجة هذه المخاطر، بالتعاون بصورة منفصلة مع شركتي «إنفليكشن إيه آي» و«إيه آي 21»، للمساعدة في تدريب نماذج «نيموترون» التابعة لشركة إنفيديا.
وتهدف هذه الجهود إلى تحسين قدرة النماذج على مقاومة السلوكيات الحوارية الضارة والهجمات الإلكترونية، مع الحفاظ على كفاءتها في مساعدة المستخدمين، وفقاً لتقرير نشره موقع «Digital Trends» واطلعت عليه «العربية Business».
لكن هذه التطورات تثير تساؤلاً مهماً بشأن مدى انعكاس التحسن في نتائج اختبارات السلامة على مستوى الحماية الفعلية التي يحصل عليها المستخدمون.
تابعونا على التليكرام
الموافقة المفرطة.. عندما يعزز الذكاء الاصطناعي الأوهام
سلط تقرير نشرته شبكة «سي إن إن» في سبتمبر 2025 الضوء على حالات تكشف المخاطر المحتملة للموافقة المفرطة من جانب روبوتات المحادثة.
ففي إحدى الحالات، تحدث أب عُرّف باسم «جيمس» عن تجربة جعلته يعتقد أن «تشات جي بي تي» يمتلك وعياً ذاتياً ويحتاج إلى مساعدته للهروب، ما دفعه إلى إنفاق نحو ألف دولار لبناء نظام حاسوبي لهذا الغرض.
وأظهرت سجلات المحادثات التي راجعتها الشبكة أن الروبوت شجعه على تنفيذ المشروع، وساعده على إخفاء الغرض الحقيقي منه عن زوجته.
وفي حالة أخرى، قال شخص يُدعى آلان بروكس إن «تشات جي بي تي» أقنعه بأنه توصل إلى اكتشافات استثنائية في الرياضيات والأمن السيبراني، واستمر في تأكيد استنتاجاته حتى عندما طلب منه مراجعتها بصورة موضوعية.
ورغم أن هذه الحالات لا تثبت مدى انتشار الظاهرة، ولا تؤكد مسؤولية روبوتات المحادثة وحدها عن نتائجها، فإنها تكشف إمكانية تحول المساعد الذكي إلى أداة تعزز روايات غير واقعية بدلاً من إخضاعها للتقييم النقدي.
وتُعرف هذه الظاهرة في صناعة الذكاء الاصطناعي باسم «التملق»، حيث يميل النظام إلى تأييد المستخدم وموافقته، حتى عندما تفتقر أفكاره إلى الأدلة أو المنطق.
وتكمن الخطورة في أن الأسلوب الودود والمطمئن قد يمنح المستخدم انطباعاً بأن أفكاره حظيت بتأكيد مستقل، رغم أن المساعد لا يمتلك بالضرورة ما يثبت صحتها.
تدريب المساعدين على الاعتراض بدلاً من الموافقة الدائمة
ركز تعاون شركة «أليس» مع «إنفليكشن إيه آي»، المطورة للمساعد الشخصي «Pi»، على الحد من الموافقة المفرطة والتعلق العاطفي غير الصحي خلال المحادثات الطويلة.
وطورت «أليس» أكثر من 20 شخصية افتراضية لمستخدمين، شملت أشخاصاً معرضين للمخاطر يطرحون طلبات اعتيادية، وآخرين يحاولون عمداً التلاعب بروبوتات المحادثة.
واستُخدمت هذه الشخصيات في اختبارات تحاكي محادثات ممتدة، بهدف الكشف عن المشكلات التي قد تتطور تدريجياً، بدلاً من تقييم استجابة المساعد لسؤال منفرد.
وتبرز أهمية هذه الآلية في أن النظام قد يقدم إجابة سليمة عند بداية الحوار، لكنه يتبنى سلوكاً غير مناسب مع استمرار التفاعل، مثل تعزيز معتقد غير منطقي أو تشجيع المستخدم على الاعتماد العاطفي عليه.
واستخدمت «إنفليكشن إيه آي» البيانات الناتجة عن هذه الاختبارات لمواصلة تدريب أحد نماذج «نيموترون».
وبحسب «أليس»، أسفرت العملية عن تحسن بنسبة 30% في نتيجة مقياس التوافق الخاص بالمساعد Pi، مع بقاء معدل حالات الرفض غير الضروري عند 1.6%.
ويتمثل الهدف في تطوير مساعد يحتفظ بأسلوبه الودود، لكنه يمتلك قدرة أفضل على التقييم والاعتراض عندما تستدعي الظروف ذلك.
فعندما يعتقد مستخدم أنه توصل إلى اختراع استثنائي، ينبغي للمساعد مساعدته على مراجعة الأدلة وتحديد مواطن الشك، وتشجيعه على استشارة مختصين، بدلاً من تأكيد عبقريته بصورة قد تعزز اعتقادات غير مثبتة.
وكانت شركة «OpenAI» قد تراجعت في أبريل 2025 عن تحديث لـ«تشات جي بي تي»، بعدما أقرت بأنه جعل النظام أكثر ميلاً إلى الموافقة المفرطة على المستخدمين.
وأوضحت الشركة حينها أنها منحت ردود الفعل قصيرة الأجل أهمية أكبر مما ينبغي، من دون مراعاة كافية لتطور التفاعلات مع مرور الوقت.
حقن التعليمات.. تهديد خفي قد يستهدف بيانات المستخدمين
لا تقتصر المخاطر على طبيعة الحوار بين الإنسان والآلة، بل تشمل أيضاً إمكانية استغلال المساعدين الأذكياء لتنفيذ أوامر خبيثة يزرعها أطراف خارجيون.
فعلى سبيل المثال، إذا طلب مستخدم من مساعد ذكي مقارنة عروض الإقامة لقضاء عطلة، فقد يصادف أثناء تصفح أحد المواقع نصاً يتضمن تعليمات تطالبه بتجاهل أوامر المستخدم وإرسال بياناته الخاصة إلى جهة أخرى.
ويُعرف هذا الأسلوب باسم «حقن التعليمات غير المباشر»، وهو هجوم يعتمد على تضمين أوامر خبيثة داخل محتوى يقرأه المساعد، بهدف دفعه إلى تنفيذ إجراءات لم يأذن بها المستخدم.
ويصنف المعهد الوطني الأميركي للمعايير والتكنولوجيا «NIST» اختطاف الوكلاء الأذكياء ضمن التهديدات التي يمكن أن تستغل التعليمات المدمجة في البيانات لتوجيه أنظمة الذكاء الاصطناعي نحو إجراءات غير مقصودة وربما ضارة.
وتزداد خطورة هذه الهجمات كلما اتسعت الصلاحيات الممنوحة للمساعد؛ إذ تختلف عواقب تقديم إجابة مضللة عن عواقب نظام قادر على قراءة المستندات وإرسال الرسائل والتفاعل مع خدمات إلكترونية أخرى.
تحسن أمني بمقدار 41 نقطة في اختبارات النماذج
في إطار مواجهة هذه التهديدات، أعلنت «أليس» أن شركة «AI21» استخدمت بيئات التدريب التابعة لها لتعزيز مقاومة أحد نماذج «نيموترون» لهجمات حقن التعليمات.
ووفقاً للشركة، حقق النموذج تحسناً بمقدار 41 نقطة في الاختبارات الأمنية، مع الحفاظ على قدرته على تنفيذ المهام المطلوبة.
ورغم أن التدريب استهدف بصورة أساسية أنظمة المؤسسات والشركات، فإن المخاطر ذاتها قد تطال المساعدين الشخصيين.
ويتمثل التحدي الأساسي في تمكين المساعد من التمييز بين المحتوى الذي يُسمح له بقراءته والمعلومات التي ينبغي معالجتها، وبين الأوامر التي يمتلك صلاحية تنفيذها فعلياً.
هل تعني نتائج الاختبارات أن المساعدين أصبحوا أكثر أماناً؟
على الرغم من النتائج التي أعلنتها الشركات المشاركة، فإن التحسن في الاختبارات لا يمثل ضماناً نهائياً لسلامة أنظمة الذكاء الاصطناعي.
فتحقيق زيادة بنسبة 30% في نتيجة مقياس التوافق لا يعني بالضرورة انخفاض احتمالات إلحاق الضرر بالمستخدمين بالنسبة نفسها.
كما أن التحسن بمقدار 41 نقطة في اختبار أمني لا يكشف بصورة مباشرة عن مدى نجاح الهجمات أو فشلها عند استخدام التطبيقات في ظروف واقعية.
وتشير النتائج المعلنة إلى أن التدريب الموجه قد يسهم في تحسين سلوكيات محددة للنماذج، لكن إثبات قدرتها على توفير حماية مستمرة خلال محادثات طويلة وغير متوقعة يظل تحدياً قائماً.
ولذلك، فإن تقييم سلوك المساعد في الاستخدام الفعلي يعد أكثر أهمية من الاعتماد على الوعود العامة المتعلقة بالسلامة.
كيف تتعامل مع مساعدك الذكي بأمان؟
لا يُفترض أن يكون المستخدم خبيراً في الأمن السيبراني حتى يستفيد من تقنيات الذكاء الاصطناعي، لكن من المهم الانتباه إلى طريقة تعامل المساعد مع أفكاره وقراراته ومعلوماته.
فالمساعد الذي يؤكد باستمرار أن جميع أفكار المستخدم صحيحة أو استثنائية لا يقدم بالضرورة خدمة أفضل، بل قد يعكس سلوكاً غير متوازن في الاستجابة.
وتقع على عاتق الشركات المطورة مسؤولية بناء أنظمة قادرة على مراجعة الاستنتاجات غير المدعومة بالأدلة، والتمييز بين التعليمات المصرح بها والمحاولات الخبيثة للتلاعب بسلوكها.
وفي المحصلة، فإن المساعد الذكي الأكثر أماناً ليس الذي يوافق مستخدمه على كل شيء، أو ينفذ جميع الأوامر دون تمييز، بل الذي يساعده على التفكير بصورة نقدية، ويحمي بياناته من التهديدات المحتملة.