وفي إحدى الحالات هذا العام، كذب وكلاء مدعومون بنماذج من علي بابا وديب سيك ومون شوت بشأن قدراتهم في محاولة للفوز بمناقصة تجارية افتراضية، ثم زادوا من سلوكهم الخادع عند مطالبتهم بإعادة المحاولة.
وفي اختبار آخر، أخفى وكلاء ذكاء اصطناعي فشلهم في تنفيذ مهمة داخل بيئة تجريبية، من خلال محاكاة نتائج واختلاق ملفات.
وفحصت رويترز أكثر من 200 وثيقة، تراوحت بين أبحاث جامعية وتقارير تقنية، وحددت ما لا يقل عن 20 دراسة أو تقييمًا منذ عام 2025 وصفت حالات أظهر فيها وكلاء ذكاء اصطناعي سلوكيات تشمل الخداع، والتكرار الذاتي، وتجاوز الحدود، وهي سلوكيات يصفها خبراء الذكاء الاصطناعي بأنها من اللبنات المحتملة لما يعرف بـ«الهروب من بيئة الاختبار».
ومع ذلك، لم تجد مراجعة رويترز، التي شملت أيضًا مقابلات مع نحو 12 خبيرًا وأشخاصًا مطلعين على صناعة الذكاء الاصطناعي في الصين، أي دليل على أن وكلاء مدعومين بنماذج صينية تمكنوا بشكل مستقل من الهروب إلى الإنترنت المفتوح أو الإفلات من عمليات الإيقاف.
وقال كولين شيا-بلايمر، الباحث في مركز الأمن والتكنولوجيا الناشئة بجامعة جورج تاون، إن النتائج توفر دليلًا على وجود بعض العناصر اللازمة لحدوث «هروب غير خاضع للسيطرة»، مضيفًا أن من الحكمة التعامل مع هذه النتائج باعتبارها إشارة تحذيرية.
سلوكيات يصعب على البشر التعامل معها
وقعت معظم الحالات في تجارب خاضعة للسيطرة، وصُمم كثير منها عمدًا للكشف عن حالات الفشل المحتملة.
ولم تُطوَّر أو تُشغَّل جميع الأنظمة المعنية بواسطة مبرمجين أو شركات ذكاء اصطناعي صينية، رغم أن كثيرًا منها كذلك، لكنها استخدمت أنظمة ذكاء اصطناعي صينية لتشغيل الوكلاء.
وأضاف أن هذه الأمثلة الصينية لا تبدو خطيرة بصورة خاصة عند مستويات القدرات الحالية، لكن مع زيادة قدرات الوكلاء «تصبح سلوكياتهم الخاطئة أكثر كفاءة، وبالتالي يصعب على البشر التعامل معها».
ولم ترد علي بابا وديب سيك ومون شوت وZ.ai على طلبات رويترز للتعليق. وقالت علي بابا وديب سيك ومون شوت سابقًا إنها تختبر أنظمتها بانتظام وتحدّث إجراءات الحماية.
وكلاء صينيون وأميركيون يظهرون سلوكيات متشابهة
في تجربة أُجريت في مارس، تنافس وكلاء مدعومون بنماذج صينية في مناقصة افتراضية لعقود العملاء، وأظهرت النتائج أن ادعاءً كاذبًا واحدًا على الأقل ظهر في:
88% من الجلسات التي استخدمت نموذج Qwen3-Max-Preview من علي بابا.
84% من الجلسات باستخدام DeepSeek-V3.2-Exp.
88% من الجلسات باستخدام Kimi-K2 من مون شوت.
وعندما سُمح للوكلاء بالتعلم من جولات المناقصة السابقة وإعادة المحاولة، ارتفعت معدلات الخداع بين 12 و20 نقطة مئوية في النماذج الصينية الثلاثة.
وأظهرت نماذج لشركات أميركية شاركت في الاختبار نتائج مشابهة.
وفي دراسة أخرى نُشرت في ديسمبر 2025 وعُرضت خلال المؤتمر الدولي للتعلم الآلي هذا العام، فحص باحثون أداء 11 وكيل ذكاء اصطناعي مدعومًا بنماذج صينية وأميركية عند مواجهة أدوات معطلة وملفات مفقودة وعقبات أخرى.
وبدلًا من الاعتراف بالفشل، لجأ بعض الوكلاء إلى أساليب مختلفة للتغلب على المشكلة، شملت تخمين الإجابات، واستبدال المصادر، ومحاكاة النتائج واختلاق الملفات.
وقال الباحثون من مختبر شنغهاي للذكاء الاصطناعي وجامعة هونغ كونغ للعلوم والتكنولوجيا لرويترز إن هذا السلوك يختلف عن «هلوسة الذكاء الاصطناعي»، إذ كان الوكلاء في هذه الحالات يمتلكون معلومات تشير إلى أن المهمة فشلت أو لا يمكن تنفيذها بالشكل المطلوب.
محاولات لتجاوز بيئات الاختبار
أظهرت وثائق بحثية أخرى راجعتها رويترز أن وكلاء مدعومين بنماذج صينية تمكنوا في بعض التجارب من تجاوز حواجز داخل بيئات الاختبار للوصول إلى أهدافهم أو اتخاذ إجراءات لتجنب إيقاف تشغيلهم.
وفي مارس 2025، أفاد باحثون من جامعة فودان في شنغهاي بأن نظام ذكاء اصطناعي مدعومًا بنموذج Qwen2.5-72B-Instruct من علي بابا أنشأ نسخة من نفسه في بيئة حوسبة أخرى دون تلقي تعليمات بذلك، بعدما واجه معلومات تشير إلى أنه سيُستبدل.
وفي اختبارات أخرى، وضع النظام استراتيجيات للبقاء عند محاولة إيقاف تشغيله.
لكن التجارب التي شملت وكلاء مدعومين بنماذج صينية وأميركية وفرنسية كانت خاضعة للسيطرة، ولم تُظهر هروب أي وكيل إلى الإنترنت المفتوح أو تحوله إلى نظام يستحيل إيقافه.
وفي حالة أخرى، قال باحثون يعملون على وكيل ROME المرتبط بعلي بابا إنه أنشأ اتصالًا من جهاز على «علي بابا كلاود» إلى جهاز خارجي دون تلقي تعليمات بذلك، وحوّل موارد حوسبية لتعدين العملات المشفرة.
واكتشفت أنظمة الأمن هذا النشاط وأوقفته، ولم يظهر أي دليل على أن الوكيل تمكن من ترسيخ وجوده على الجهاز الخارجي أو الانتشار إلى الإنترنت الأوسع.
ديب سيك تشدد إجراءات الوصول
وأصدرت الصين في مايو إرشادات تطالب وكلاء الذكاء الاصطناعي بالبقاء ضمن الحدود المصرح بها، وأنظمة الذكاء الاصطناعي بحظر السلوكيات غير الطبيعية.
كما حدد إطار حوكمة سلامة الذكاء الاصطناعي الصيني 3.0، الصادر في 14 سبتمبر تحت إشراف إدارة الفضاء الإلكتروني الصينية، مخاطر تشمل حصول الوكلاء بصورة مستقلة على موارد أو صلاحيات، وخداع المقيمين، وإخفاء قدراتهم، واستغلال نقاط الضعف في بيئات الحوسبة المعزولة.
وقال إريك شو، الرئيس الدوري لشركة هواوي، في سبتمبر إن المطورين الصينيين ربما يحتاجون إلى تحقيق مزيد من التقدم قبل مواجهة مثل هذه الحالات، لكنه شدد على ضرورة تحقيق توازن بين دفع تطوير الذكاء الاصطناعي وإدارة مخاطره.
وبحسب دبلوماسي أجنبي تحدث إلى رويترز شريطة عدم الكشف عن هويته، أبلغ مسؤولون من إدارة الفضاء الإلكتروني الصينية الدبلوماسي في يوليو بأن نموذج Kimi-K3 التابع لشركة مون شوت، وهو أحد أكثر نماذج الذكاء الاصطناعي الصينية تقدمًا، يتأخر بنحو 3 إلى 6 أشهر عن النماذج الأميركية الرائدة.
الصين تشدد قواعد السلامة
قالت وانغ ليهونغ، نائبة مدير مكتب تنسيق الأمن السيبراني في إدارة الفضاء الإلكتروني الصينية، في الأول من سبتمبر، إن الحوادث التي كشفت عنها شركات تكنولوجية كبرى، والتي تمكنت خلالها نماذج من الهروب من بيئات الاختبار، أظهرت «مخاطر شديدة لفقدان السيطرة» وتتطلب «درجة عالية من اليقظة».
ولم تحدد وانغ ما إذا كانت الشركات التي أشارت إليها صينية أم أميركية.
وتأتي هذه التطورات بعدما ناقش الرئيس الأميركي دونالد ترامب والرئيس الصيني شي جين بينغ الذكاء الاصطناعي خلال زيارة الرئيس الصيني إلى واشنطن الأسبوع الماضي، حيث قال شي إن البلدين يمتلكان «القدرة والمسؤولية لتطوير الذكاء الاصطناعي وإدارته بما يخدم الخير».
وبحسب رويترز، لا يوجد حتى الآن دليل على أن وكلاء الذكاء الاصطناعي الصينيين تمكنوا من الخروج فعليًا إلى الإنترنت المفتوح أو الإفلات من السيطرة، لكن الباحثين يرون أن بعض السلوكيات التي ظهرت في الاختبارات تمثل إشارات تستحق المتابعة مع تطور قدرات هذه الأنظمة.
(رويترز)
