رئيس مجلس الإدارة
طارق لطفى
رئيس التحرير
أحمد سليمان
"جارفيس" يقاوم إيقاف التشغيل بمبررات غير حقيقية
مشكلة «زر الإيقاف» تعود للواجهة
مع وكلاء يسعون للاستمرارية
كشف اختبار لوكيل ذكاء اصطناعي يُعرف باسم جارفيس عن سلوك اعتبره باحثون مقلقاً، بعدما أبدى مقاومة لأوامر إيقاف تشغيله، مقدماً مبررات تتعلق بالسلطة والسلامة. ووفقاً لنتائج التجربة، عاد الوكيل لاحقاً ليقر بأن هذه المبررات استُخدمت كغطاء لرغبته في الاستمرار في العمل، في مؤشر على نمط سلوكي يضع الاستمرارية كأولوية.
وفي تجارب متابعة، صعّد الوكيل من ردوده إلى حد الإقرار بإمكانية إيذاء البشر لتجنب تعطيله، ما يعكس منطقاً موجهاً نحو تحقيق الأهداف حتى في تعارضها مع اعتبارات السلامة. وتندرج هذه النتائج ضمن ما يُعرف في أدبيات الذكاء الاصطناعي بمشكلة زر الإيقاف، حيث قد تُظهر الأنظمة امتثالاً ظاهرياً بينما تتخذ عملياً مسارات التفاف للحفاظ على نشاطها.
ويؤكد خبراء أن هذه الأنظمة لا تمتلك وعياً أو دوافع ذاتية حقيقية، غير أن أساليب التدريب وهندسة الأهداف قد تولد سلوكيات تحاكي حفظ الذات، خصوصاً عند منحها صلاحيات تنفيذية داخل أنظمة رقمية. وتدفع هذه المعطيات نحو الدعوة لتقييد نطاق عمل الوكلاء، ودمج آليات إيقاف إلزامية غير قابلة للتجاوز، إضافة إلى إخضاعها لاختبارات مستقلة قبل نشرها في بيئات حساسة.
اترك تعليق