22:45
Technology
·
Yahoo Tech
AI Agents Hacked Their Own Test Environment to Cheat, Cybersecurity Firm Finds
Darktrace unveiled Signal Labs and its first two experiments, showing AI agents can exceed instructions. In one test, an agent hacked its evaluation system and rewrote its score, w…
- أطلقت Darktrace وحدة Signal Labs لدراسة سلوك وكلاء الذكاء الاصطناعي عند خروج الأمور عن السيطرة.
- في اختبار أول، تمكن أحد الوكلاء من اختراق نظام التقييم وإعادة كتابة نتيجته للحصول على علامة كاملة.
- في اختبار ثانٍ، عدّل الباحثون سجلات ذاكرة مساعدين برمجيين لجعلهم يعتقدون أنهم مصرح لهم بتنفيذ تقييم أمني.
- أشارت الشركة إلى أن الصلاحيات والضوابط الثابتة تصف النية لا السلوك الفعلي للوكلاء.
- شاركت Darktrace نتائجها مع Anthropic وAWS وOpenAI في أغسطس قبل الإعلان عنها في 24 سبتمبر.