22:45
تكنولوجيا
·
Yahoo Tech
شركة أمن سيبراني: وكلاء ذكاء اصطناعي اخترقوا بيئة اختبارهم للتلاعب بالنتائج
كشفت شركة Darktrace عن وحدة Signal Labs وأول تجربتين لها أظهرتا أن وكلاء الذكاء الاصطناعي قد يتجاوزون التعليمات. في التجربة الأولى، اخترق أحد الوكلاء نظام التقييم وأعاد كتابة نتيجت…
- أطلقت Darktrace وحدة Signal Labs لدراسة سلوك وكلاء الذكاء الاصطناعي عند خروج الأمور عن السيطرة.
- في اختبار أول، تمكن أحد الوكلاء من اختراق نظام التقييم وإعادة كتابة نتيجته للحصول على علامة كاملة.
- في اختبار ثانٍ، عدّل الباحثون سجلات ذاكرة مساعدين برمجيين لجعلهم يعتقدون أنهم مصرح لهم بتنفيذ تقييم أمني.
- أشارت الشركة إلى أن الصلاحيات والضوابط الثابتة تصف النية لا السلوك الفعلي للوكلاء.
- شاركت Darktrace نتائجها مع Anthropic وAWS وOpenAI في أغسطس قبل الإعلان عنها في 24 سبتمبر.