AI Ajanları için Güvenlik Kapıları Bağımsız Çalışıyor Mu?

Yapay zeka ajanlarının araçları doğru şekilde kullanmasını sağlamak için geliştirilen güvenlik mekanizmaları, birbirinin üzerine istiflenmiş çoklu kontrol katmanlarından oluşuyor. Ancak bu katmanların gerçekten bağımsız olarak çalışıp çalışmadığı uzun süredir tartışılıyor. Yeni bir araştırma, bu soruyu sistematik olarak inceliyor.

Araştırmanın temel bulguları:

• 1.119 etiketli ajan eylemi analiz edildi; verilerin bir kısmı daha önce yayımlanmış üç farklı veri setinden, geri kalanı ise gerçek kullanımdan toplandı.
• Kontrol mimarisi bir belirleyici kural katmanı ve dört LLM hakim içeriyor; bunlardan üçü hizmet modelinin her çağrı kaydıyla yeniden toplanmıştır.
• Araştırmacılar, her bir kontrol yığınını “çarpım eşdeğeri katman” sayısı (n_mult) olarak modellediler ve bu değerin teorik alt sınırını hesapladılar.
• Uyarlanabilir adversarial saldırılar olmadan gerçekçi bir ortamda testler yapıldı; bu nedenle bulgular canlı sistemlerdeki davranışı tam olarak yansıtmayabilir.

Sonuçlar, yaygın inanışın aksine, katmanlar arasında güçlü bağımlılıklar olabileceğini gösteriyor. Hataların basitçe çarpıldığı varsayımı geçerli olmayabilir. Bu bulgu, ajan güvenlik sistemlerinin tasarımında önemli çıkarımlar taşıyor. Mühendisler, kontrol mekanizmalarını bağımsız hale getirmek için mimarisi yeniden düşünmek zorunda kalabilir. İleriye dönük çalışmalar, adaptif saldırılar altında bu sistemlerin nasıl davrandığını araştırmalıdır.