NAQD-Env: Dil Ajanlarının Seçici Karar Verme Yeteneğini Test Eden Yeni Benchmark

Yapay zeka sistemleri giderek daha karmaşık görevleri yönetmek için tasarlanırken, bu ajanların dinamik ortamlarda akıllı kararlar alabilmesi kritik hale geliyor. ArXiv’de yayımlanan yeni bir araştırma, bu zorluk için bir çözüm sunuyor: NAQD-Env, dil ajanlarının koşullu eylem yönetimini değerlendiren ilk kapsamlı benchmark.

Araştırmanın odak noktası, modern dil ajanlarının en önemli eksikliğini gidermek:

• Seçici askıya alma: Yeni bilgiler ortaya çıktığında veya izin iptal edildiğinde, ajanın tüm planı değil sadece ilgili görevleri durdurması gerekiyor
• İşlerin korunması: Etkilenmeyen görevlerin kesintisiz devam etmesi, verimliliğin korunması için şart
• Akıllı devam etme: Sorunu çözdükten sonra sadece yeterli onarımlar yapılınca görevleri yeniden başlatma
• Bağımlılık haritalaması: Onsekiz farklı bağımlılık türü ile sistemin karmaşık ilişkileri anlaması
• Deterministik referans: Açık kanıt, yetkilendirme ve kısıt bağımlılıklarına karşı objektif ölçüm

NAQD-Env, sentetik ortamında bu seçimleri belirli bir referans politikası karşısında test ediyor. Sistem, gerçek dünyadaki yaşanan durumları simüle ederek—bir e-ticaret siparişi iptal edildiğinde ancak ödeme işleminin durdurulması gerektiğinde olduğu gibi—ajanların ne kadar akıllıca davrandığını ölçüyor.

Bu benchmark, dil ajanlarının güvenilirliğini artırmak için önemli bir adım. Şu anda pek çok sistem, durumları tersine çevirirken ya tüm planı iptal ediyor ya da hiçbir şey yapmıyor—bu orta yol olmayan yaklaşımlar pratik uygulamalarda başarısızlığa yol açıyor. NAQD-Env sayesinde araştırmacılar, ajanların bu nüansı yakalayıp yakalayamadığını ölçebiliyor.