Büyük Dil ModelleriYapay Zeka Sistemleri Coğrafi Uzayda Gerekçe Yürütmeyi Öğreniyor
Araştırmacılar, çok modlu dil modellerinin mekansal ilişkileri anlaması ve geometrik kısıtlamalar altında uzamsal konfigürasyonları değiştirmesi için
#Kıyaslama
19 yazı · Bu etiketteki yazılar
Büyük Dil Modelleri
Büyük Dil ModelleriOpenProblemBench, Yapay Zekanın Bilimsel Sınırlarını Test Etmeye Hazırlanıyor
ArXiv'de yayınlanan yeni benchmark, matematik ve teorik fiziğin 82 çözülmemiş problemini AI sistemlerine sunarak, makinelerin gerçek bilimsel araştırm
Oyun & EğlenceGameCommBench, Yapay Zeka Tarafından Oluşturulan Oyun Yorumlarını Değerlendirmek İçin Yeni Bir Standart Getirildi
Araştırmacılar, tahta oyunlarından spor yayınlarına kadar çeşitli alanlardaki AI-üretim yorumlarını ölçmek için birleştirilmiş bir kıyaslama platformu
Büyük Dil ModelleriJusticeAxis: Yapay Zeka ile Hukuki Kararların Dengesini Sağlamak
Yeni araştırma, katı kural uygulaması ve temelsiz takdir arasında denge kuran hukuki karar verme sistemleri için bir karşılaştırma yöntemi öneriyor.
AI Ajanları & OtomasyonNAQD-Env: Dil Ajanlarının Seçici Karar Verme Yeteneğini Test Eden Yeni Benchmark
Araştırmacılar, dil ajanlarının değişen koşullar karşısında hangi işlemleri iptal edip hangilerini sürdüreceğini değerlendiren NAQD-Env adlı sentetik
AI Ajanları & OtomasyonVAmoS Energy: Sesli AI Ajanları Gerçek Dünya Koşullarında Test Etmek
Yeni benchmark, sesli ajanları müşteri sabırsızlığı, arka plan gürültüsü ve çoklu istekler gibi gerçekçi senaryolarda değerlendiriyor.
AI Ajanları & OtomasyonBilimsel Robotik Ajanları Ölçeklendirmek İçin Yeni Protokol Sistemi Geliştirendi
SciHorizon-eLab, bilimsel deneyleri otomatikleştiren yapay zeka ajanlarını değerlendirmek için protokolları otomatik görevlere dönüştüren bir derleyic
AI Ajanları & OtomasyonAI Ajanları Makine Öğrenmesi Makalelerini Yeniden Üretebilir mi? RECLAIM Benchmark Yanıt Arıyor
arXiv'de yayınlanan RECLAIM projesi, yapay zeka ajanlarının akademik makalelerindeki sonuçları bağımsız olarak yeniden üretip üretemeyeceğini ölçen ye
Büyük Dil ModelleriPFArena: Protein Değişimi için Dil Modellerini Kıyaslayan Yeni Benchmark
Araştırmacılar, protein modifikasyonunda yapay zeka modellerinin etkinliğini karşılaştırmak için PFArena benchmark'ini geliştirdi.
Büyük Dil ModelleriKurumsal GenAI Başarısızlığının Asıl Nedeni: Ölçüm Sorunu
Frontier dil modelleri profesyonel kalitede çıktı üretmesine rağmen, çoğu kurumsal GenAI projesi ölçülebilir sonuç gösteremez; araştırma, sorunu ağırl
Oyun & EğlenceGameASG-Bench: Oyun Geliştirmede Otonom Yazılım Üretiminin Kalitesini Ölçmek
Yeni bir benchmark, yapay zeka tarafından oluşturulan oyun kodlarının davranışsal gereksinimlerini karşılayıp karşılamadığını test etmeyi mümkün hale
Büyük Dil ModelleriUzman Rehberliğiyle Dil Modellerine Özel Benchmark Veri Setleri Oluşturma
Araştırmacılar, alan uzmanlarının bilgisini yapay veri üretimi ile birleştirerek yüksek kaliteli ve ölçeklenebilir LLM benchmark veri setleri geliştir
AI Ajanları & OtomasyonSes Ajanlarında Veri Çıkarma Performansını Ölçen Yeni Benchmark Geliştirildi
τ-Elicitation adlı benchmark, ses ajanlarının ad, adres, tarih gibi kritik bilgileri doğru şekilde toplamasını test eden 200 görevli bir sistem sunuyo
AI Ajanları & OtomasyonHukuk Alanında Yapay Zeka Ajanlarının Yanılgılarını Ölçmek için Yeni Kriter Geliştirildi
LexAgentHallu, hukuk alanında çalışan büyük dil modellerinin araç çağrıları ve muhakeme hatalarından kaynaklanan hallüsinasyonlarını tespit etmek için
Büyük Dil ModelleriDil Modeli Sistemlerinde Kimlik Kaybı Sorunu: HybridQA Üzerinden Yapılan Denetim
Araştırmanız gösteriyor ki, temel dil modeli uygulamalarında seçilen nesnenin okuyucuya ulaşamaması ciddi bir sorundur ve 600 HybridQA sorusunda bu ha
AI Ajanları & Otomasyonτ²-Bench: AI Ajanlarının Gerçek Dünya Koşullarında İnşası Ölçülüyor
Yeni bir benchmark, üretken dil modelleri ile inşa edilen yazılım ajanlarının müşteri hizmetlerinden sistem yönetimine kadar gerçek görevleri yerine g
Büyük Dil ModelleriGPS-Bench: Büyük Dil Modellerinin Politika Simülasyonlarını Doğrulamak
Yeni benchmark, LLM tabanlı politika analizinin gerçek dünya sonuçlarıyla karşılaştırılmasını sağlayarak yapay zekanın kamu politikası alanındaki uygu
Büyük Dil ModelleriKC-Bench ile Yapay Zeka Modellerinin Bilgi Çatışmalarını Ölçmek Mümkün Hale Geldi
Araştırmacılar, LLM ajanlarının kullanıcı talimatları, parametrik bilgi ve çevresel gözlemleri nasıl uzlaştırdığını test eden KC-Bench adlı dinamik kı
Büyük Dil ModelleriDocHop: Yapay Zeka Modellerinin Karmaşık Belge Analizi Yeteneğini Test Ediyor
Yeni bir benchmark, çok modaliteli dil modellerinin metin ve görselleri birlikte kullanarak karmaşık mantıksal çıkarımlar yapabilme becerisini ölçüyor