LLM Hakim Modelleri İşyeri Gereksinimleri için Ölçeklendirilemeyebiliyor

Yapay zeka sistemlerinin işyerinde kullanılmaya başlaması, bu çıktıların kalitesini değerlendirme sorununu gündeme getirdi. Giderek daha fazla kuruluş bu görevi büyük dil modeli hakem sistemlerine verirken, yeni araştırmalar önemli bir tutarsızlığı ortaya koyuyor: iki yanıtın sıralanmasında anlaşılan hakem sistemleri, genel kabul oranlarında aynı tutarlılığı gösteremeyebiliyor.

Araştırmanın temel bulguları:

• O*NET-BENCH isimli yeni denetim paketi, 45.796 işçi değerlendirmesinden oluşturulan mevcut bir anketin verilerine dayandırıldı.
• 33 farklı hakem konfigürasyonu, altı model ailesi genelinde 4.501 test değerlendirmesi üzerinde test edildi.
• 25 konfigürasyon, beraberlik duyarlı çift sıralamada başarı gösterdi; ancak bu başarı, işyeri ölçeğinde kabul standartlarına uygulandığında geçerli kalmadı.

Ölçeklendirme sorunu, yapay zekanın işyeri uygulamalarında kritik bir zorluk. İki seçenek arasında doğru seçim yapabilen bir sistem, binlerce iş ve işçiye uygulandığında farklı sonuçlar verebiliyor. Bu araştırma, mesleki yapay zeka ölçümlerinde LLM hakem sistemlerinin güvenilirliğini sorgulamakta ve daha sağlam değerlendirme yöntemlerine olan ihtiyacı vurgulamaktadır.

Çalışma, hakem temelli değerlendirme sistemlerine güvenmeden önce kapsamlı denetimler gerçekleştirilmesi gerektiğini gösteriyor. Şirketlerin yapay zeka çıktılarını değerlendirirken, yalnızca lokal sıralama başarısına değil, geniş ölçekte tutarlılığa da odaklanması şarttır.