DocHop: Yapay Zeka Modellerinin Karmaşık Belge Analizi Yeteneğini Test Ediyor

Çok modaliteli büyük dil modelleri (MLLM) grafik ve belge sorgulaması gibi yapılandırılmış görsel görevlerde başarılı sonuçlar vermiştir. Ancak mevcut değerlendirme sistemleri bu alanları birbirinden izole olarak test etmekte, önemli bir kapabiliteyi göz ardı etmektedir: modellerin metin bağlamını kullanarak grafik kanıtlarını nasıl seçmesi, yorumlaması ve birleştirmesi gerektiğini belirleyebilme yeteneği.

DocHop adlı yeni benchmark, tam olarak bu boşluğu doldurmayı hedefliyor:

• Entegre yapı: Belge metni içindeki bilgilerle grafikleri kombinasyonda anlamlandırmayı gerektiriyor
• Çok adımlı mantık: Tek bir soruya cevap vermek için birden fazla bilgi kaynağından veri toplayıp işlemeyi zorunlu kılıyor
• Alan dışı başarı: Modellerin tamamen yeni, daha önce görmediği belge türlerine nasıl uyum sağladığını değerlendiriyor
• Gerçekçi senaryolar: Bilgi yoğun belgelerden oluşan veri setinde modellerin pratik performansını ortaya çıkarıyor

Bu benchmark, yapay zeka araştırmacılarının MLLM’lerin gerçek dünya uygulamalarındaki sınırlamalarını daha iyi anlamasını sağlayacak. Şu ana kadar benzer araştırmalar, metin ve görselleri ayrı ayrı değerlendirirken, DocHop’un temel katkısı bunları bütünleşik bir çerçevede test etmesidir. Sonuç olarak bu çalışma, gelecek nesil dil modellerinin daha karmaşık bilgi işleme görevleri için nasıl geliştirilebileceğine dair yeni perspektifler sunar.