Whisper'ın Hayali Transkriptlerini Azaltmak için Yeni Bir Yöntem Geliştirildi

OpenAI’nin Whisper modeli otomatik konuşma tanıması (ASR) görevlerinde yaygın olarak kullanılıyor ancak bir sorunu var: sessiz veya az ses içeren girdilerde, model ikna edici fakat tamamen hayali transkriptler üretebiliyor. Bu problem özellikle gerçek dünya uygulamalarında ciddi yanlışlara yol açabiliyor.

Yeni bir araştırma, bu “hallüsinasyon” sorununun çözümü için eğitim gerektirmeyen, çıkarım zamanında uygulanabilen bir yöntem sunuyor:

• Düşük dereceli projeksiyon tekniği kullanarak decoder aktivasyonlarını manipüle etme
• Sessiz ses olmayan veri ile hallüsinasyonun yer aldığı altuzayı tanımlama
• Eğitim için ek veriye ihtiyaç duymayan, pratik bir çözüm
• Whisper’ın mevcut mimarisini değiştirmeden entegre edilebilir bir yaklaşım
• Çalışmada arXiv’de yayınlanan tam araştırma metodu ve bulgular yer almakta

Bu yöntem, hallüsinasyon ile ilişkili aktivasyonları tanımlayarak decoder’ın gizli durumlarını belirli bir matematik altuzayında “temizliyor”. Böylece model sessiz seçişlerde boş konuşma üretmek yerine daha güvenilir davranabiliyor. Önerilen teknik kalibrasyon verisi olarak sadece konuşmasız örneklere ihtiyaç duyuyor, bu da uygulamayı ekonomik hale getiriyor.

Whisper gibi büyük dil modelleri için hallüsinasyon azaltma giderek önemli bir araştırma alanı haline geliyor. Bu çalışma, eğitim-gerektirmeyen çözümlerin model davranışını nasıl iyileştirebileceğini gösteriyor.