COMPASS: Dil Modellerinde Akıl Yürütme Nerede Yaşıyor?

Büyük dil modelleri (LLM) ile karmaşık problemleri çözmek için açık akıl yürütme adımları kullanmak performansı önemli ölçüde artırıyor. Ancak bu yöntemlerin çoğu önceden tanımlanmış akıl yürütme karakterizasyonlarına ihtiyaç duyuyor. Yeni bir araştırma, matematiksel problemler için çok daha basit bir sinyal yeterli olduğunu gösteriyor: modelin doğrudan verdiği cevapların doğru olup olmadığı.

COMPASS adlı bu yaklaşımın temel bulgular şunlar:

• Doğruluk sinyali kullanarak, akıl yürütme yeteneklerinin model içerisinde yaşadığı gizli bir yön (latent direction) bulunabilir
• Önceki yöntemlerin aksine, Chain-of-Thought prompt tasarımı veya karmaşık özellik mühendisliği gerektirmiyor
• Modelinin kendi doğru/yanlış cevap denemelerinden öğrenilen bu sinyal, matematiksel problemlerin çözümünde yol gösteriyor
• Sparse Autoencoders (SAE) ile türetilen karmaşık akıl yürütme özelliklerine alternatif bir, daha erişilebilir metot sunuyor

Araştırma, yapay zeka sistemlerinin neden doğru veya yanlış sonuçlar verdiğini anlamayı daha basit hale getiriyor. Bu, modellerin içsel mekanizmalarına bakış açısını değiştiriyor ve gelecekteki geliştirmelere yönelik pratik bir yol haritası sunuyor.

Bu bulgu, matematiksel akıl yürütmede doğrulanabilir cevapların gücünü ortaya koymakla birlikte, daha geniş problem alanlarına uyarlanıp uyarlanamayacağı açık soru olarak kalıyor.