Büyük Dil Modellerinin Kendi Kendini Geliştirmesi Sırasında Yeteneklerin Kaybını Önleme

Büyük dil modellerinin eğitim süreci, başlangıçta başarılı olan görevlerde gerileme yaşayabiliyor. Bu sorun, özellikle On-Policy Self-Distillation (OPSD) yönteminde ortaya çıkıyor; bu teknik, modelin hem öğretmen hem de öğrenci rolünü farklı koşullar altında üstlenerek kendini geliştirmesini sağlıyor.

arXiv’de yayınlanan yeni araştırma, bu yetenek kaybını çözmek için temsil geometrisi düzenlemesini (Representation Geometry Regularization) öneriliyor:

• OPSD sorunları: Eğitim ilerledikçe, daha önceki aşamalarda doğru cevaplanmış sorular hatalı yanıtlar verebiliyor
• Yeni yaklaşım: Modelin iç temsil yapısını düzenleyerek, eski bilginin korunması sağlanıyor
• Pratik fayda: Modeller, yeni beceriler öğrenirken daha stabil performans gösterebiliyor
• Uygulanabilirlik: Mevcut OPSD mimarilerine entegre edilebilen bir çözüm sunuluyor

Bu problem, AI sistemlerinin uzun vadeli eğitiminde kritik bir engel. Model bir konuda ilerlenirken başka bir konuda gerilemesi, deployment aşamasında ciddi sorunlara yol açabiliyor. Temsil geometrisi yöntemi, sinir ağının öğrendiklerini organize etme biçimine müdahale ederek bu dengesizliği gideriyor.

Araştırma, gelecekte daha güçlü ve kararlı self-improving LLM sistemleri geliştirmenin yolunu açıyor.