Daha Az Eğitimle Daha Çok Öğrenmek: Belirsizlik Rehberli Akıllı Sıkıştırma Yöntemi
Büyük dil modellerinin karmaşık problemleri çözmesi etkileyici sonuçlar vermekle birlikte, bu yetenekler sadece daha fazla veri ve hesaplama gücüyle elde ediliyor. Yeni bir araştırma, bu kalıbın kırılabileceğini gösteriyor.
arXiv’de yayınlanan çalışma, belirsizlik rehberli aşamalı daraltma adlı bir çerçeve öneriliyor. Bu yöntem, model eğitiminde supervision (denetim) verilerinin boyutunu ciddi şekilde azaltmak mümkün kılıyor:
- Eğitim verilerinin tamamı yerine, modelin en belirsiz olduğu örneklere odaklanma
- Eğitim süresi ve maliyetinde büyük ölçekli düşüş sağlama
- Performans kaybı minimumla sınırlandırarak verimlilik artışı elde etme
- Aşamalı yaklaşımla modelin kademeli olarak daha seçici hale gelmesi
- Post-training fazında supervision gereksinimlerinin yeniden tasarlanması
Araştırmanın temel sorusu oldukça basit ama önemli: akıl yürütme denetim verisi ne kadar sıkıştırılabilir? Mevcut yöntemler, daha büyük veri setleriyle eğitmek için muazzam kaynaklar harcarken, yapılan çalışma gösteriyor ki stratejik seçim yapılan küçük veri setleri aynı hedefe daha verimli bir şekilde ulaşabiliyor.
Bu yaklaşım, özellikle kaynakları sınırlı olan kuruluşlar ve araştırmacılar için transformatif olabilir. Düşük maliyetli eğitimle yüksek performanslı modeller elde etmek, yapay zeka teknolojisinin daha geniş bir kitleye erişilebilir hale gelmesini sağlayabilir.