T-RoPE ile Transformerlar Tavsiye Sistemlerine Zaman Boyutunu Getiriyor

Tavsiye sistemleri son zamanlarda büyük dil modellerinin başarılı yapısını taklit etmeye başladı. Bununla birlikte bu taklit tam kapsamlı değil: dil modellerinden alınan Rotary Position Embedding (RoPE) tekniği, tavsiye ortamında kritik bir eksiklikle karşı karşıya kalıyor.

• Sorun tanısı: RoPE’nin dil modellerinde başarılı olan token indeksleme mantığı, tavsiye verilerinde sadece olayların sırasını kaydediyor, geçen zamanı veya döngüsel davranış düzenlerini göz ardı ediyor
• T-RoPE çözümü: Araştırmacılar standart RoPE’yi zaman bilgisini doğrudan kodlayacak şekilde uyarladılar
• Uygulama alanı: Büyük ölçekli tavsiye sistemleri, sıralı kullanıcı etkileşim verilerini işlemek için Transformer mimarisini kullanıyor
• Hedeflenen iyileştirme: Zaman farkı ve mevsimsel alışkanlıklar gibi gerçek dünyada çok yaygın olan faktörleri hesaba katarak daha doğru öneriler sunmak

Dil modellerinde başarı gösteren teknikleri diğer alanlara uyarlamak, her alan için özel düzenlemeler gerektiriyor. Tavsiye sistemleri, bir kütüphane kullanıcısının okuma alışkanlıkları ya da bir e-ticaret müşterisinin mevsimsel satın alma desenleri gibi, zamanla ilişkili incelikleri barındırıyor. T-RoPE, bu tür dinamikleri Transformer mimarisine entegre ederek, yapay zeka modellerinin gerçek dünya karmaşıklıklarına daha iyi uyum sağlamasını amaçlıyor.

Bu çalışma, dil modelleri ile tavsiye sistemleri arasındaki köprüyü güçlendiriyor ve zaman boyutunun modern AI mimarilerinde ne kadar hayati olduğunu gösteriyor.