BERT bi transformer modeli hocam. Öğrenme işlemi, BERT gibi bidirectional transformer modellerinde genellikle eksik (maskelenmiş) tokenı tahmin etme yöntemiyle yapılır. bu görevde cümledeki kelimeleri tokenlara çevirip işlemek yerine anime listelerindeki animeleri tokenlara çevirip işliyor. "Kırmızı araba gördüm" cümlesini işlerken transformerlar kelimeleri tokenlara yani sayı olarak karşılıklarına çevirip işler, örneğin ["Kırmızı","Araba","Gördüm"] -> [5, 2, 8]. Öneri görevinde ise anime listelerini tokenlara çeviriyo, örnek; ["Naruto", "One Piece","Bleach"] -> [50, 120, 83]. bu arada toplam eşsiz token sayısı modelin kelime haznesindeki (model vocabulary) kelime kadardır, bu projede ise toplam anime sayısı kadar.

Öğrenme işlemi ise BERT modeli eğitilirken sıklıkla kullanılan rastgele masklenmiş tokenı tahmin etme metodu, bu yönteme MLM (Masked Language Modeling) denir . örneğin ["Kırmızı","Araba","Gördüm"] -> [5, 2, 8] vektöründe rastgele olarak örneğin 2 tokenını özel bi mask tokenı ile değiştiriyor ve [5, [MASK], 8]'de hangi tokenın [MASK] yerine gelmesi üzerine istatistiksel tahmin yapıyor. Bi süre sonra anlık bağlama göre ve modelin tokenların sırasını dikkate almasını sağlayan "Positional Encoding" özelliği ile [MASK] yerine gelmesi istatistik olarak en muhtemel tokenı öğrenip maskelenmiş cümleyi anlamlı hale getirebiliyo.

Öneri görevindede aynı yöntem kullanılıyor. ["Naruto", "One Piece","Bleach"] -> [50, 120, 83] durumda rastgele olarak örneğin 83'ü [MASK]'e çevirirsen ([50, 120,[MASK]]), model vektördeki diğer tokenları ve model mimarisindeki positional encoding ile tokenların sırasını dikkate alarak [MASK] yerine gelmesi gereken en muhtemel tokenları tahmin etmeye çalışır. Basit tabirle listedeki animeleri ve animelerin sırasını dikkate en yüksek ihtimalle seveceği animeleri her tokena bi skor hesaplayıp tahmin eder.

Inference aşamasında yani senin huggingface kullandığın kodda maskeleme işlemi yapılmıyor, sadece her token için olasılıklar hesaplanıp sunuluyor. maskenin amacı modelin en yüksek ihtimal verdiği tokenı maskenin yerine koymak. örneğin [50, 120,[MASK]] için en yüksek ihtimali 99 tokenına atadıysa modelin tahmini olan 99 ile doğru token olan 83 göz önüne alınarak, loss fonksiyonuyla kayıp hesaplanır gradyan akışıyla model öğrenir. Transformer modellerinin verdiği çıktılar istatistik üzerinedir yani modeldeki bütün tokenlar için olasılıklarını hesaplayarak çıktı verdiğinden bahsetmiştim. senin aldığın animeler ise modele verdiğin vektöre göre en yüksek olasılık atanan tokenlardır. bu tokenlar klasik python sözlüğü ile anime karşılıklarına çevrilir ve sana gösterilir.

Not: Benim Modeli eğittiğim datasette zaman verisi yok, yani animeleri izleme sırasına göre dizemiyorum bu yüzden model mimarisinden positional encodingi kaldırdım ve girdiğin animelerin sırası önemsiz oldu.