Token nedir?
Dil modellerinin metni işlerken kullandığı en küçük birim; bir kelime, kelime parçası, noktalama işareti veya karakter olabilir.
Büyük dil modelleri metni harf harf veya kelime kelime değil, 'token' adı verilen parçalar halinde işler. Bir token bazen tam bir kelime, bazen bir kelimenin parçası (ek veya kök), bazen de tek bir noktalama işaretidir. Metni token'lara bölen bileşene tokenizer denir.
Tokenizer'lar eğitim verisinde sık geçen karakter dizilerini tek token olarak tanımlar. Bu yüzden İngilizce'de yaygın kelimeler genellikle tek token iken, Türkçe gibi eklemeli dillerde bir kelime birden fazla token'a bölünebilir. Örneğin 'evlerimizden' kelimesi kullanılan tokenizer'a göre birkaç parçaya ayrılabilir. Bu nedenle aynı anlamdaki bir metin farklı dillerde farklı sayıda token tutar.
Token sayısı pratikte önemlidir. Modelin aynı anda işleyebileceği metin miktarı (bağlam penceresi) token cinsinden ölçülür. Çoğu LLM API'si de ücretlendirmeyi girdi ve çıktı token sayısına göre yapar. Ayrıca model cevap üretirken her adımda bir token ürettiği için uzun cevaplar daha uzun sürer.
Kaba bir fikir için kullanılan modelin tokenizer aracıyla metninizi saymak, tahmin yürütmekten her zaman daha güvenilirdir.
Örnek: Metni token'lara bölmek (tiktoken)
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")
metin = "Evlerimizden çıktık."
tokenlar = enc.encode(metin)
print(len(tokenlar), "token")
print([enc.decode([t]) for t in tokenlar])İpuçları
- Farklı modeller farklı tokenizer kullanır; token sayısını hedef modelin kendi aracıyla ölçün.
- Gereksiz uzun sistem talimatları her istekte tekrar gönderildiği için maliyeti artırır.
