Yapay zekâ sözlüğü
Başlangıç seviyesi
Token
Token
28.08.2026 tarihinde güncellendi
Token, dil modelinin metni işlerken kullandığı sayısal birimdir; maliyet, bağlam kapasitesi ve çıktı sınırları çoğunlukla token üzerinden hesaplanır.
Genel bakış
Kavramın çerçevesiTokenlar kelime, kelime parçası, noktalama işareti veya boşluk gibi farklı parçalardan oluşabilir; bu yüzden token sayısı doğrudan kelime sayısına eşit değildir. Bir isteğin girdisi ve modelin çıktısı toplam kullanım maliyetini ve bağlam penceresini etkiler. Uzun belgelerde token sınırına yaklaşmamak için bölümleme, özetleme veya erişim destekli arama kullanılabilir. Farklı diller ve yazım biçimleri aynı anlam için farklı token sayıları üretebilir.
Çalışma mantığı: Metin bir tokenizer tarafından modelin öğrendiği parçalara ayrılır; her token sayısal kimlikle temsil edilir ve bağlam içinde işlenir. Tokenizer dili, yazımı ve model sürümü token sayısını değiştirebilir.
Kullanım alanları: Maliyet hesabı, kota planlama, bağlam bütçesi, belge bölme, çıktı uzunluğu ve performans ölçümünde kullanılır.
Sınırlılıklar: Token sayısı kelime sayısı değildir; Türkçe ekler, kod, tablo ve özel karakterler beklenenden fazla token tüketebilir. Sınır aşımında anlamlı bölme yapılmalıdır.
Çalışma mantığı: Metin bir tokenizer tarafından modelin öğrendiği parçalara ayrılır; her token sayısal kimlikle temsil edilir ve bağlam içinde işlenir. Tokenizer dili, yazımı ve model sürümü token sayısını değiştirebilir.
Kullanım alanları: Maliyet hesabı, kota planlama, bağlam bütçesi, belge bölme, çıktı uzunluğu ve performans ölçümünde kullanılır.
Sınırlılıklar: Token sayısı kelime sayısı değildir; Türkçe ekler, kod, tablo ve özel karakterler beklenenden fazla token tüketebilir. Sınır aşımında anlamlı bölme yapılmalıdır.
Teknik tanım ve açıklama
Temel mekanizmaYapay zeka modellerinde metnin işlenme birimidir. Bir kelime genellikle 1-3 token'a karşılık gelir. Model maliyetleri ve bağlam penceresi token cinsinden ölçülür.
Gerçek hayatta kullanım
Örnek senaryoBir API isteğinin maliyeti ve modelin bağlam kapasitesi çoğunlukla işlenen token sayısıyla hesaplanır. Editoryal bir uygulamada bu kavramı kullanırken önce hedefi ve başarı ölçütünü yazın, ardından küçük bir örnek üzerinde sonucu kontrol edip üretime almadan önce insan doğrulaması yapın.