Przejdź do treści
Teknoloji

Token

Token, büyük dil modellerinin metinleri anlamak ve üretmek için parçalara böldüğü, hece veya harf öbeklerinden oluşan temel işlem birimidir.

Token, yapay zeka ve büyük dil modellerinin bir metni okurken, işlerken veya üretirken kullandığı en temel yapı birimidir. İnsanlar bir metne baktığında kelimeleri veya cümleleri görürken, ChatGPT gibi dil modelleri metinleri harf, hece veya kelime parçacıklarına ayırarak algılar. Kısacası token, yapay zekanın bilgi işleme para birimidir.

Yapay zekaya yönelttiğiniz bir soruda ya da modelin size yazdığı cevapta yer alan her noktalama işareti, boşluk ve sözcük parçası belirli sayıda token karşılığına sahiptir. Bir modelin aynı anda ne kadar metin hatırlayabileceği veya bir işlem için ne kadar kaynak harcanacağı tamamen bu birim üzerinden hesaplanır.

Kelime Değil, Anlam Parçacığı: Token Nasıl Çalışır?

Pek çok kişi bir token değerini bir kelimeye eşit zanneder ancak durum böyle değildir. İngilizce gibi dillerde bir kelime genellikle bir veya iki token tutarken, modelin eğitim veri tabanına ve kullanılan algoritmaya göre bu durum değişir. Yapay zeka sistemleri, sık karşılaşılan sözcükleri tek bir parça olarak ezberlerken, daha nadir veya karmaşık sözcükleri birkaç küçük parçaya böler.

Örneğin tek bir nokta, ünlem işareti veya satır başı bile başlı başına bir token sayılabilir. Sistem bir metin üretirken de harf harf değil, olasılık hesaplarına dayanarak token token ilerler. Bir sonraki en mantıklı parçayı tahmin ederek anlamlı bir cümle kurar.

Türkçe Metinlerde Token Tüketimi Neden Daha Fazladır?

Türkçe, sondan eklemeli bir dil olduğu için token tüketimi açısından dünya dilleri arasında kendine has bir yere sahiptir. Çoğu büyük model, eğitim havuzunda ağırlıklı olarak İngilizce kaynaklar barındırdığından, Türkçe ekleri tek parça halinde tanımakta zorlanabilir ve sözcüğü birden fazla küçük parçaya ayırır.

Gelin bunu somut bir örnekle ele alalım. Eminönü'nde toptancılık yapan bir esnafın hazırladığı ürün kataloğunu yapay zekaya yüklediğini düşünelim. Metinde geçen kitap kelimesi tek bir parça olarak algılanabilirken, kitaplarımızdakilerden gibi uzun ve ek almış bir sözcük model tarafından dört veya beş farklı token parçasına bölünebilir. Dolayısıyla, aynı uzunluktaki bir İngilizce metin ile bir Türkçe metin karşılaştırıldığında, Türkçe metin modellerde genellikle çok daha fazla token tüketir. Bu durum hem işlem süresini hem de sınırları doğrudan etkiler.

Token Limiti ve Bağlam Penceresi Ne Demektir?

Her dil modelinin aynı anda aklında tutabileceği maksimum bir veri kapasitesi vardır ve buna bağlam penceresi denir. Kullanıcıların sıkça karşılaştığı token limiti, modelin bir oturumda okuyabileceği ve üretebileceği toplam token miktarını ifade eder.

Bir sohbet esnasında sistem önceki yazdıklarınızı unutmaya başlıyorsa veya metin çok uzun olduğu için hata veriyorsa, bağlam penceresinin token sınırına ulaşmışsınız demektir. Model, pencerenin dışına taşan eski parçaları hafızasından siler ve sadece güncel token sınırının içinde kalan kısımlara odaklanır.

Token Tüketimini Verimli Yönetmek İçin İpuçları

Gerek günlük kullanımda gerekse yazılım geliştirme süreçlerinde kotanızı veya modelin dikkatini verimli kullanmak için şu adımlara dikkat edebilirsiniz:

  • Gereksiz dolaylamalardan kaçının: Amacınızı doğrudan anlatan kısa ve net komutlar verin.
  • Büyük belgeleri parçalara bölün: Ankara'daki bir kamu kurumunun yüz sayfalık ihale şartnamesini tek seferde sormak yerine, bölüm bölüm özetletmeyi deneyin.
  • Tekrarlayan içerikleri temizleyin: Metin içindeki gereksiz boşlukları, tekrar eden başlıkları ve biçimlendirme kodlarını ayıklayarak modele iletin.
  • Sohbeti düzenli olarak sıfırlayın: Aynı pencerede konudan bağımsız çok fazla soru sormak geçmiş tüm tokenleri bellekte tutacağından sistemi yavaşlatır; yeni konu için yeni sohbet açın.

Sık Yapılan Hata: Karakter ve Kelime Sayısıyla Karıştırmak

En sık düşülen yanılgı, kelime işlemcilerdeki karakter veya sözcük sayacına bakarak yapay zekanın da aynı hesabı yapacağını düşünmektir. Yapay zeka için bin kelimelik bir hukuki metin ile bin kelimelik sade bir sohbet metni aynı maliyette veya boyutta değildir. Alışılmadık terimler, teknik ifadeler ve özel ekler token sayısını hızla katlayabilir. Bu yüzden hesaplama yaparken harf sayısına değil, metnin parçalanma yapısına odaklanmak gerekir.

Sıkça sorulan sorular

Bir kelime kaç token eder?

İngilizcede ortalama bir kelime yaklaşık 1.3 token ederken, Türkçenin eklemeli yapısı sebebiyle bir kelime genellikle 2 ile 4 token arasında bölünür.

Token limiti aşılırsa ne olur?

Limit aşıldığında sistem metnin çok uzun olduğuna dair bir hata verir veya model hafızasındaki en eski kısımları unutarak sadece son yazılanlara odaklanır.

Token hesabı yaparken boşluklar sayılır mı?

Evet, sözcükler arasındaki boşluklar, satır başları ve noktalama işaretleri de birer token veya bir parçanın parçası olarak hesaba dahil edilir.

← Yapay Zeka Sözlüğündeki tüm terimler

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›