Tokenizasyon (Tokenization)
Tokenizasyon, yapay zeka modellerinin metinleri işleyebilmesi için cümleleri kelime, ek veya karakter öbekleri gibi küçük parçalara ayırma sürecidir.
Tokenizasyon, doğal dil işleme süreçlerinde bir metnin yapay zeka modelleri tarafından anlaşılabilir sayısal parçalara, yani token adı verilen birimlere bölünmesi işlemidir. Yapay zeka sistemleri metinleri insanlar gibi doğrudan harf harf veya anlam bütünlüğüyle okuyamaz; bunun yerine metni önceden belirlenmiş bir sözlük yapısına göre parçalar ve her parçaya bir kimlik numarası atar.
Girdi olarak verilen her cümle, modelin eğitildiği sözlükteki kurallara göre kelimelere, kelime köklerine, eklere ve hatta bazen tek tek noktalama işaretlerine kadar ayrıştırılır. Bu dönüşüm, dil modellerinin dili kavramasını, metin üretmesini ve hesaplama yapmasını mümkün kılan temel adımdır.
Tokenizasyon Nasıl Çalışır?
Bir yapay zeka modeli eğitilirken milyonlarca metin incelenir ve en sık geçen harf kombinasyonlarından oluşan sabit bir kelime hazinesi (sözlük) oluşturulur. Tokenizasyon motoru bir metinle karşılaştığında şu adımları izler:
- Sık kullanılan kelimeleri tanıma: Dilde çok sık geçen yaygın kelimeler genellikle tek bir token olarak hafızada yer alır ve tek seferde işlenir.
- Alt kelimelere ayırma: Nadir kullanılan, uzun veya teknik terimler sözlükte tek parça halinde bulunmaz. Model bu kelimeleri daha küçük, anlamlı kök ve eklere parçalayarak birden fazla token halinde temsil eder.
- Bilinmeyen ifadeleri ve yazım hatalarını bölme: İmla hataları içeren kelimeler veya daha önce hiç görülmemiş özel isimler, model tarafından tanınan küçük hecelere veya doğrudan tek tek harflere kadar parçalanır.
- Sayısal eşleştirme: Elde edilen her metin parçası, modelin matematiksel olarak işleyebileceği bir sayısal kod (vektör temsili) ile eşleştirilir.
Türkçenin Yapısı ve Token Tüketimi
Türkçe, yapısı gereği sondan eklemeli bir dildir. Bu durum, tokenizasyon sürecinde diğer dillere kıyasla belirgin farklılıklar yaratır. Örneğin İngilizcede tek bir kelime genellikle tek bir token anlamına gelirken, Türkçede bir köke eklenen her yeni ek kelimenin birden fazla parçaya bölünmesine neden olabilir.
Kadıköy Moda sahilinde butik bir kafe işleten bir esnafı düşünelim. Bu işletme, menü duyurusunu hazırlarken yapay zekaya kahvelerimizdekiler gibi bir ifade yazdığında, model bu kelimeyi tek parça olarak algılamaz. Kelime muhtemelen kahve, lerimiz, deki ve ler gibi farklı alt parçalara ayrılır. Benzer şekilde Kapalıçarşı esnafının e-Devlet veya fatura süreçleriyle ilgili yazdığı uzun resmi metinler, bol ek barındırdığı için İngilizce bir metne göre çok daha yüksek sayıda token harcar. Bu da Türkçede kullanılan metinlerin yapay zekada daha hızlı alan kaplamasına ve işlem kapasitesini daha çabuk tüketmesine yol açar.
Modellerin Garip Davranışlarının Arkasındaki Neden
Yapay zeka modellerinin bazı basit görevlerde neden zorlandığını anlamanın yolu tokenizasyondan geçer. Kullanıcıların sıkça karşılaştığı belirli tutarsızlıklar doğrudan bu mekanizmayla ilişkilidir:
Örneğin bir modele belirli bir kelimenin içinde kaç tane 'e' harfi olduğunu sorduğunuzda model çoğu zaman yanlış yanıt verebilir. Çünkü model kelimeyi harfler bütünü olarak değil, o kelimeyi temsil eden hazır bir token kodu olarak görür. Tokenin içindeki münferit harfleri sayması için ekstra bir işlem yapması gerekir. Aynı şekilde, tek bir harfi yanlış yazılan bir kelime tamamen farklı alt tokenlara ayrıldığı için modelin kafası karışabilir veya bağlamdan kopabilir.
Tokenleri Tasarruflu Kullanmak İçin Pratik Adımlar
Yapay zeka araçlarını ister iş yerinizde müşteri e-postalarını yanıtlamak ister bir proje taslağı hazırlamak için kullanın, token verimliliği hem yanıt hızını artırır hem de maliyetleri düşürür. Süreci optimize etmek için şu pratik kurallara dikkat edebilirsiniz:
- Gereksiz dolgu sözcüklerinden kaçının: Sorularınızı sorarken aşırı kibarlık ifadeleri, uzun tekrarlar veya anlamsız giriş cümleleri yerine doğrudan konuyu aktarın.
- Yazım kurallarına özen gösterin: Hatalı yazılmış sözcükler harf düzeyinde parçalandığı için fazladan token harcar. Düzgün bir Türkçe ile yazmak token israfını önler.
- Yapılandırılmış metinler kullanın: Uzun paragraflar yerine maddeler veya net başlıklar kullanmak, modelin bağlam penceresini daha verimli kullanmasını sağlar.
Sık Yapılan Hatalar
En sık yapılan hata, her kelimenin kesin olarak bir token ettiğini varsaymaktır. Özellikle Türkçede ortalama olarak her kelime 1,5 ile 2 token arasında bir büyüklüğe denk gelir. Diğer bir yanılgı ise boşlukların, satır sonlarının ve noktalama işaretlerinin hesaba katılmamasıdır. Cümle aralarındaki her boşluk, virgül veya satır başı da bağımsız birer token ya da bir parçanın unsuru olarak işlem görür. Modelinizin hafızasını ve bağlam sınırını yönetirken bu detayları göz önünde bulundurmak çalışmalarınızın başarısını doğrudan etkiler.
Sıkça sorulan sorular
Bir token tam olarak kaç karaktere denk gelir?
Genel kural olarak İngilizce metinlerde bir token yaklaşık 4 karaktere veya ortalama bir kelimenin dörtte üçüne karşılık gelir. Ancak Türkçede ek yapısı ve özel karakterler sebebiyle bir token genellikle 2-3 karakter civarında kalabilir.
Boşluklar ve noktalama işaretleri de token sayılır mı?
Evet. Cümleler arasındaki boşluklar, nokta, virgül ve satır başı gibi tüm biçimlendirme işaretleri tokenizasyon sürecine dahil edilir ve token limitinden harcar.
Token sınırını aşarsam ne olur?
Yapay zeka modelinin tek seferde işleyebileceği bağlam penceresi dolduğunda, model konuşmanın en başındaki detayları unutmaya başlar veya yeni girdi kabul etmeyi reddeder.
