Tokenisasi (Tokenization)
Tokenisasi adalah proses memecah teks menjadi potongan kecil bernama token agar dapat dipahami dan diproses secara matematis oleh model kecerdasan buatan.
Tokenisasi adalah proses memotong atau memecah teks mentah menjadi bagian-bagian yang lebih kecil yang disebut token. Dalam dunia kecerdasan buatan dan pemrosesan bahasa alami, komputer tidak membaca kata atau kalimat seperti manusia. Komputer hanya memahami angka, sehingga setiap teks yang dimasukkan ke dalam sistem harus dipecah terlebih dahulu menjadi unit standar sebelum diubah menjadi representasi numerik.
Unit kecil atau token ini tidak selalu berupa satu kata utuh. Tergantung pada kamus kosakata yang dimiliki oleh model, sebuah token bisa berupa satu kata penuh, suku kata, gabungan beberapa huruf, tanda baca, atau bahkan satu karakter tunggal termasuk spasi. Pemahaman tentang tokenisasi sangat penting bagi siapa saja yang menggunakan teknologi AI secara rutin, karena proses ini mempengaruhi cara model berpikir, akurasi jawaban, dan efisiensi ruang memori pemrosesan.
Bagaimana Cara Kerja Tokenizer?
Di balik layar, proses pemotongan teks dilakukan oleh sebuah modul perangkat lunak bernama tokenizer. Tokenizer bekerja berdasarkan daftar kosakata tetap yang sudah dipelajari saat model dilatih pertama kali. Daftar ini berisi puluhan ribu potongan teks yang paling sering muncul di data latih.
Ketika Anda memasukkan kalimat, tokenizer akan mencocokkan teks tersebut dengan isi kamusnya menggunakan aturan berikut:
- Kata yang sangat umum: Kata-kata populer yang sering dijumpai biasanya diakui sebagai satu token tunggal yang utuh.
- Kata majemuk atau berimbuhan: Kata yang lebih panjang sering dipecah menjadi beberapa sub-kata, misalnya bagian awalan, kata dasar, dan akhiran.
- Kata langka, istilah teknis, atau salah ketik: Jika sebuah kata tidak dikenali sama sekali dalam kamus, tokenizer akan memecahnya menjadi potongan-potongan huruf yang sangat kecil agar tetap bisa diproses.
- Tanda baca dan spasi: Titik, koma, spasi ganda, dan simbol khusus lainnya hampir selalu dipisahkan menjadi token tersendiri.
Contoh Kasus Tokenisasi dalam Bahasa Indonesia
Bayangkan sebuah UMKM kedai kopi di Yogyakarta yang ingin membuat sistem layanan pelanggan otomatis untuk membalas pesan WhatsApp. Pemilik kedai memasukkan instruksi seperti: Tolong buatkan konfirmasi pesanan Kopi Susu Gula Aren ukuran literan.
Bagi mata manusia, kalimat tersebut terdiri dari sembilan kata. Namun bagi tokenizer AI, jumlah potongannya bisa jauh berbeda. Kata umum seperti Kopi mungkin dihitung sebagai satu token utuh. Sebaliknya, kata berimbuhan seperti literan atau istilah lokal seperti Gula Aren bisa saja dipecah menjadi dua hingga tiga token terpisah karena frekuensi kemunculannya dalam data latih global tidak sebanyak padanan bahasa Inggrisnya.
Jika pelanggan mengetik dengan singkatan khas percakapan santai, misalnya sy mw psn skrg, tokenizer akan memecah hampir setiap singkatan menjadi token berbasis karakter individu. Akibatnya, kalimat pendek yang penuh singkatan atau salah ketik justru bisa menghasilkan jumlah token yang jauh lebih banyak daripada kalimat baku yang ditulis dengan rapi.
Mengapa Tokenisasi Menjelaskan Keanehan Model AI?
Banyak pengguna heran mengapa model kecerdasan buatan yang tampak sangat pintar terkadang gagal melakukan hal sepele, seperti menghitung jumlah huruf tertentu dalam sebuah kata. Jawabannya berakar pada tokenisasi. Karena AI memproses teks dalam bentuk potongan token dan bukan huruf per huruf, model tidak benar-benar melihat susunan alfabet secara visual. Model hanya melihat kode angka dari token tersebut.
Selain itu, tokenisasi juga menjelaskan mengapa bahasa non-Inggris sering kali membutuhkan kuota token yang lebih besar untuk menyampaikan pesan dengan panjang yang sama. Karena sebagian besar model dilatih menggunakan porsi data bahasa Inggris yang dominan, kosakata token mereka sangat efisien untuk bahasa Inggris, sementara kalimat bahasa Indonesia cenderung dipecah menjadi lebih banyak sub-kata kecil.
Langkah Praktis Mengoptimalkan Teks
Memahami tokenisasi memberi keuntungan nyata bagi pengguna aplikasi AI, terutama dalam menjaga agar batas konteks tidak cepat habis:
- Gunakan ejaan baku: Hindari penulisan kata dengan huruf berulang berlebihan atau salah ketik, karena kata yang rusak akan terpecah menjadi banyak token huruf tunggal.
- Tulis instruksi secara padat: Hapus basa-basi yang tidak perlu. Kalimat instruksi yang ringkas langsung ke inti masalah menghemat ruang token secara signifikan.
- Rapikan spasi dan format: Hapus spasi ganda yang tidak disengaja dan baris kosong yang menumpuk, karena setiap karakter spasi tambahan tetap dihitung oleh sistem.
Pertanyaan umum
Apa perbedaan antara kata dan token?
Kata adalah unit bahasa alami yang dipisahkan oleh spasi, sedangkan token adalah unit pemrosesan AI yang bisa berupa kata utuh, potongan suku kata, atau tanda baca.
Mengapa satu kata bahasa Indonesia bisa dihitung menjadi beberapa token?
Jika kata tersebut mengandung imbuhan kompleks atau jarang muncul dalam data pelatihan model, sistem memecahnya menjadi potongan sub-kata agar tetap bisa dikenali.
Apakah spasi dan tanda titik dihitung sebagai token?
Ya, spasi, tanda baca, simbol baris baru, dan karakter khusus lainnya dihitung sebagai bagian dari token tersendiri dalam sistem AI.
Bagaimana cara menghemat penggunaan token saat menulis prompt?
Gunakan bahasa yang jelas dan ringkas, hindari salah ketik, kurangi singkatan informal, serta bersihkan format teks dari spasi atau baris kosong yang berlebihan.
