Token (AI)
Token adalah unit teks dasar yang dipahami dan diproses oleh model kecerdasan buatan, bisa berupa satu kata, suku kata, atau karakter tunggal.
Token adalah potongan teks terkecil yang digunakan oleh model bahasa besar (LLM) seperti ChatGPT untuk membaca, memahami, dan memproduksi kalimat. Alih-alih membaca kalimat kata demi kata seperti manusia atau huruf demi huruf seperti mesin ketik konvensional, kecerdasan buatan memecah seluruh teks input menjadi kepingan informasi berukuran kecil yang disebut token.
Satu token tidak selalu setara dengan satu kata utuh. Dalam praktiknya, satu token bisa berupa kata lengkap, penggalan suku kata, awalan, akhiran, tanda baca, bahkan spasi ganda. Bagi pengembang maupun pengguna biasa, token berfungsi sebagai mata uang utama di ekosistem AI, karena batasan pesan, kapasitas memori model, hingga biaya layanan API semuanya dihitung berdasarkan total token yang dikirim dan diterima.
Bagaimana Cara Kerja Token dalam Kecerdasan Buatan?
Saat Anda mengetik pertanyaan di kolom pesan, teks tersebut tidak langsung masuk ke jaringan saraf tiruan dalam wujud alfabet. Teks melewati proses pemecahan yang disebut tokenisasi. Setiap pecahan teks diubah menjadi nomor identitas unik berupa angka, karena komputer hanya memahami matematika dan matriks angka.
Setelah model selesai melakukan komputasi, ia akan memilih angka berikutnya yang paling masuk akal secara statistik, lalu menerjemahkan kembali angka tersebut menjadi karakter teks yang bisa dibaca pengguna. Seluruh siklus ini terjadi dalam hitungan milidetik untuk setiap token yang keluar.
Mengapa Bahasa Indonesia Cenderung Lebih Boros Token?
Banyak model bahasa global dilatih menggunakan korpus data digital yang didominasi bahasa Inggris. Akibatnya, perbendaharaan potongan teks yang dikenali secara efisien umumnya berakar dari kosa kata bahasa Inggris. Satu kata umum dalam bahasa Inggris seperti apple atau market sering kali dihitung tepat sebagai satu token.
Situasinya berbeda untuk bahasa Indonesia yang kaya akan imbuhan kompleks. Kata majemuk berimbuhan seperti mempertanggungjawabkan atau keberlanjutan hampir selalu dipecah oleh mesin menjadi tiga sampai lima token berbeda (misalnya: mem, per, tanggung, jawab, kan). Tanda baca umum serta karakter khusus juga dihitung sebagai entitas mandiri. Inilah sebabnya dokumen berbahasa Indonesia berukuran sama cenderung mengonsumsi jatah token lebih banyak dibanding dokumen berbahasa Inggris.
Contoh Penerapan Nyata: Toko Online dan UMKM Lokal
Bayangkan Anda memiliki usaha konveksi pakaian di Bandung dan ingin menggunakan asisten virtual berbasis AI untuk membalas pesan pelanggan di aplikasi pesan instan secara otomatis. Anda memasukkan panduan toko, daftar ongkos kirim ke berbagai kecamatan, dan katalog produk ke dalam sistem.
Ketika seorang calon pembeli bertanya mengenai stok daster batik dan estimasi kirim ke Surabaya, sistem akan menghitung gabungan token dari:
- Instruksi dasar toko yang Anda pasang di sistem belakang (token masukan).
- Riwayat obrolan pembeli beberapa menit sebelumnya (token masukan).
- Pertanyaan baru yang diajukan oleh pembeli (token masukan).
- Jawaban rekomendasi produk dan ongkir yang dirumuskan oleh AI (token keluaran).
Jika total kombinasi tersebut melampaui batas jendela konteks yang dimiliki model AI Anda, sistem akan mulai lupa pada informasi awal katalog atau bahkan menolak merespons karena kapasitas token harian habis.
Kesalahan Umum Saat Memahami Token
Banyak pemula mengira bahwa batas input AI dihitung berdasarkan jumlah kata atau karakter di aplikasi pengolah kata. Anggapan ini keliru. Seribu kata dalam bahasa Indonesia bisa memakan hingga seribu lima ratus token, tergantung seberapa formal kosakata dan seberapa banyak imbuhan yang Anda gunakan.
Kesalahan umum lainnya adalah mengabaikan token tak kasat mata. Format kode tersembunyi, spasi berlebih, struktur tabel teks, dan karakter khusus seperti emoji juga menyedot jatah token dalam jumlah yang tidak sedikit. Memangkas instruksi prompt agar lebih ringkas dan to the point adalah strategi terbaik untuk menghemat kuota pemakaian serta menjaga kecepatan respon asisten AI Anda.
Pertanyaan umum
Satu kata berapa token dalam bahasa Indonesia?
Secara rata-rata, satu kata sederhana bahasa Indonesia bernilai antara 1 hingga 2 token, namun kata berimbuhan panjang bisa terpecah menjadi 3 hingga 5 token.
Apakah spasi dan tanda baca dihitung sebagai token?
Ya, tanda baca seperti koma, titik, tanda tanya, serta spasi atau baris baru dihitung sebagai token terpisah atau tergabung dengan potongan kata di dekatnya.
Apa bedanya token input dan token output?
Token input adalah teks yang Anda masukkan ke sistem sebagai instruksi, sedangkan token output adalah teks jawaban yang dirangkai dan ditampilkan oleh AI.
Mengapa AI saya berhenti menjawab di tengah kalimat?
Kondisi ini umumnya terjadi karena respons yang dihasilkan telah menyentuh batas maksimum keluaran token (output tokens) yang diizinkan untuk satu sesi pesan.
