Przejdź do treści
promptowy.com / Glosarium AI / Latency (Latensi)
Teknologi

Latency (Latensi)

Latensi adalah jeda waktu antara perintah yang dikirim pengguna hingga sistem atau model kecerdasan buatan mulai memberikan respons pertama.

Latency adalah jeda waktu yang terjadi antara saat pengguna mengirimkan instruksi atau prompt hingga model kecerdasan buatan memberikan reaksi atau jawaban pertama. Dalam dunia kecerdasan buatan, latensi sering kali diukur menggunakan parameter waktu menuju token pertama atau time to first token. Metrik ini menunjukkan seberapa cepat mesin mulai berbicara kembali kepada pengguna setelah menerima data masukan.

Kecepatan respons ini memegang peranan krusial dalam kenyamanan interaksi digital. Pada skenario percakapan suara langsung atau fitur pelengkap kode otomatis saat pemrograman, jeda sepersekian detik sangat menentukan apakah sistem terasa alami atau kaku. Sebaliknya, untuk tugas analitis yang berat seperti pembuatan draf laporan keuangan tahunan, latensi yang lebih panjang biasanya masih dapat dimaklumi oleh pengguna.

Bagaimana Latensi Terjadi pada Model AI

Saat Anda menekan tombol kirim pada sebuah aplikasi berbasis AI, beberapa tahapan teknis berlangsung di balik layar. Pertama, data teks atau audio harus dikirimkan melalui jaringan internet menuju server tempat model AI berada. Setelah data tiba, sistem memproses seluruh konteks perintah tersebut melalui proses inferensi.

Model bahasa besar tidak menghasilkan seluruh paragraf sekaligus dalam satu kedipan mata. Model memprediksi kata demi kata, atau token demi token, secara berurutan. Latensi mencakup waktu transmisi jaringan, waktu tunggu antrean server, pemrosesan awal prompt, hingga komputasi internal sebelum karakter pertama berhasil dikirimkan kembali ke layar pengguna.

Penyebab Utama Tingginya Latensi

Tingkat keterlambatan respons sebuah model kecerdasan buatan dipengaruhi oleh kombinasi faktor arsitektur dan operasional, antara lain:

  • Ukuran parameter model: Model dengan kapasitas parameter raksasa membutuhkan daya komputasi yang jauh lebih masif untuk menghitung setiap prediksi token, sehingga respons awalnya cenderung lebih lambat dibandingkan model yang lebih ringkas.
  • Beban antrean server: Ketika ribuan pengguna mengakses antarmuka pemrograman aplikasi secara bersamaan, server penyedia layanan dapat mengalami kepadatan komputasi yang memperpanjang waktu tunggu.
  • Panjang konteks perintah: Mengunggah dokumen panduan kerja setebal puluhan halaman sebagai referensi prompt memaksa mesin membaca seluruh teks tersebut terlebih dahulu sebelum mulai merumuskan jawaban.
  • Metode pemikiran terstruktur: Model yang dirancang untuk penalaran mendalam biasanya menjalankan verifikasi langkah demi langkah di latar belakang sebelum menampilkan hasil akhir, sehingga menghasilkan latensi awal yang jauh lebih panjang.

Contoh Kasus Nyata: Chatbot Penjualan UMKM

Bayangkan sebuah UMKM produsen batik di Pekalongan yang memasang asisten virtual otomatis pada aplikasi pesan instan untuk melayani pesanan pelanggan dari Jakarta dan Surabaya. Pembeli di saluran digital umumnya menginginkan kepastian cepat mengenai ketersediaan stok motif dan ongkos kirim.

Jika integrasi sistem AI toko tersebut memiliki latensi hingga delapan detik hanya untuk menyapa kembali, calon pembeli mungkin mengira sistem sedang rusak atau layanan toko lambat, lalu beralih ke toko batik lain. Namun, jika pengembang sistem memilih arsitektur dengan latensi rendah di bawah satu detik, percakapan akan mengalir mulus selayaknya berbicara dengan staf penjualan manusia di toko fisik. Di sisi lain, ketika pemilik UMKM meminta sistem yang sama merangkum tren penjualan bulanan dari ribuan riwayat transaksi, jeda waktu beberapa puluh detik tidak menjadi masalah karena orientasinya adalah kedalaman analisis, bukan kecepatan interaksi langsung.

Cara Mengurangi Latensi API dalam Praktik

Bagi pengembang peranti lunak dan pemilik produk digital, latensi dapat dikendalikan dengan menerapkan pendekatan teknis yang terencana:

  1. Gunakan metode pengaliran teks: Mengaktifkan fitur streaming membuat pengguna dapat membaca kata-kata pertama secara instan saat mulai dihasilkan, alih-alih membiarkan mereka menatap layar kosong hingga seluruh jawaban selesai diproses.
  2. Kombinasikan beberapa jenis model: Terapkan model berukuran kecil yang sangat cepat untuk tugas penyaringan pesan, klasifikasi awal, atau percakapan santai. Alihkan tugas pemecahan masalah rumit ke model penalaran yang lebih besar hanya saat benar-benar dibutuhkan.
  3. Ringkas prompt acuan: Bersihkan instruksi sistem dari kalimat berulang dan batasi lampiran data konteks hanya pada informasi yang relevan agar beban komputasi awal berkurang.
  4. Pilih lokasi peladen terdekat: Menggunakan pusat data yang memiliki titik distribusi terdekat dengan lokasi pengguna di kawasan Asia Tenggara akan memangkas waktu tempuh jaringan internet secara signifikan.

Kekeliruan Umum tentang Latensi

Banyak orang menyamakan latensi dengan total waktu pembuatan teks secara keseluruhan. Padahal, latensi berfokus pada titik awal respons: kapan sistem mulai bereaksi. Sistem bisa saja memiliki latensi sangat rendah dengan mengeluarkan kata pertama dalam hitungan milidetik, namun membutuhkan waktu lama untuk menuntaskan tulisan yang panjang.

Kekeliruan lain adalah menganggap model paling pintar selalu menjadi pilihan terbaik untuk semua fitur produk. Memaksakan model terberat untuk sekadar menyapa pengguna atau menjawab pertanyaan sederhana hanya akan membebani pengalaman pengguna dengan jeda menunggu yang tidak perlu.

Pertanyaan umum

Apa beda antara latency dan throughput pada AI?

Latency adalah durasi jeda hingga respons pertama muncul, sedangkan throughput mengukur volume token atau data yang mampu diselesaikan sistem dalam jangka waktu tertentu.

Mengapa model reasoning membutuhkan waktu latensi lebih lama?

Model penalaran menjalankan serangkaian evaluasi mandiri dan pengecekan logika internal secara menyeluruh sebelum mengirimkan keluaran pertama kepada pengguna.

Apa yang dimaksud dengan TTFT saat mengukur performa AI?

TTFT merupakan singkatan dari Time to First Token, yaitu indikator utama latensi yang menghitung detik atau milidetik dari pengiriman prompt hingga token pertama muncul.

← Semua istilah di Glosarium AI

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›