Przejdź do treści
promptowy.com / Glosario de IA / Latencia (Latency)
Tecnología

Latencia (Latency)

La latencia en inteligencia artificial es el tiempo de espera que transcurre desde que se envía una instrucción hasta que el modelo empieza a responder.

La latencia en inteligencia artificial es el lapso temporal que transcurre entre el momento exacto en que un usuario o aplicación envía una consulta y el instante en que el sistema ofrece una respuesta. En el terreno de los modelos de lenguaje, esta métrica suele analizarse a través del tiempo hasta el primer token (conocido como TTFT por sus siglas en inglés), que representa cuánto tarda el software en empezar a mostrar las primeras palabras en pantalla.

Comprender esta demora resulta fundamental porque la percepción de velocidad condiciona por completo la experiencia de uso. Para un asistente de voz telefónico o una herramienta que autocompleta código mientras una persona escribe, unos milisegundos de retraso marcan la diferencia entre una interacción fluida y una conversación frustrante. En cambio, cuando el sistema analiza un balance fiscal anual o resume un expediente legal extenso, esperar varios segundos pasa a ser secundario frente a la precisión del análisis.

¿Qué elementos provocan el retraso al generar texto?

La velocidad de respuesta no depende únicamente de la conexión a internet, sino de una serie de fases computacionales complejas:

  • El tamaño de las instrucciones de entrada: Antes de escribir la primera palabra, el sistema debe leer y procesar todo el contexto previo, lo que incluye el historial de la conversación y los documentos adjuntos.
  • La arquitectura y volumen del modelo: Las redes neuronales con mayor número de parámetros exigen un esfuerzo de cálculo superior en cada paso de inferencia.
  • La saturación de los centros de datos: Si miles de usuarios consultan los servidores al mismo tiempo, las colas de peticiones incrementan los tiempos de espera de forma notable.
  • El modo de pensamiento o deducción: Los modelos diseñados para resolver problemas lógicos o matemáticos complejos generan cadenas de razonamiento previas entre bambalinas, lo que añade varios segundos intencionales a la latencia antes de devolver el texto final.

Un caso cotidiano: del taller mecánico a la clínica médica

Imaginemos una clínica dental en Madrid o un taller mecánico en Guadalajara que decide incorporar un asistente virtual para responder llamadas telefónicas y agendar citas por mensajería instantánea. En la llamada de voz, la latencia es crítica: si el cliente pregunta por los horarios disponibles y el sistema calla durante dos segundos, el interlocutor pensará que la línea se ha cortado o que el servicio funciona mal. Para esa tarea, la clínica necesita un modelo ágil, optimizado para devolver frases breves en fracciones de segundo.

Por el contrario, si esa misma clínica utiliza una herramienta para que el doctor dicte las notas de una endodoncia compleja y genere un informe clínico consolidado para la historia digital, el tiempo de procesamiento puede extenderse a diez o quince segundos sin perjuicio alguno. El profesional médico valora la rigurosidad terminológica y la ausencia de errores médicos por encima de la inmediatez absoluta.

Cómo gestionar y medir la latencia en proyectos reales

A la hora de diseñar soluciones basadas en modelos de lenguaje, los desarrolladores emplean varias técnicas para mejorar la percepción del tiempo y acelerar los procesos:

  1. Implementar flujo continuo de datos (streaming): En lugar de esperar a que la respuesta esté completa para mostrarla, se proyecta token a token en la pantalla conforme se genera, reduciendo la ansiedad de espera del usuario.
  2. Combinar modelos según la dificultad del reto: Es habitual encargar las preguntas frecuentes o la clasificación inicial a modelos compactos y ultrarrápidos, derivando únicamente las consultas complejas a sistemas de mayor tamaño.
  3. Reducir el tamaño de los contextos iniciales: Mantener mensajes del sistema concisos y evitar prompts sobrecargados disminuye el cálculo previo indispensable para procesar la entrada.
  4. Guardar en memoria intermedia (caching): Almacenar el cómputo de instrucciones fijas o preguntas repetitivas evita que el servidor procese desde cero la misma información una y otra vez.

El error más frecuente al evaluar la rapidez

Una equivocación habitual consiste en juzgar la velocidad de una aplicación de inteligencia artificial considerando únicamente el tiempo total que tarda en terminar de redactar un párrafo. Un sistema puede tardar cinco segundos en concluir un texto largo, pero si empieza a escribir a los doscientos milisegundos de haber recibido la pregunta, la persona sentirá una respuesta inmediata. El verdadero cuello de botella que arruina la interacción suele radicar en la espera previa al inicio de la respuesta, no en el ritmo de escritura posterior.

Preguntas frecuentes

¿Qué es el tiempo hasta el primer token o TTFT?

Es la cantidad de milisegundos que demora el modelo en procesar la entrada y entregar la primera palabra de la respuesta, siendo el indicador más claro de fluidez interactiva.

¿Por qué los modelos con razonamiento avanzado son más lentos?

Porque procesan internamente una serie de pasos reflexivos y verificaciones antes de mostrar el resultado, dedicando más tiempo de cómputo para minimizar equivocaciones.

¿Cómo influye el tamaño del prompt en la velocidad de respuesta?

A mayor cantidad de texto o documentos adjuntos en la consulta inicial, más tiempo de cálculo requiere el procesador para asimilar el contexto antes de empezar a escribir.

← Todos los términos del glosario de IA

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›