Przejdź do treści
promptowy.com / Glosario de IA / Token (en inteligencia artificial)
Tecnología

Token (en inteligencia artificial)

Un token es la unidad mínima de información que procesa un modelo de lenguaje, equivalente a una palabra, una sílaba o un grupo de caracteres.

Un token es la unidad fundamental de procesamiento que utilizan los modelos de lenguaje artificial para interpretar y generar texto. Cuando escribes una pregunta en un asistente virtual o envías un documento para su análisis, el sistema no lee oraciones completas ni letras sueltas como lo haría una persona: primero divide el texto en fragmentos pequeños denominados tokens, los convierte en números y luego calcula las respuestas más probables.

En la práctica, un token suele representar entre tres y cuatro caracteres de un idioma común, lo que equivale aproximadamente a tres cuartas partes de una palabra en inglés. Sin embargo, en español esta proporción varía debido a la morfología de nuestro idioma, las conjugaciones verbales y los signos ortográficos como las tildes.

¿A cuánto equivale un token en español?

La relación entre palabras y tokens no es fija. Depende enteramente del método de segmentación que utilice cada arquitectura de red neuronal. En términos generales, una palabra simple como sol o pan suele contabilizarse como un solo token. En cambio, términos más largos, compuestos o con sufijos complejos (por ejemplo, desafortunadamente o institucionalización) pueden descomponerse en tres o cuatro tokens diferentes.

El idioma español suele requerir un volumen ligeramente superior de tokens en comparación con el inglés para transmitir la misma idea. Esto ocurre porque muchos modelos han sido entrenados predominantemente con datos anglosajones, por lo que su diccionario interno agrupa mejor las palabras en inglés. Cuando el modelo encuentra una letra con tilde como la á o la ñ, a veces necesita dividir la sílaba en dos partes, incrementando el consumo total.

La moneda de cambio de los modelos de lenguaje

Los tokens representan el recurso operativo de la inteligencia artificial. Prácticamente todos los parámetros de uso giran en torno a ellos:

  • Ventana de contexto: Es la memoria de trabajo inmediata del modelo. Define cuántos tokens puede recordar en una sola interacción, sumando tus instrucciones previas y sus respuestas.
  • Límites de procesamiento: Cuando una herramienta avisa que un documento o solicitud es demasiado extenso, no se refiere a la cantidad de páginas ni al número de caracteres, sino a que se ha superado el tope de tokens admitidos.
  • Costes de infraestructura y herramientas: El uso de interfaces de programación se tarifa por bloques de miles o millones de tokens, diferenciando entre los que introduces como consulta y los que el sistema genera como respuesta.

Un ejemplo cotidiano: digitalizar un negocio local

Imagina que administras una ferretería en el centro de Guadalajara o una pequeña librería de barrio en Madrid. Decides utilizar un asistente automatizado para responder mensajes de clientes sobre presupuestos de pintura y herramientas de fontanería.

Si un cliente escribe: «Hola, ¿tienen disponibilidad de brochas de dos pulgadas y cuánto cuesta el envío a domicilio?», esa frase de dieciséis palabras puede descomponerse en unos veinticinco tokens al incluir los espacios, los signos de interrogación y las palabras con acento. Si tu sistema lee catálogos extensos en PDF para responder cada duda sencilla, cada consulta consumirá cientos de tokens en segundo plano. Comprender este funcionamiento te permite estructurar mejor la información para que tus herramientas trabajen de forma rápida y económica.

Errores comunes al calcular y gestionar tokens

El error más habitual entre los usuarios principiantes es asumir que una palabra equivale siempre a un token. Esta confusión provoca que muchas personas no entiendan por qué sus textos largos quedan cortados a mitad de una frase cuando intentan resumir contratos o informes extensos.

Otro descuido frecuente consiste en ignorar que la respuesta que genera la máquina también resta capacidad a la ventana de contexto. Si tu instrucción inicial ocupa casi todo el límite permitido, el modelo apenas tendrá espacio para redactar un par de párrafos antes de agotar su capacidad operativa.

Preguntas frecuentes

¿A cuántas palabras equivale una cantidad de 1000 tokens en español?

En español, 1000 tokens equivalen aproximadamente a unas 650 o 750 palabras comunes, dependiendo de la complejidad del vocabulario y el uso de tildes o signos.

¿Los espacios y los signos de puntuación consumen tokens?

Sí, los espacios en blanco, las comas, los puntos, los saltos de línea y los caracteres especiales se contabilizan como tokens o forman parte de fragmentos de token.

¿Por qué el español suele gastar más tokens que el inglés?

Porque los vocabularios de la mayoría de los modelos están más optimizados para el inglés, lo que obliga al algoritmo a fragmentar más las palabras en español, sus tildes y sus terminaciones verbales.

¿Qué ocurre cuando se supera el límite de tokens en una conversación?

El sistema suele truncar el texto de entrada, rechazar la solicitud con un mensaje de error o empezar a olvidar los mensajes más antiguos de la conversación.

← Todos los términos del glosario de IA

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›