Przejdź do treści
promptowy.com / Glosario de IA / Tokenización (en inteligencia artificial)
Tecnología

Tokenización (en inteligencia artificial)

La tokenización es el proceso de dividir un texto en unidades mínimas llamadas tokens para que un modelo de lenguaje pueda comprenderlo y procesarlo.

La tokenización es el proceso técnico que consiste en fragmentar una secuencia de texto continuo en unidades más pequeñas, llamadas tokens, para que un modelo de inteligencia artificial pueda procesarlas matemáticamente. Antes de que un sistema de lenguaje genere una respuesta o analice un documento, necesita convertir las palabras escritas por humanos en una serie de números que su red neuronal pueda calcular.

Los modelos no leen frases completas como lo haría una persona ni analizan letras sueltas una a una. En su lugar, utilizan un diccionario cerrado de piezas de texto, definido durante su fase de entrenamiento, para descomponer cualquier mensaje de entrada en fragmentos reconocibles.

Cómo funciona la división del texto

Durante la tokenización, el algoritmo recorre el texto y busca las coincidencias más largas posibles dentro de su vocabulario predefinido. Las palabras muy frecuentes en el conjunto de datos de entrenamiento suelen convertirse en un único token. En cambio, los términos poco habituales, las erratas, los neologismos o los nombres propios se desglosan en partes más pequeñas conocidas como subpalabras, o incluso en caracteres individuales.

Por ejemplo, en un sistema habitual, una palabra común como casa puede equivaler a un único token. Sin embargo, un término compuesto, técnico o regional poco extendido en la red podría dividirse en dos, tres o más fragmentos. Los espacios en blanco y los signos de puntuación también suelen formar parte de estos bloques, lo que significa que un punto o una tilde pueden alterar la forma en que se segmenta una frase entera.

Un caso práctico en comercios locales

Para entender el impacto de este mecanismo en el día a día, imaginemos dos situaciones en pequeñas empresas de España y Latinoamérica:

  • Una panadería en Sevilla que automatiza pedidos por chat: Si un cliente escribe un mensaje directo como "Quiero dos barras de pan rústico", el modelo reconocerá casi todas las palabras como tokens completos y consumirá poca memoria de cálculo. Pero si el cliente escribe con erratas, abreviaturas o jerga local muy marcada, el analizador dividirá cada error ortográfico en múltiples sílabas o letras individuales, multiplicando el número de tokens procesados para un mismo pedido.
  • Un taller mecánico en Guadalajara, México, que procesa facturas: Si se sube una lista con referencias de piezas industriales llenas de números de serie arbitrarios, códigos alfanuméricos y guiones, el sistema no tendrá esas cadenas en su vocabulario. Como resultado, cada código se fragmentará en varios microtokens, ocupando mucho más espacio en la ventana de contexto que una descripción redactada en lenguaje natural sencillo.

Por qué la tokenización explica rarezas del modelo

Muchos de los comportamientos extraños de los asistentes de inteligencia artificial tienen su origen directo en la tokenización. El caso más conocido es la dificultad habitual que tienen para contar cuántas veces aparece una letra concreta dentro de una palabra. Dado que el modelo percibe la palabra como un bloque indivisible o como dos fragmentos semánticos, no "ve" las letras individuales a menos que se le obligue a deletrear el término paso a paso.

Asimismo, este diseño genera diferencias entre idiomas. Los vocabularios de la mayoría de los modelos globales se entrenan con una cantidad masiva de datos en inglés. Por esa razón, una misma idea expresada en español, portugués u otras lenguas suele requerir más tokens que en inglés, ya que las palabras en nuestro idioma tienden a dividirse en subpalabras con mayor frecuencia. Esto provoca que procesar un texto en español pueda consumir más capacidad de la ventana de contexto y generar un gasto superior en servicios de pago por uso.

Buenas prácticas para redactar prompts eficientes

Comprender cómo se segmenta el texto permite redactar instrucciones más limpias y aprovechar mejor los recursos computacionales:

  1. Mantener la ortografía limpia: Evitar erratas y dobles espacios innecesarios reduce la fragmentación excesiva en subpalabras diminutas.
  2. Ser directo y conciso: Cuanto menor sea el número de tokens en el prompt, más espacio quedará libre para que el modelo elabore una respuesta larga y detallada.
  3. Simplificar identificadores: Cuando trabaje con catálogos o bases de datos, use nombres descriptivos en lugar de secuencias largas de caracteres aleatorios que saturan el diccionario del modelo.

Errores comunes al interpretar este concepto

El error más extendido consiste en asumir que un token equivale exactamente a una palabra. En los textos en español, una regla aproximada suele situar la equivalencia en torno a tres o cuatro caracteres por token, pero no se trata de una cifra matemática exacta. Otro fallo frecuente es creer que los signos de puntuación no cuentan: un exceso de comas, emojis o saltos de línea repetidos incrementa el consumo de tokens de manera silenciosa.

Preguntas frecuentes

¿Un token equivale siempre a una palabra completa?

No, un token puede representar una palabra entera, una parte de ella (subpalabra), un único carácter o incluso un espacio. En términos generales para el español, una palabra suele equivaler a algo más de un token.

¿Por qué el español suele consumir más tokens que el inglés?

Porque los vocabularios de los modelos se diseñan con una presencia predominante de textos en inglés. Al haber menos ejemplos de palabras completas en español en su diccionario básico, el sistema tiende a descomponer nuestros términos en varios fragmentos más pequeños.

¿Cómo afecta la tokenización al límite de contexto de una IA?

La ventana de contexto de un modelo se mide en número total de tokens, no en palabras ni en páginas. Si un texto se tokeniza en fragmentos muy pequeños debido a erratas, formatos complejos o términos raros, la memoria disponible para procesar la conversación se agotará mucho más rápido.

¿Qué sucede con los números y códigos alfanuméricos al tokenizarse?

Los números largos y las referencias alfanuméricas casi nunca existen como una sola unidad en el diccionario del modelo, por lo que suelen dividirse en dígitos sueltos o parejas de caracteres, lo que encarece y ralentiza su procesamiento.

← Todos los términos del glosario de IA

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›