Tokenisation (en intelligence artificielle)
La tokenisation est le découpage d'un texte en unités de base, appelées tokens, permettant à un modèle d'intelligence artificielle de le comprendre et de le traiter.
La tokenisation est le processus par lequel un modèle de traitement du langage découpe un texte brut en une série de petits fragments appelés tokens. Contrairement à un être humain qui perçoit une phrase comme une suite de mots ayant du sens, un grand modèle linguistique ne lit pas de lettres ni de phrases entières : il transforme ces morceaux de texte en identifiants numériques pour pouvoir effectuer ses calculs statistiques.
Ce découpage constitue la toute première étape de chaque interaction avec une intelligence artificielle. Que vous envoyiez une question sur une plateforme en ligne ou que vous automatisiez un service client, votre saisie passe obligatoirement par un outil dédié, le tokeniseur, avant que le modèle ne commence à générer la moindre réponse.
Comment fonctionne le découpage en sous-mots ?
Le fonctionnement de la tokenisation repose sur un dictionnaire prédéfini, établi une fois pour toutes pendant la phase d'entraînement du modèle. Ce dictionnaire contient plusieurs dizaines de milliers de fragments textuels standardisés. Les mots très fréquents, ainsi que les espaces et la ponctuation courante, disposent généralement de leur propre token. En revanche, les termes plus rares, les fautes de frappe ou les mots complexes sont systématiquement décomposés en sous-mots plus courts.
Pour illustrer cette mécanique dans notre quotidien francophone, prenons quelques exemples :
- Un mot très courant : Le terme « bonjour » ou « service » est souvent reconnu en un seul bloc par la plupart des modèles modernes.
- Un terme composé ou régional : Un mot comme « microbrasserie » ou un toponyme québécois comme « Trois-Rivières » peut être scindé en deux ou trois morceaux distincts.
- Une coquille involontaire : Si un habitant de Namur ou de Lyon tape « bnjr » au lieu de « bonjour », le modèle ne trouvera pas ce mot dans son vocabulaire de base et le morcellera lettre par lettre.
Pourquoi la tokenisation explique certains comportements étranges
Comprendre la tokenisation permet d'éclairer des faiblesses bien connues des intelligences génératives. L'une des difficultés les plus courantes concerne le comptage des lettres. Si vous demandez à une IA combien de fois la lettre « r » apparaît dans le mot « fraise », elle peut se tromper. Pour elle, le mot est ingéré sous la forme d'un jeton global représentant le concept, et non comme une suite de six lettres détachées. Elle ne voit pas directement la structure alphabétique interne.
De la même manière, la langue française utilise des accents et des caractères spéciaux qui peuvent alourdir le découpage. Selon la manière dont le tokeniseur a été entraîné, une consonne accentuée comme « é » ou un mot avec élision comme « l'école » peut mobiliser davantage de jetons qu'une formulation équivalente dans une langue dominante comme l'anglais.
L'impact direct sur les coûts et la mémoire du modèle
Pour un entrepreneur qui gère une boutique à Sherbrooke ou un cabinet comptable à Liège, ce détail technique a une portée économique majeure. La mémoire immédiate d'un modèle, appelée fenêtre de contexte, est strictement mesurée en nombre de tokens, tout comme la facturation des interfaces de programmation.
Chaque requête consomme un certain quota de tokens à l'entrée et en produit d'autres à la sortie. Un texte inutilement verbeux, mal ponctué ou truffé de coquilles génère un nombre artificiellement élevé de jetons. Cela réduit l'espace disponible pour fournir des consignes détaillées au modèle et augmente mécaniquement la facture d'utilisation sur les applications professionnelles.
L'erreur classique : confondre mot et token
L'erreur la plus fréquente consiste à estimer la longueur de ses textes en comptant simplement les mots. Dans les langues romanes, un texte d'une centaine de mots génère très souvent un tiers de tokens en plus, en raison des articles élidés, des accords grammaticaux et du vocabulaire administratif ou technique.
Pour optimiser vos échanges avec l'IA, adoptez une écriture directe, supprimez les espaces superflus et corrigez les fautes de frappe évidentes. Un texte clair et soigné préserve le contexte de travail, accélère la vitesse de génération et évite les erreurs d'interprétation dues à une fragmentation excessive.
Questions fréquentes
Est-ce qu'un token correspond toujours à un mot ?
Non. Un token peut représenter un mot complet pour les termes fréquents, mais il correspond souvent à une syllabe, un groupe de lettres ou un simple signe de ponctuation pour les mots rares ou spécialisés.
Pourquoi l'IA se trompe-t-elle souvent quand on lui demande d'épeler un mot ?
Parce qu'elle traite des tokens et non des lettres individuelles. Le mot lui arrive sous la forme d'un identifiant numérique global, ce qui rend le décompte ou l'analyse des lettres internes difficile pour elle.
Le français consomme-t-il plus de tokens que l'anglais ?
Généralement oui. Les modèles étant majoritairement entraînés sur des données anglophones, leur vocabulaire contient moins de mots français entiers, ce qui oblige le système à découper les phrases françaises en fragments plus petits.
Comment réduire le nombre de tokens dans une invite ?
Il suffit de rédiger des consignes concises, de corriger les fautes d'orthographe, d'éviter les formules de politesse superflues et de structurer le texte sans retours à la ligne inutiles.
