Tokenizzazione
La tokenizzazione è il processo con cui un modello di intelligenza artificiale scompone un testo in unità minime chiamate token per poterlo comprendere ed elaborare.
La tokenizzazione è il procedimento con cui un modello di intelligenza artificiale divide una stringa di testo continuo in blocchi elementari, detti token. Questi frammenti possono rappresentare intere parole, parti di vocaboli, singoli caratteri o persino segni di punteggiatura e spazi. Prima che un algoritmo possa comprendere una richiesta, deve tradurre le lettere in vettori numerici, e la tokenizzazione rappresenta proprio il primo passaggio di questa catena di montaggio.
Nel campo dell'elaborazione del linguaggio naturale (NLP), i modelli non leggono come farebbe una persona da sinistra a destra lettera per lettera. Al contrario, confrontano le sequenze di caratteri con un vocabolario predefinito, creato durante la fase iniziale di addestramento. A seconda di come questo vocabolario è stato impostato, la stessa frase può essere spezzettata in modi profondamente diversi.
Come funziona la suddivisione del testo
I moderni modelli linguistici impiegano quasi sempre algoritmi di sotto-parole. Questo significa che le parole più diffuse e comuni nei dati di addestramento vengono memorizzate come un unico token, mentre i termini rari, i composti o le parole scritte con errori ortografici vengono scomposti in due o più elementi.
Il vocabolario del modello ha dimensioni fisse. Se una parola non è presente per intero nella lista, l'algoritmo cerca la combinazione più efficiente di pezzi più piccoli già conosciuti. Di conseguenza:
- I termini frequenti richiedono un solo token.
- I termini specialistici, i neologismi e le parole con refusi si frammentano in molteplici sotto-parole.
- La punteggiatura, i caratteri speciali e gli spazi bianchi vengono spesso trattati come token a sé stanti o attaccati all'inizio del vocabolo successivo.
Un esempio pratico: dal panificio alla burocrazia locale
Immaginiamo una bottega artigiana a Faenza che prepara la newsletter settimanale per promuovere una torta di ricotta e marroni, oppure un ufficio postale di provincia che digitalizza un modulo di cambio residenza. Se il modello riceve la parola comune pane, la riconosce all'istante come singolo token. Se invece riceve una parola più complessa o dialettale, come piadina romagnola o un cognome raro legato a un comune dell'entroterra, il testo subirà una divisione più frammentata.
Lo stesso accade per i documenti formali: un codice fiscale, un numero di protocollo o una sigla catastale come FG-342/BIS non esistono nel vocabolario standard. Il sistema dovrà dividerli in frammenti minuscoli, a volte persino carattere per carattere, consumando una porzione di risorse molto maggiore rispetto a una frase colloquiale di pari lunghezza.
I comportamenti curiosi dei modelli spiegati dai token
La natura della tokenizzazione spiega molte stranezze che gli utenti riscontrano quotidianamente. Una delle più note riguarda l'incapacità occasionale di contare quante volte compare una determinata lettera in una parola, ad esempio la lettera R nella parola carrozza. Poiché il sistema vede l'intera sequenza come un unico blocco concettuale o numero identificativo, non ha una visione immediata delle singole lettere che la compongono, a meno che non sia forzato a sillabarla.
Allo stesso tempo, questo meccanismo influenza il modo in cui il modello percepisce le diverse lingue. I modelli linguistici globali vengono istruiti in larga parte su contenuti in inglese. Di conseguenza, il loro vocabolario contiene molte più parole inglesi intere rispetto all'italiano, allo spagnolo o al tedesco. Una frase in italiano, contenendo più desinenze verbali e forme articolate, finisce spesso per consumare una quantità superiore di token rispetto allo stesso concetto espresso in lingua inglese.
Come gestire la tokenizzazione nel lavoro quotidiano
Capire questo meccanismo offre un enorme vantaggio operativo a professionisti, studenti e sviluppatori. I sistemi di intelligenza artificiale applicano tariffe e hanno vincoli di memoria (la cosiddetta finestra di contesto) basati sul numero complessivo di token scambiati.
Un errore comune consiste nel copiare testi grezzi presi da scansioni digitali piene di ritorni a capo superflui, spazi multipli, simboli non convenzionali o formattazioni complesse. Questo disordine riempie inutilmente la memoria del modello e può alterare la coerenza della risposta. Scrivere prompt chiari, eliminare le tabelle disordinate se non necessarie e correggere i refusi prima dell'invio permette di ridurre il consumo di calcolo, abbattere i costi e ottenere risposte molto più accurate.
Domande frequenti
Un token equivale sempre a una parola intera?
No, un token può essere una parola intera solo se è comune nel vocabolario del modello; parole rare, complesse o errate vengono spezzate in più parti o lettere.
Perché i testi in italiano consumano più token di quelli in inglese?
I vocabolari dei modelli vengono costruiti con una prevalenza di testi in inglese, quindi l'italiano ha meno parole intere dedicate e deve ricorrere più spesso a frammenti multipli per comporre ogni vocabolo.
Gli spazi e i segni di punteggiatura contano come token?
Sì, ogni virgola, punto, a capo o spazio può costituire un token a sé o venire accorpato alla parola successiva, consumando spazio nella memoria del modello.
La tokenizzazione influisce sul costo d'uso dei modelli?
Certamente, le piattaforme di intelligenza artificiale tariffano le richieste e le risposte in base al numero di token totali, quindi un testo sintetico e pulito costa meno.
