Przejdź do treści
promptowy.com / Glossario IA / Token (intelligenza artificiale)
Tecnologia

Token (intelligenza artificiale)

Il token è l'unità fondamentale di testo elaborata dai modelli linguistici, corrispondente a una singola parola, a una sillaba o a una sequenza di caratteri.

Nel mondo dell'intelligenza artificiale e dei modelli linguistici, un token è l'unità elementare di informazione utilizzata per leggere, elaborare e generare testo. A differenza degli esseri umani, che interpretano le frasi leggendo intere parole o cogliendo concetti astratti, gli algoritmi scompongono ogni documento in piccoli frammenti numerici chiamati appunto token.

Un singolo token non coincide necessariamente con una parola completa. A seconda della struttura linguistica e della rarità dei vocaboli, un token può rappresentare una parola intera, una semplice sillaba, un prefisso, un segno di punteggiatura o persino un singolo carattere isolato. Comprendere questa distinzione è fondamentale per capire come ragiona l'IA e come vengono misurate le sue risorse.

Come funziona la frammentazione del testo

Il processo che trasforma il testo grezzo in frammenti leggibili dalla macchina si chiama tokenizzazione. Durante questa fase, il sistema analizza la sequenza di lettere e la divide basandosi su un vocabolario statistico predefinito. Le parole molto comuni nella lingua inglese o nelle principali lingue internazionali vengono spesso riconosciute come un unico token. I termini più rari, le parole composte o le forme verbali complesse vengono invece spezzettate in più unità.

Nella lingua italiana, per esempio, le desinenze verbali articolate, l'uso degli accenti e le forme tronche con l'apostrofo incidono direttamente sul conteggio. Una parola comune come casa può costituire un solo token, mentre un termine più lungo o tecnico, come riprogrammazione, viene quasi sempre suddiviso in due o tre frammenti distinti.

Quanti caratteri o parole compongono un token in italiano?

Come regola generale derivata dalla lingua inglese, si tende a stimare che un token corrisponda mediamente a circa quattro caratteri o a circa tre quarti di parola. Tuttavia, per l'italiano questa proporzione tende a variare sensibilmente:

  • Lunghezza media: l'italiano presenta vocaboli mediamente più lunghi rispetto all'inglese e ricchi di suffissi, il che fa aumentare il numero di token necessari per esprimere il medesimo concetto.
  • Accenti e apostrofi: caratteri specifici come è, perché o elisioni come l'amico possono talvolta generare frammenti aggiuntivi, a seconda di come il modello è stato addestrato.
  • Rapporto pratico: un testo italiano di 100 parole genera solitamente tra i 120 e i 150 token, rendendo l'elaborazione del testo leggermente più densa rispetto ad altre lingue.

Un esempio pratico: la gestione di un agriturismo in Toscana

Immaginiamo il proprietario di un agriturismo nel Chianti che decide di utilizzare un modello di intelligenza artificiale per riassumere le recensioni ricevute durante la stagione estiva e generare risposte personalizzate per i clienti italiani ed esteri. Il titolare carica decine di pagine contenenti commenti sul ristorante, sulle camere e sui servizi di degustazione.

Quando il proprietario invia questo blocco di dati all'assistente virtuale, il sistema calcola la lunghezza della richiesta non in base alle pagine o alle parole, ma convertendo tutto in token. Se il pacchetto di recensioni supera la capienza massima stabilita per quella sessione, il modello non rifiuterà il compito per eccesso di pagine, ma segnalerà il superamento della finestra di contesto, tagliando la parte iniziale del documento. Sapere gestire la densità dei token permette al titolare di inviare il testo a blocchi mirati, evitando perdite di informazioni preziose.

I token come vera e propria valuta dell'IA

I token rappresentano a tutti gli effetti la moneta con cui si misura l'attività di un modello linguistico. Questa metrica determina tre elementi cruciali dell'esperienza d'uso:

  1. La finestra di contesto: ovvero la memoria a breve termine del modello, che definisce quanti token complessivi il sistema può tenere a mente tra la domanda dell'utente e la risposta elaborata.
  2. Il consumo e la tariffazione: per chi sviluppa software o integra l'IA nella propria azienda, i servizi applicativi calcolano i costi di consumo sul numero di token inviati in entrata e generati in uscita.
  3. La velocità di generazione: le prestazioni dei server vengono comunemente misurate in token generati al secondo, un indicatore chiave per le risposte in tempo reale nei servizi di assistenza clienti.

Un errore comune da evitare

L'errore più diffuso tra chi si avvicina all'intelligenza artificiale consiste nel confondere il conteggio delle parole con quello dei token. Scrivere un prompt specificando all'assistente di comporre una risposta di esattamente cinquanta token produce quasi sempre un risultato imprevedibile, poiché il modello non pianifica il testo contando i frammenti come farebbe un cronista con le battute di un articolo. Per calcolare con precisione l'ingombro di un testo, la soluzione più efficace consiste nell'utilizzare strumenti digitali di conteggio token appositamente studiati per la tokenizzazione dei modelli linguistici.

Domande frequenti

Cosa sono i token in ChatGPT?

In ChatGPT i token sono i singoli blocchi di lettere o parole in cui il sistema divide il testo prima di comprenderlo e formulare una risposta.

Quanti caratteri ci sono in un token?

In media un token equivale a circa quattro caratteri di testo, ma in italiano questo valore può scendere per via di parole più lunghe, accenti o caratteri speciali.

Perché un modello dice che il testo è troppo lungo se ci sono poche pagine?

Il limite non si basa sulle pagine o sui paragrafi ma sul numero complessivo di token ammessi nella finestra di memoria del modello, che comprende sia la domanda sia la risposta.

← Tutti i termini del Glossario IA

🛒 Sklep Kinetyka CapCut Pro 460 zł/rok Lovable Pro 450 zł/rok Replit Core 119 zł/rok Zobacz wszystko →
× ‹ powiększenie ›