Token (KI)
Ein Token ist die kleinste Informationseinheit, in die Sprachmodelle Texte zerlegen, um Sprache mathematisch zu verarbeiten und zu berechnen.
Ein Token ist in der Welt der künstlichen Intelligenz der grundlegende Baustein, den ein Sprachmodell zur Verarbeitung von Text nutzt. Wenn Sie eine Eingabe in einen Chatbot tippen, liest die Maschine keine vollständigen Sätze, Wörter oder einzelne Buchstaben, sondern zerlegt den Inhalt vorab in handliche Textfragmente. Ein Token kann ein ganzes Wort sein, aber ebenso eine Silbe, eine Wortendung, ein einzelnes Satzzeichen oder auch nur ein Leerzeichen.
Diese Zerlegung, in der Fachsprache als Tokenisierung bezeichnet, ermöglicht es neuronalen Netzen, Sprache als Zahlenfolgen abzubilden und statistische Wahrscheinlichkeiten für das jeweils nächste Textstück zu berechnen. Aus diesem Grund sind Tokens das zentrale Maß für die Leistung, die Kapazität und den Ressourcenverbrauch von Sprachmodellen.
Wie Sprachmodelle Text in Tokens zerlegen
Die Zerlegung von Texten erfolgt nicht willkürlich, sondern folgt festen Wörterbüchern, die während des Trainings des Modells definiert wurden. Häufige Begriffe der Alltagssprache werden oft als ein einziges Token erfasst. Seltene Ausdrücke, Fachtermini oder orthografisch komplexe Konstruktionen werden dagegen in kleinere Einheiten gespalten.
Für den deutschen Sprachraum bringt dies eine sprachliche Besonderheit mit sich: Die deutsche Grammatik mit ihren Flektionen, Umlauten und vor allem den langen Komposita führt dazu, dass Wörter überdurchschnittlich oft geteilt werden. Während ein englisches Wort häufig genau einem Token entspricht, benötigt ein deutscher Begriff wie Handwerkskammer oder Mehrwertsteuererklärung meist drei bis fünf Tokens. Auch Umlaute wie ä, ö und ü erfordern bei älteren Modellen gelegentlich zusätzliche Tokens, weil sie aus mehreren Zeichenbausteinen zusammengesetzt werden.
Wie viele Wörter umfasst ein Token?
Eine exakte Umrechnung von Wörtern in Tokens existiert nicht, da das Ergebnis vom gewählten Tokenizer und der jeweiligen Sprache abhängt. Für den Alltag gilt jedoch eine verlässliche Faustregel:
- Im Englischen: Ein Token entspricht ungefähr 0,75 Wörtern. Ein Text mit 100 Wörtern besteht demnach meist aus etwa 130 bis 140 Tokens.
- Im Deutschen: Ein Token entspricht durchschnittlich eher 0,5 bis 0,6 Wörtern. Ein typischer deutscher Fließtext mit 100 Wörtern verbraucht daher oft zwischen 150 und 190 Tokens.
- Sonderzeichen und Code: Satzzeichen, Tabulatoren, Programmiercode oder Zahlenketten treiben die Token-Zahl nach oben, da sie häufig separat kodiert werden.
Praxisbeispiel: Token-Verbrauch im DACH-Alltag
Stellen Sie sich eine Rechtsanwaltskanzlei in Frankfurt am Main oder ein Treuhandbüro in Winterthur vor, das Kundenverträge mithilfe einer KI-Schnittstelle analysieren möchte. Ein hochgeladener Arbeitsvertrag umfasst 3.000 deutsche Wörter. Durch juristische Fachbegriffe, Aufzählungszeichen und Passagen mit Paragrafen summiert sich dieser Text nicht auf 3.000 Einheiten, sondern auf knapp 5.500 Tokens.
Möchte die Kanzlei nun eine Zusammenfassung anfordern, müssen zwei Arten von Tokens einkalkuliert werden: die Input-Tokens für den übermittelten Vertrag samt Arbeitsanweisung und die Output-Tokens, die das Modell für die Formulierung der Antwort erzeugt. Beide Werte bestimmen direkt die Berechnungsdauer und die Kosten der genutzten Schnittstelle.
Warum Tokens die Währung der modernen KI sind
In der Praxis begegnen Ihnen Tokens an drei entscheidenden Stellen:
- Kontextfenster: Jedes Modell verfügt über ein maximales Arbeitsgedächtnis, das strikt in Tokens gemessen wird. Wenn ein Dokument oder ein langer Dialog dieses Limit übersteigt, vergisst das System frühere Abschnitte oder bricht die Antwort ab.
- Abrechnung über Schnittstellen (APIs): Softwareunternehmen zahlen für den Zugriff auf externe Sprachmodelle exakt nach dem Verbrauch, meist berechnet pro eine Million Input- und Output-Tokens.
- Geschwindigkeit: Die Ausgabe eines Modells erfolgt Token für Token. Je umfangreicher die gewünschte Antwort in Tokens ist, desto länger dauert der Streaming-Prozess im Browser.
Typische Fehler im Umgang mit Tokens
Ein weit verbreiteter Fehler besteht darin, Tokens mit Buchstaben oder Wörtern gleichzusetzen. Wer versucht, ein Kontextfenster rein anhand der Zeichenanzahl einer Textverarbeitung zu planen, erlebt bei deutschen Fachtexten oft eine böse Überraschung, da das Limit deutlich früher erreicht wird als erwartet.
Ein weiteres Missverständnis betrifft die System-Prompts: Vorangestellte Instruktionen, Rollenbeschreibungen und Formatvorgaben, die unsichtbar vor jeder Benutzeranfrage an die KI geschickt werden, verbrauchen bei jedem einzelnen Schritt Tokens. Wer effizient arbeiten will, hält Prompts präzise und verzichtet auf unnötige Füllwörter.
Häufig gestellte Fragen
Wie viele Zeichen hat ein Token im Durchschnitt?
Im Durchschnitt umfasst ein Token etwa vier Schriftzeichen inklusive Leerzeichen, wobei dies bei deutschen Texten mit langen Wörtern variieren kann.
Warum ist die deutsche Sprache bei KI-Tokens oft teurer als Englisch?
Weil Modelle primär auf englischen Textkorpora trainiert wurden. Deutsche Komposita und Beugungen werden daher in mehr Teil-Tokens zerlegt als englische Wörter.
Zählen Leerzeichen und Satzzeichen als eigene Tokens?
Ja, auch Satzzeichen, Zeilenumbrüche und vor Wörtern stehende Leerzeichen werden vom Tokenizer als eigene Einheiten oder Bestandteile von Tokens erfasst.
Was geschieht, wenn das Token-Limit eines Chats erreicht ist?
Das Modell kann die frühesten Teile des Gesprächs nicht mehr berücksichtigen oder gibt eine Fehlermeldung aus, dass die Eingabe für das Kontextfenster zu lang ist.
