Was ist ein Token in Sprachmodellen?

Ein Token ist die kleinste Verarbeitungseinheit in Sprachmodellen. Es entspricht ungefähr einem Wortteil oder einem Wort. “Unternehmen” könnte als ein Token verarbeitet werden, “Unternehmensberatung” als zwei oder drei. Das hängt vom Tokenizer des Modells ab.

Der Tokenizer ist ein Vorverarbeitungsschritt, der einen Text in Tokens zerlegt, bevor das Modell ihn verarbeitet. Gängige Tokenizer (Byte Pair Encoding, BPE) teilen häufige Wörter als einzelne Tokens und seltene Wörter in mehrere Teile auf.

Warum sind Tokens so wichtig?

Sie bestimmen zwei entscheidende Dinge: Kontextfenster und Kosten.

Das Kontextfenster ist die maximale Anzahl von Tokens, die ein Modell gleichzeitig verarbeiten kann. GPT-4 hat ein Kontextfenster von bis zu 128.000 Tokens, was etwa 96.000 Wörtern entspricht. Das bestimmt, wie lange Texte, Dokumente oder Gesprächsverläufe das Modell berücksichtigen kann.

Die Kosten bei API-Diensten werden in Token gemessen. OpenAI, Anthropic und Google berechnen pro 1.000 oder 1 Million Input- und Output-Tokens. Das macht Tokens zur Währung beim API-Einsatz. 1.000 Tokens entsprechen ungefähr 750 englischen Wörtern oder etwa 600-700 deutschen Wörtern (Deutsch hat tendenziell längere Wörter und mehr Tokens pro Wort als Englisch).

Praktische Konsequenzen

Wer KI-APIs in Produktivumgebungen nutzt, sollte Tokens im Blick haben. Lange System Prompts kosten bei jeder Anfrage. Dokument-Verarbeitung mit RAG muss Chunk-Größen auf Token-Limits abstimmen. Konversationshistorie muss irgendwann abgeschnitten werden, wenn das Kontextfenster voll ist.

Das klingt nach viel, aber in der Praxis ist es handhabbar. Die meisten Anwendungsfälle für Unternehmen bewegen sich in Bereichen, wo Token-Kosten überschaubar bleiben. Bei der KI-Implementierung kalkulieren wir das mit ein.

Du überlegst, wie sich das in deinem Unternehmen umsetzen lässt? In unserer KI- und Automations-Beratung schauen wir uns deine konkreten Prozesse an und zeigen, wo der größte Hebel liegt. Buche einfach einen kostenlosen Termin.