Beantwortet von der Redaktion von Business.Digital Stand
Ein Token ist die kleinste Verarbeitungseinheit in Sprachmodellen. Es entspricht ungefähr einem Wortteil oder einem Wort. “Unternehmen” könnte als ein Token verarbeitet werden, “Unternehmensberatung” als zwei oder drei. Das hängt vom Tokenizer des Modells ab.
Der Tokenizer ist ein Vorverarbeitungsschritt, der einen Text in Tokens zerlegt, bevor das Modell ihn verarbeitet. Gängige Tokenizer (Byte Pair Encoding, BPE) teilen häufige Wörter als einzelne Tokens und seltene Wörter in mehrere Teile auf.
Warum sind Tokens so wichtig?
Sie bestimmen zwei entscheidende Dinge: Kontextfenster und Kosten.
Das Kontextfenster ist die maximale Anzahl von Tokens, die ein Modell gleichzeitig verarbeiten kann. Die aktuellen Spitzenmodelle liegen bei mehreren hunderttausend bis rund einer Million Tokens, das entspricht Hunderten bis mehreren tausend Seiten Text. Das bestimmt, wie lange Texte, Dokumente oder Gesprächsverläufe das Modell berücksichtigen kann.
Die Kosten bei API-Diensten werden in Token gemessen. OpenAI, Anthropic und Google berechnen pro 1.000 oder 1 Million Input- und Output-Tokens. Das macht Tokens zur Währung beim API-Einsatz. 1.000 Tokens entsprechen ungefähr 750 englischen Wörtern oder etwa 600-700 deutschen Wörtern (Deutsch hat tendenziell längere Wörter und mehr Tokens pro Wort als Englisch).
Praktische Konsequenzen
Wer KI-APIs in Produktivumgebungen nutzt, sollte Tokens im Blick haben. Lange System Prompts kosten bei jeder Anfrage. Dokument-Verarbeitung mit RAG muss Chunk-Größen auf Token-Limits abstimmen. Konversationshistorie muss irgendwann abgeschnitten werden, wenn das Kontextfenster voll ist.
Das klingt nach viel, aber in der Praxis ist es handhabbar. Die meisten Anwendungsfälle für Unternehmen bewegen sich in Bereichen, wo Token-Kosten überschaubar bleiben. Bei der KI-Implementierung kalkulieren wir das mit ein.