Was ist ein Context Window?

Das Context Window ist die maximale Textmenge, die ein KI-Modell in einer einzigen Anfrage verarbeiten kann. Alles, was in diesem Fenster Platz hat, kann das Modell berücksichtigen. Was nicht hineinpasst, existiert für das Modell nicht.

Gemessen wird das Context Window in Tokens. Ein Token entspricht ungefähr 0,75 Wörtern im Deutschen. Ein 10-seitiges Dokument hat etwa 5.000 Tokens.

Aktuelle Größen im Vergleich

Die Kontextfenster der führenden Modelle sind in den letzten zwei Jahren stark gewachsen. GPT-4o verarbeitet 128.000 Tokens, was etwa 100 Seiten Text entspricht. Claude 3.5 Sonnet bietet 200.000 Tokens, knapp 160 Seiten. Gemini 1.5 Pro geht sogar bis zu einer Million Tokens.

Das klingt nach viel. Aber in der Praxis erreicht man Grenzen schneller als erwartet: ein langer System-Prompt (2.000 Tokens), der gesamte bisherige Chatverlauf, mehrere Dokumente aus dem RAG-System, und schon ist ein erheblicher Teil des Fensters belegt.

Was passiert wenn das Fenster voll ist

Ältere Teile des Gesprächsverlaufs werden abgeschnitten. Das Modell „vergisst” dann, was am Anfang besprochen wurde. Bei einem automatisierten System kann das zu inkonsistenten Antworten führen, wenn das Fenster nicht aktiv verwaltet wird.

Für lang laufende Prozesse gibt es Strategien: relevante Teile des Gesprächs zusammenfassen und komprimiert mitführen, statt alles im Original zu behalten. Oder den Verlauf in einen Vektorstore auslagern und nur die aktuell relevanten Ausschnitte zurückladen.

Die Größe des Context Windows beeinflusst auch die Kosten. Viele Anbieter berechnen pro Input-Token. Ein volles 200.000-Token-Fenster pro Anfrage ist deutlich teurer als eine Anfrage mit 2.000 Tokens. Für Systeme mit hohem Volumen spielt das eine erhebliche Rolle bei der Kostenkalkulation.

Wie wir KI-Architekturen planen und Kosten unter Kontrolle halten, erkläre ich unter KI-Implementierung. Wenn du planst, größere Dokumentenmengen mit KI zu verarbeiten, sprich uns an.