Was ist Caching bei KI-Anfragen?

Caching bedeutet, das Ergebnis einer KI-Anfrage zwischenzuspeichern und bei identischer oder sehr ähnlicher Anfrage direkt zurückzugeben, ohne das Modell erneut zu befragen. Das spart Kosten und reduziert die Antwortzeit auf wenige Millisekunden statt Sekunden.

Das Prinzip ist das gleiche wie bei Web-Caching: Wenn 1.000 Nutzer dieselbe Seite aufrufen, wird sie einmal berechnet und 999 Mal aus dem Cache ausgeliefert. Bei KI-Anfragen funktioniert das genauso.

Prompt Caching als API-Feature

Anthropic bietet Prompt Caching als natives API-Feature an. Wenn ein langer System-Prompt bei vielen Anfragen identisch ist, kann er gecacht werden. Die erste Anfrage zahlt den vollen Preis, jede folgende Anfrage mit demselben gecachten Prefix zahlt nur 10% des normalen Input-Preises. Bei einem System-Prompt von 5.000 Tokens und 10.000 täglichen Anfragen summiert sich das auf eine erhebliche Ersparnis.

OpenAI hat Ende 2024 ebenfalls automatisches Prompt Caching eingeführt, das für identische Prompt-Prefixe greift.

Application-Level Caching

Unabhängig vom Anbieter-Caching lohnt es sich, auf Anwendungsebene zu cachen. Wenn Nutzer regelmäßig dieselben Standardfragen stellen, speichere die Antwort in einem schnellen Cache wie Redis. Fragt jemand nach den Öffnungszeiten, kommt die Antwort aus dem Cache, nicht von der KI.

Das setzt allerdings voraus, dass die gecachten Antworten noch aktuell sind. Für statische Information wie Öffnungszeiten oder Produktspezifikationen ist das unproblematisch. Für dynamische Information wie Bestellstatus muss der Cache mit kurzer Lebensdauer oder gezielter Invalidierung arbeiten.

Wir bauen Caching als festen Bestandteil in KI-Architekturen ein, nicht als nachträgliches Optimierung. Mehr dazu unter KI-Implementierung und Automation. Termin vereinbaren.