Was ist Inference?

Inference bezeichnet den Prozess, bei dem ein trainiertes KI-Modell eine Eingabe entgegennimmt, sie verarbeitet und eine Ausgabe erzeugt. Jede Anfrage an ChatGPT, jeder API-Call an Claude, jede automatisierte Verarbeitung eines Dokuments ist eine Inference.

Der Begriff stammt aus der Statistik und dem maschinellen Lernen, wo er den Schritt von bekannten Daten zu einer Schlussfolgerung beschreibt. Im modernen Kontext meint er schlicht: Modell läuft, Ergebnis kommt raus.

Warum Inference für Unternehmen kostenrelevant ist

KI-Anbieter berechnen ihre Dienste pro Inference, gemessen in verarbeiteten Tokens. OpenAI berechnet für GPT-4o aktuell 2,50 Dollar pro Million Input-Tokens und 10 Dollar pro Million Output-Tokens (Stand: Anfang 2025). Claude 3.5 Sonnet liegt bei 3 Dollar für Input, 15 Dollar für Output.

Bei niedrigem Volumen ist das irrelevant. Bei hohem Volumen wird es zur wichtigsten Kostenvariable. Ein System, das täglich 10.000 Kundenanfragen mit je 1.000 Input-Tokens und 200 Output-Tokens verarbeitet, kostet allein für das Modell rund 1.350 Dollar pro Monat bei GPT-4o. Bei Claude 3.5 Sonnet: rund 1.800 Dollar. Das muss in der Kalkulation stehen.

Inference-Kosten optimieren

Die wichtigsten Hebel: erstens, das richtige Modell für die Aufgabe wählen. GPT-4o ist gut, aber GPT-4o-mini ist für einfache Klassifizierungs- oder Extraktionsaufgaben genauso präzise und kostet 95% weniger. Zweitens, Caching nutzen. Wenn viele Nutzer ähnliche Anfragen stellen, können Ergebnisse zwischengespeichert werden statt jedes Mal neu gerechnet zu werden. Drittens, Batch-Verarbeitung für nicht zeitkritische Aufgaben. Batch-APIs sind bei OpenAI und Anthropic 50% günstiger als Echtzeit-Anfragen.

Inference-Kosten sind planbar, wenn man sie von Anfang an im Blick hat. In Projekten, die wir planen, rechnen wir die Inference-Kosten als fixen Bestandteil der Betriebskosten durch, nicht als Überraschung im dritten Monat.

Mehr zu KI-Systemen und ihrer Wirtschaftlichkeit unter KI-Implementierung. Für eine konkrete Kostenschätzung für deinen Anwendungsfall buche einen Termin.