Beantwortet von der Redaktion von Business.Digital Stand
Inference bezeichnet den Prozess, bei dem ein trainiertes KI-Modell eine Eingabe entgegennimmt, sie verarbeitet und eine Ausgabe erzeugt. Jede Anfrage an ChatGPT, jeder API-Call an Claude, jede automatisierte Verarbeitung eines Dokuments ist eine Inference.
Der Begriff stammt aus der Statistik und dem maschinellen Lernen, wo er den Schritt von bekannten Daten zu einer Schlussfolgerung beschreibt. Im modernen Kontext meint er schlicht: Modell läuft, Ergebnis kommt raus.
Warum Inference für Unternehmen kostenrelevant ist
KI-Anbieter berechnen ihre Dienste pro Inference, gemessen in verarbeiteten Tokens. Die Größenordnung bei den großen Modellen von OpenAI und Anthropic liegt bei wenigen Dollar pro Million Input-Tokens und dem Drei- bis Fünffachen für Output-Tokens. Die kleinen Modellvarianten kosten ein Bruchteil davon. Konkrete Preise ändern sich mehrmals pro Jahr, sie gehören in die Kalkulation immer frisch von der Preisseite des Anbieters.
Bei niedrigem Volumen ist das irrelevant. Bei hohem Volumen wird es zur wichtigsten Kostenvariable. Ein System, das täglich 10.000 Kundenanfragen mit je 1.000 Input-Tokens und 200 Output-Tokens verarbeitet, kostet allein für das Modell einen niedrigen vierstelligen Dollarbetrag pro Monat bei einem großen Modell. Bei einem kleinen Modell Sonnet: rund 1.800 Dollar. Das muss in der Kalkulation stehen.
Inference-Kosten optimieren
Die wichtigsten Hebel: erstens, das richtige Modell für die Aufgabe wählen. Das große Modell ist gut, aber die Mini- oder Nano-Variante desselben Anbieters ist für einfache Klassifizierungs- oder Extraktionsaufgaben oft genauso präzise und kostet über 90 Prozent weniger. Zweitens, Caching nutzen. Wenn viele Nutzer ähnliche Anfragen stellen, können Ergebnisse zwischengespeichert werden statt jedes Mal neu gerechnet zu werden. Drittens, Batch-Verarbeitung für nicht zeitkritische Aufgaben. Batch-APIs sind bei OpenAI und Anthropic 50% günstiger als Echtzeit-Anfragen.
Inference-Kosten sind planbar, wenn man sie von Anfang an im Blick hat. In Projekten, die wir planen, rechnen wir die Inference-Kosten als fixen Bestandteil der Betriebskosten durch, nicht als Überraschung im dritten Monat.
Mehr zu KI-Systemen und ihrer Wirtschaftlichkeit unter KI-Implementierung. Für eine konkrete Kostenschätzung für deinen Anwendungsfall buche einen Termin.