Was ist ein Confidence Score?

Ein Confidence Score ist ein numerischer Wert, den viele KI-Modelle zusammen mit ihrer Ausgabe liefern. Er gibt an, wie sicher sich das Modell bei seiner Antwort ist. Typischerweise ein Prozentwert zwischen 0 und 100 oder ein Wert zwischen 0 und 1.

Ein Classifier, der eine E-Mail mit 97% Konfidenz als Reklamation einstuft, ist sehr sicher. Einer der 53% ausgibt, ist im Grunde ratlos und trifft eine Zufallsentscheidung.

Warum Confidence Scores wichtig sind

Ohne Confidence Score behandelst du alle Ausgaben gleich: Du vertraust jeder Klassifizierung zu 100% und verarbeitest sie automatisch. Damit übernimmst du auch alle Fehler blind, inklusive der Grenzfälle, bei denen das Modell selbst unsicher war.

Mit Confidence Score kannst du differenzieren. Fälle über 90%: vollautomatisch verarbeiten. Fälle zwischen 60% und 90%: automatisch verarbeiten, aber markieren für stichprobenartige Überprüfung. Fälle unter 60%: direkt in die menschliche Review-Queue.

Das ist das Prinzip des „Human in the loop”: Die KI verarbeitet den Großteil vollautomatisch, bei Unsicherheit entscheidet ein Mensch. Die Grenzwerte hängen vom Anwendungsfall und den Kosten eines Fehlers ab.

Wie Confidence Scores entstehen

Bei klassischen Machine-Learning-Modellen sind Confidence Scores direkt aus der Wahrscheinlichkeitsverteilung über die möglichen Klassen abgeleitet. Bei großen Sprachmodellen ist es komplizierter: Sie geben nicht automatisch Konfidenzwerte aus.

Du kannst ein LLM aber bitten, einen Konfidenzwert explizit als Teil der Ausgabe mitzuliefern: „Klassifiziere diese E-Mail und gib auch an, wie sicher du dir bist (0-100%).” Diese selbst eingeschätzten Konfidenzwerte sind eine grobe Annäherung, aber oft ausreichend für praktische Anwendungen.

Wie wir Classifier-Systeme mit sinnvollen Confidence-Thresholds bauen, erkläre ich unter KI-Implementierung und Automation. Termin buchen.