Beantwortet von der Redaktion von Business.Digital Stand
Ein Confidence Score ist ein numerischer Wert, den viele KI-Modelle zusammen mit ihrer Ausgabe liefern. Er gibt an, wie sicher sich das Modell bei seiner Antwort ist. Typischerweise ein Prozentwert zwischen 0 und 100 oder ein Wert zwischen 0 und 1.
Ein Classifier, der eine E-Mail mit 97% Konfidenz als Reklamation einstuft, ist sehr sicher. Einer der 53% ausgibt, ist im Grunde ratlos und trifft eine Zufallsentscheidung.
Warum Confidence Scores wichtig sind
Ohne Confidence Score behandelst du alle Ausgaben gleich: Du vertraust jeder Klassifizierung zu 100% und verarbeitest sie automatisch. Damit übernimmst du auch alle Fehler blind, inklusive der Grenzfälle, bei denen das Modell selbst unsicher war.
Mit Confidence Score kannst du differenzieren. Fälle über 90%: vollautomatisch verarbeiten. Fälle zwischen 60% und 90%: automatisch verarbeiten, aber markieren für stichprobenartige Überprüfung. Fälle unter 60%: direkt in die menschliche Review-Queue.
Das ist das Prinzip des „Human in the loop”: Die KI verarbeitet den Großteil vollautomatisch, bei Unsicherheit entscheidet ein Mensch. Die Grenzwerte hängen vom Anwendungsfall und den Kosten eines Fehlers ab.
Wie Confidence Scores entstehen
Bei klassischen Machine-Learning-Modellen sind Confidence Scores direkt aus der Wahrscheinlichkeitsverteilung über die möglichen Klassen abgeleitet. Bei großen Sprachmodellen ist es komplizierter: Sie geben nicht automatisch Konfidenzwerte aus.
Du kannst ein LLM aber bitten, einen Konfidenzwert explizit als Teil der Ausgabe mitzuliefern: „Klassifiziere diese E-Mail und gib auch an, wie sicher du dir bist (0-100%).” Diese selbst eingeschätzten Konfidenzwerte sind eine grobe Annäherung, aber oft ausreichend für praktische Anwendungen.
Wie wir Classifier-Systeme mit sinnvollen Confidence-Thresholds bauen, erklären wir unter KI-Implementierung und Automation. Termin buchen.