Was ist der F-Score und wann brauche ich ihn?

Der F-Score, meist F1-Score, ist eine Bewertungsmetrik für Klassifikationsmodelle, die zwei andere Metriken kombiniert: Precision und Recall. Er gibt eine einzelne Zahl zwischen 0 und 1 aus, wobei 1 perfekt bedeutet.

Warum braucht man das? Precision und Recall stehen oft im Widerspruch. Precision misst: Von allen als positiv klassifizierten Fällen, wie viele waren wirklich positiv? Recall misst: Von allen echten positiven Fällen, wie viele hat das Modell gefunden?

Ein konkretes Beispiel

Du baust ein Modell zur Erkennung von Betrugsversuchen. Ein Modell, das jeden zehnten Fall als Betrug markiert, hat hohe Precision (die meisten Alarme sind echt) aber niedrigen Recall (es übersieht viele Betrugsfälle). Ein Modell, das alles als Betrug markiert, hat perfekten Recall, aber katastrophale Precision.

Der F1-Score ist das harmonische Mittel aus beiden: 2 * (Precision * Recall) / (Precision + Recall). Das harmonische Mittel bestraft extreme Ungleichgewichte stärker als das arithmetische Mittel. Ein Modell mit 100% Recall und 1% Precision hat einen F1-Score von etwa 0,02, nicht von 50,5%.

F-Beta: wenn ein Faktor wichtiger ist

Der allgemeinere F-Beta-Score erlaubt es, Precision und Recall unterschiedlich zu gewichten. Bei Beta = 2 zählt Recall doppelt so viel wie Precision, sinnvoll wenn es schlimmer ist, echte Fälle zu verpassen als gelegentlich falsch Alarm zu schlagen.

Wann nutzt man den F-Score?

Bei unausgeglichenen Datensätzen, also wenn eine Klasse viel seltener ist als die andere. Betrug, Krankheiten, seltene Ereignisse. Wenn nur Accuracy betrachtet wird, kann das Modell gut aussehen, obwohl es die seltene Klasse komplett ignoriert.

Für eine fundierte Evaluation deiner KI-Systeme unterstützen wir in einer KI-Beratung.