Beantwortet von der Redaktion von Business.Digital Stand
Modell-Drift bezeichnet die schrittweise Verschlechterung eines KI-Modells im Produktivbetrieb. Das Modell wurde auf historischen Daten trainiert. Die Welt ändert sich. Irgendwann weichen die tatsächlichen Eingaben so stark von den Trainingsdaten ab, dass die Modellleistung sinkt.
Das passiert häufiger als viele erwarten. Ein Betrugserkennungsmodell, das vor zwei Jahren trainiert wurde, kennt keine aktuellen Betrugsmaschen. Ein Nachfrageprognosemodell, das vor der Inflation trainiert wurde, kann das veränderte Kaufverhalten nicht antizipieren. Ein Sentimentanalyse-Modell versteht neue Slang-Ausdrücke nicht.
Zwei Arten von Drift
Data Drift: Die Verteilung der Eingabedaten ändert sich. Kunden suchen heute andere Begriffe als vor drei Jahren. Das Modell bekommt Input, der seinem Training nicht mehr ähnelt. Concept Drift: Die Beziehung zwischen Input und Output ändert sich. Was früher Spam war, hat heute andere Merkmale. Was früher auf Kauf hindeutete, gilt heute nicht mehr.
Wie erkennt man Drift?
Monitoring der Modellleistung ist der Standardansatz: Vergleiche regelmäßig die Vorhersagen des Modells mit tatsächlichen Ergebnissen. Wenn die Accuracy, der F-Score oder andere Metriken sinken, ist das ein Signal.
Statistical Drift Detection: Vergleiche die Verteilung der Eingabedaten über Zeit auf signifikante Abweichungen. Tools wie Evidently AI, WhyLogs oder MLflow helfen bei der Implementierung.
Was tut man bei Drift?
Neu trainieren oder fine-tunen auf aktuellen Daten. Regelmäßige Retraining-Zyklen einplanen. Für dynamische Bereiche kürzere Zyklen. Für stabile Bereiche längere.
Ein Modell ohne Monitoring ist kein Produktivsystem, sondern ein Experiment. Bei der KI-Implementierung planen wir immer Monitoring und Maintenance-Strategie mit ein.