Beantwortet von der Redaktion von Business.Digital Stand
Regularisierung ist eine Sammlung von Techniken, die verhindern sollen, dass ein KI-Modell übermäßig komplex wird und Trainingsdaten auswendig lernt statt zu generalisieren. Sie “zwingt” das Modell zur Vereinfachung, indem Komplexität beim Training bestraft wird.
Das grundlegende Problem: Ein Modell kann sich immer besser auf Trainingsdaten anpassen, aber gleichzeitig schlechter auf neuen Daten werden. Regularisierung zieht die Bremse.
Die wichtigsten Methoden
L1-Regularisierung (Lasso): Addiert zur Loss Function die Summe der absoluten Gewichtswerte. Das drängt viele Gewichte gegen Null. Ergebnis: ein sparsames Modell, das nur wenige Features nutzt. Nützlich, wenn Feature-Selektion gewünscht ist.
L2-Regularisierung (Ridge): Addiert die Summe der quadrierten Gewichtswerte. Drängt Gewichte gegen Null, aber nicht exakt dorthin. Führt zu gleichmäßig kleinen Gewichten. Standard in vielen Anwendungen.
Dropout: Zufällig werden während des Trainings Neuronen deaktiviert. Das verhindert, dass das Netz sich auf bestimmte Neuronen verlässt, und erzwingt robustere Repräsentationen. Bei Deep Learning sehr verbreitet.
Batch Normalization: Normalisiert die Aktivierungen in jeder Schicht. Hat regularisierenden Effekt als Nebenprodukt, wird aber hauptsächlich für Trainingsgeschwindigkeit genutzt.
Warum ist das praktisch relevant?
Wer eigene Modelle trainiert oder Fine-Tuning durchführt, begegnet Regularisierungsentscheidungen. Zu wenig Regularisierung: Overfitting. Zu viel: Das Modell kann nichts lernen (Underfitting).
Die richtige Balance ist eine Hyperparameter-Entscheidung, die von Datenmenge, Modellgröße und Aufgabe abhängt. Bei der KI-Implementierung helfen wir, diese Entscheidungen fundiert zu treffen.