Beantwortet von der Redaktion von Business.Digital Stand
Hyperparameter sind Einstellungen, die vor dem Training eines KI-Modells festgelegt werden und bestimmen, wie das Training abläuft. Im Gegensatz zu normalen Parametern, also den Gewichten des Netzes, die durch Training gelernt werden, bleiben Hyperparameter während des Trainings fest.
Typische Hyperparameter: Lernrate (wie groß sind die Optimierungsschritte?), Batch-Größe (wie viele Beispiele werden pro Update verarbeitet?), Anzahl der Epochen (wie oft wird das Modell über den gesamten Datensatz trainiert?), Anzahl der Schichten und Neuronen, Dropout-Rate (wie viele Neuronen werden zufällig deaktiviert, um Overfitting zu verhindern?).
Warum sind Hyperparameter schwierig?
Weil es keine universell richtige Einstellung gibt. Was bei einem Datensatz funktioniert, kann bei einem anderen versagen. Zu große Lernrate: das Training konvergiert nicht. Zu kleine Lernrate: das Training dauert ewig oder bleibt in einem lokalen Minimum stecken. Zu viele Epochen: Overfitting. Zu wenige: Underfitting.
Das Finden guter Hyperparameter nennt sich Hyperparameter-Tuning. Methoden dafür: Grid Search (alle Kombinationen ausprobieren, teuer), Random Search (zufällig samplen, günstiger), Bayesian Optimization (intelligenteres Suchen). AutoML-Systeme können diesen Prozess automatisieren.
Parameter vs. Hyperparameter: die Unterscheidung
Parameter: werden durch Training gelernt, etwa die Gewichte in einem neuronalen Netz. Die großen Spitzenmodelle liegen schätzungsweise im Bereich von einer Billion Parametern und darüber, die Anbieter veröffentlichen die Zahlen nicht mehr. Hyperparameter: werden von Menschen oder Optimierungsverfahren gesetzt, steuern den Trainingsprozess.
Für Unternehmen, die vorhandene Foundation Models nutzen (was meistens die sinnvollste Strategie ist), sind Hyperparameter weniger relevant, da diese Entscheidungen vom Modellentwickler getroffen wurden. Bei Fine-Tuning hingegen sind die richtigen Einstellungen entscheidend für gute Ergebnisse. Hilfe dabei gibt es in einer KI-Beratung.