KI & Automation
Was ist Double Descent in der KI-Forschung?
Double Descent beschreibt das unerwartete Phänomen, dass sehr große Modelle nach einem Leistungsabfall bei mittlerer Größe auf Test-Daten wieder besser werden. Es widerspricht klassischen Annahmen über Overfitting.
Double Descent beschreibt ein kontraintuitives Phänomen im Machine Learning: Wenn man Modellkomplexität oder Trainingsdauer erhöht, steigt der Testfehler zunächst an (klassisches Overfitting), fällt dann aber ab einem bestimmten Punkt wieder, bis er unter den ursprünglichen Wert sinkt. Der Verlauf sieht aus wie zwei aufeinanderfolgende U-Kurven, daher der Name.
Das widerspricht der klassischen Lerntheorie. Bislang war die Annahme: Es gibt einen optimalen Komplexitätspunkt. Zu einfach, und das Modell lernt nicht genug (Underfitting). Zu komplex, und es lernt die Trainingsdaten auswendig statt echte Muster (Overfitting). Double Descent zeigt, dass sehr große Modelle diesen zweiten Abfall überwinden können.
Warum passiert das?
Die Erklärung ist noch nicht vollständig verstanden, aber es gibt plausible Intuitionen. Sehr große Modelle haben so viele Parameter, dass sie bei interpolierender Lösung mehrere Möglichkeiten haben, die Trainingsdaten exakt zu beschreiben. Viele dieser Lösungen generalisieren gut. Bei mittlerer Komplexität gibt es zu wenige Parameter, um gut zu interpolieren, und die gewählte Lösung ist “holprig”.
Das Phänomen wurde 2019 formell beschrieben und hilft zu erklären, warum sehr große Sprachmodelle und neuronale Netze trotz enormer Überparametrisierung gut auf neuen Daten funktionieren.
Warum ist das für die Praxis relevant?
Direkt kaum. Double Descent ist ein Forschungsbefund, der hilft zu erklären, warum moderne große Modelle so gut funktionieren. Für das Training eigener Modelle ist es ein Hinweis, dass “größer machen” manchmal eine valide Strategie ist, auch wenn zwischendurch die Leistung schlechter aussieht.
Für den Unternehmenseinsatz ist das ein Hintergrundwissen über die Eigenheiten moderner KI. Wenn du KI-Modelle auswählst oder evaluierst, hilft es zu wissen, dass Modellgröße keine einfache lineare Beziehung zu Leistung hat. Für konkrete Beratung steht das Team von Business.Digital bereit.
Lass uns herausfinden, was bei dir möglich ist.
Kostenlos, unverbindlich, ohne Verkaufsdruck. Wir schauen uns gemeinsam an, wo du stehst, was dich bremst und was die nächsten sinnvollen Schritte wären.