Was ist Model Distillation?

Model Distillation ist eine Technik, bei der ein großes, leistungsstarkes KI-Modell (Teacher) seine Erkenntnisse an ein kleineres, günstigeres Modell (Student) weitergibt. Das Teacher-Modell erstellt hochwertige Ausgaben, auf die das Student-Modell trainiert wird. Das Ergebnis: ein spezialisiertes, kompaktes Modell, das für die jeweilige Aufgabe fast genauso gut performt wie das Original.

Der Begriff kommt aus der Chemie: Destillation bedeutet, das Wesentliche herauszuziehen und in konzentrierter Form zu bewahren.

Warum Distillation wirtschaftlich interessant ist

GPT-4o kostet 2,50 Dollar pro Million Input-Tokens. GPT-4o-mini kostet 0,15 Dollar, also 94% weniger. Wenn du durch Distillation ein Modell trainierst, das für deine spezifische Aufgabe ähnlich gut ist wie GPT-4o, kannst du bei der Inference auf das günstigere Modell setzen.

Das ist besonders attraktiv bei Aufgaben mit hohem Volumen. Ein Onlineshop, der täglich 10.000 Produktbeschreibungen klassifiziert, zahlt mit einem destillierten Modell monatlich vielleicht 5 Dollar statt 100 Dollar.

Was Distillation voraussetzt

Für eine sinnvolle Destillation brauchst du eine ausreichend große Menge an qualitativ hochwertigen Trainingsbeispielen, idealerweise über 1.000 Beispiel-Eingabe-Ausgabe-Paare für deine spezifische Aufgabe. Diese werden meist mit dem Teacher-Modell generiert: Du schickst deine realen Eingaben an GPT-4o, sammelst die Ausgaben und nutzt sie als Trainingsdaten für das Student-Modell.

Der Aufwand lohnt sich erst bei hohem Volumen oder wenn sehr niedrige Latenz benötigt wird. Für Projekte mit wenigen hundert Anfragen täglich ist es übertrieben.

OpenAI bietet Distillation als Teil ihres Fine-Tuning-Angebots an. Eigene Open-Source-Modelle erlauben noch mehr Kontrolle und vermeiden Vendor-Lock-in.

Mehr zu KI-Optimierungsstrategien für Unternehmen unter KI-Implementierung. Termin vereinbaren für eine Wirtschaftlichkeitsanalyse.