Beantwortet von der Redaktion von Business.Digital Stand
Model Distillation ist eine Technik, bei der ein großes, leistungsstarkes KI-Modell (Teacher) seine Erkenntnisse an ein kleineres, günstigeres Modell (Student) weitergibt. Das Teacher-Modell erstellt hochwertige Ausgaben, auf die das Student-Modell trainiert wird. Das Ergebnis: ein spezialisiertes, kompaktes Modell, das für die jeweilige Aufgabe fast genauso gut performt wie das Original.
Der Begriff kommt aus der Chemie: Destillation bedeutet, das Wesentliche herauszuziehen und in konzentrierter Form zu bewahren.
Warum Distillation wirtschaftlich interessant ist
Zwischen dem großen Modell eines Anbieters und seiner Mini-Variante liegt beim Token-Preis typischerweise ein Faktor von zehn bis zwanzig. Wenn du durch Distillation ein kleines Modell trainierst, das für deine spezifische Aufgabe ähnlich gut ist, sparst du diesen Faktor bei jeder Anfrage.
Das ist besonders attraktiv bei Aufgaben mit hohem Volumen. Ein Onlineshop, der täglich 10.000 Produktbeschreibungen klassifiziert, zahlt mit einem destillierten Modell monatlich vielleicht 5 Dollar statt 100 Dollar.
Was Distillation voraussetzt
Für eine sinnvolle Destillation brauchst du eine ausreichend große Menge an qualitativ hochwertigen Trainingsbeispielen, idealerweise über 1.000 Beispiel-Eingabe-Ausgabe-Paare für deine spezifische Aufgabe. Diese werden meist mit dem Teacher-Modell generiert: Du schickst deine realen Eingaben an das große Modell, sammelst die Ausgaben und nutzt sie als Trainingsdaten für das Student-Modell.
Der Aufwand lohnt sich erst bei hohem Volumen oder wenn sehr niedrige Latenz benötigt wird. Für Projekte mit wenigen hundert Anfragen täglich ist es übertrieben.
OpenAI bietet Distillation als Teil ihres Fine-Tuning-Angebots an. Eigene Open-Source-Modelle erlauben noch mehr Kontrolle und vermeiden Vendor-Lock-in.
Mehr zu KI-Optimierungsstrategien für Unternehmen unter KI-Implementierung. Termin vereinbaren für eine Wirtschaftlichkeitsanalyse.