Was ist Pre-Training (Vortraining) bei KI-Modellen?

Pre-Training bezeichnet die erste Phase des Trainings großer KI-Modelle. In dieser Phase wird das Modell auf riesigen, allgemeinen Datensätzen trainiert, nicht für eine spezifische Aufgabe, sondern um breites Grundwissen und Fähigkeiten zu entwickeln.

Für Sprachmodelle bedeutet das: Training auf einem erheblichen Teil des Internets, Bücher, Wikipedia, wissenschaftliche Artikel. Das Ziel ist “Next Token Prediction”: Das Modell lernt, was in Texten wahrscheinlich als nächstes kommt. Durch diese scheinbar einfache Aufgabe auf riesigen Datenmengen entwickelt das Modell Sprachverständnis, Faktenwissen und Schlussfolgerungsfähigkeiten.

Pre-Training vs. Fine-Tuning

Pre-Training ist teuer: Monate auf Hunderten oder Tausenden von GPUs. GPT-4 soll über 100 Millionen Dollar gekostet haben. Es passiert einmal (oder selten).

Fine-Tuning nimmt das vortrainierte Modell und trainiert es auf einem kleineren, spezifischen Datensatz weiter, zum Beispiel medizinischen Texten oder Supporttickets eines Unternehmens. Das ist viel günstiger und schneller.

Die Analogie: Pre-Training ist wie eine Allgemeinbildung. Fine-Tuning ist wie ein Spezialisierungsstudium. Man beginnt mit der breiten Basis und vertieft dann das relevante Gebiet.

Warum ist das für Unternehmen relevant?

Weil es bedeutet, dass du nicht selbst Pre-Training betreiben musst. Foundation Models von OpenAI, Google, Anthropic, Meta und anderen haben das bereits erledigt. Du startest mit einem vortrainierten Modell und kannst es durch Fine-Tuning oder Prompting anpassen.

Das verändert die Ökonomie der KI-Entwicklung fundamental. Was früher nur großen Technologiekonzernen möglich war, ist heute für mittelständische Unternehmen zugänglich. Wie man das sinnvoll nutzt, klären wir in einer KI-Beratung.