Was ist Mixture of Experts (MoE) in KI-Modellen?

Mixture of Experts ist eine neuronale Netzarchitektur, bei der das Modell aus mehreren spezialisierten Teilnetzwerken, den “Experten”, besteht. Für jede Eingabe entscheidet ein Gating-Mechanismus, welche Experten aktiviert werden. Nicht alle Experten rechnen für jede Eingabe, sondern nur eine Untermenge.

Das Ergebnis ist ein Modell mit sehr vielen Parametern, das aber bei der Inferenz nur einen Bruchteil davon nutzt. Man hat große Kapazität, ohne für jede Anfrage den vollen Rechenaufwand zu betreiben.

Warum ist MoE effizient?

Ein klassisches dichtes Modell (Dense Model) aktiviert bei jeder Eingabe alle Parameter. Ein MoE-Modell mit 1 Billion Parametern aktiviert vielleicht nur 100 Milliarden für eine gegebene Eingabe. Das macht Inferenz schneller und günstiger, während die Kapazität des Modells viel größer bleibt.

Die Spezialisierung der Experten entsteht durch das Training: Manche Experten lernen, mit bestimmten Themen oder Texttypen besser umzugehen. Der Gating-Mechanismus routet Anfragen zu den passenden Experten.

Wo wird MoE eingesetzt?

Googles Switch Transformer (2021) war ein wichtiger Durchbruch für MoE. Mixtral 8x7B von Mistral AI ist ein bekannteres offenes Modell, das auf MoE basiert. Gerüchten zufolge nutzt auch GPT-4 eine Form von Mixture of Experts.

Praktische Relevanz

Für den Unternehmenseinsatz ist MoE vor allem ein Effizienzargument: Modelle mit MoE-Architektur können bei gleichem Rechenbudget mehr Kapazität bieten. Das beeinflusst Kosten und Geschwindigkeit. Für API-Nutzer ist die Architektur im Hintergrund und ändert sich am Interface nichts. Für Unternehmen, die eigene Modelle wählen oder betreiben, ist es ein Entscheidungsfaktor. Mehr in einer KI-Beratung.