Was ist RLHF (Reinforcement Learning from Human Feedback)?

RLHF steht für Reinforcement Learning from Human Feedback. Es ist eine Trainingstechnik, bei der Menschen die Ausgaben eines KI-Modells bewerten und das Modell diese Bewertungen nutzt, um sein Verhalten zu verbessern. RLHF ist ein entscheidender Bestandteil hinter ChatGPT, Claude und anderen modernen KI-Assistenten.

Das Problem, das RLHF löst: Ein Sprachmodell, das nur auf Next-Token-Prediction trainiert wurde, produziert plausiblen Text, der aber nicht unbedingt hilfreich, wahrheitsgemäß oder sicher ist. Es optimiert auf statistische Sprachmuster, nicht auf menschliche Präferenzen.

Wie funktioniert RLHF?

Der Prozess in drei Schritten: Erstens, das Modell generiert für eine Anfrage mehrere mögliche Antworten. Menschliche Bewerter ordnen diese nach Qualität. Zweitens, auf Basis dieser Bewertungen wird ein Reward-Modell trainiert: ein eigenes KI-Modell, das vorhersagt, wie Menschen eine Antwort bewerten würden. Drittens, das Hauptmodell wird mit Reinforcement Learning trainiert, so zu antworten, dass das Reward-Modell hohe Bewertungen gibt.

Das Ergebnis: Das Modell lernt, was Menschen als hilfreich, korrekt und sicher bewerten, statt nur statistisch wahrscheinliche Texte zu produzieren.

Was verändert RLHF?

Ohne RLHF wäre GPT-4 ein sehr fähiger Textvervollständiger, aber ein schlechter Assistent. Mit RLHF lernt es, Fragen zu beantworten statt nur fortzusetzen, schädliche Inhalte abzulehnen, ehrlich über Unsicherheit zu sein und den Ton an den Kontext anzupassen.

RLHF ist eine Form von Alignment: Das Modell wird auf menschliche Werte ausgerichtet, nicht nur auf Sprachstatistik. Es ist nicht perfekt, aber ein bedeutender Schritt.

Für den praktischen Einsatz von KI-Modellen ist RLHF der Grund, warum aktuelle Modelle so viel besser zu kommunizieren wissen als ihre Vorgänger. Beim Einsatz von KI-Assistenten profitierst du direkt davon.