Was sind multimodale KI-Modelle und was können sie?

Multimodale Modelle können mehrere Arten von Daten (“Modalitäten”) verarbeiten und kombinieren. Die häufigste Kombination ist Text und Bild, es gibt aber auch Modelle, die Audio, Video oder Code zusätzlich verarbeiten.

Ein unimodales Sprachmodell wie ein früher GPT bekommt Text, gibt Text aus. Ein multimodales Modell wie GPT-4V, Gemini Pro oder Claude 3 kann auch Bilder als Eingabe erhalten und über deren Inhalt sprechen, sie beschreiben, Fragen dazu beantworten oder mit dem Text zusammen verarbeiten.

Was lässt sich damit machen?

Bildanalyse mit Sprachausgabe: Du lädst ein Produktfoto hoch und fragst “Was ist auf diesem Bild falsch?” Das Modell erkennt Beschädigungen oder Anomalien und beschreibt sie in Text. Dokumentenverständnis: Ein Scan eines Formulars wird hochgeladen, das Modell extrahiert strukturierte Informationen. Diagramme lesen: Komplexe Grafiken oder Charts werden beschrieben und analysiert. Visuelle Suche mit Kontext: “Zeig mir ähnliche Produkte wie auf diesem Foto, aber in Blau.”

Die Möglichkeiten sind erheblich breiter als bei rein textbasierten Modellen.

Wo sind Grenzen?

Multimodale Modelle sind gut im Verstehen von Bildern, aber weniger zuverlässig bei sehr präzisen visuellen Aufgaben: exakte Pixelkoordinaten, komplexe Grafiken, sehr kleine Schriften. Sie tendieren auch zu Fehlern bei Bildern, die ungewöhnlich für ihren Trainingsdatensatz sind.

Für Unternehmen eröffnet Multimodalität ganz neue Automatisierungsmöglichkeiten, besonders überall dort, wo bisher Bilder manuell analysiert wurden. Ob das für dein Unternehmen relevant ist, klären wir in einer KI-Beratung.