Was ist ein Multimodales Modell?

Ein multimodales KI-Modell kann nicht nur Text verarbeiten und ausgeben, sondern auch andere Datentypen: Bilder, Audio, Video oder Tabellen. Der Begriff „multimodal” bezieht sich auf diese Fähigkeit, mehrere Modalitäten zu verstehen und zu kombinieren.

Frühere Sprachmodelle waren strikt auf Text beschränkt. GPT-3 kannte kein Bild, konnte kein Audio hören. Seit GPT-4V (Vision) im Jahr 2023 hat sich das geändert. Heute sind die meisten führenden Modelle standardmäßig multimodal.

Was multimodale Modelle praktisch können

Bilder hochladen und inhaltlich analysieren: Was ist auf diesem Foto? Welche Fehler siehst du in diesem Screenshot? Wie lautet der Text auf diesem gescannten Formular? Letzteres ist ein klassischer OCR-Anwendungsfall, der mit modernen Modellen deutlich präziser wird als mit klassischer OCR-Software, besonders bei handschriftlichen oder schlecht strukturierten Dokumenten.

Für E-Commerce gibt es interessante Anwendungen: Produktbilder automatisch beschreiben lassen, Bildqualität prüfen, visuelle Suche implementieren. Eine Kundin fotografiert ein Kleid und fragt, ob du etwas Ähnliches im Sortiment hast. Mit einem multimodalen Modell ist das technisch lösbar.

Grenzen und Kosten

Multimodale Anfragen sind teurer als reine Textanfragen, weil Bilder in Tokens umgerechnet werden. Ein hochauflösendes Bild kann 1.000-2.000 zusätzliche Tokens kosten. Bei hohem Volumen summiert sich das.

Für Audio und Video sind die Fähigkeiten noch im Aufbau. Gemini 1.5 Pro kann stundenlange Videos analysieren, was für Überwachung oder Qualitätssicherung interessant ist. Aber die Einsatzszenarien für Text und Bild sind heute schon breiter und zuverlässiger als für Video.

Wo multimodale KI in deinem Unternehmen sinnvoll ist, besprechen wir gerne unter KI-Implementierung. Für E-Commerce-spezifische Anwendungen sieh dir auch unsere E-Commerce-Leistungen an. Termin vereinbaren.