Glossar

Multimodales Modell

Ein multimodales Modell verarbeitet mehr als eine Art von Input. „Modalität“ meint dabei die Form der Information: Text, Bild, Ton oder Video. Ein reines Sprachmodell bekommt nur Text. Ein multimodales Modell nimmt zum Beispiel ein Foto und eine Frage dazu entgegen und antwortet mit Text. Damit das geht, wird auch das Bild zuerst in Zahlen übersetzt, mit denen das Modell zusammen mit dem Text rechnen kann. Viele multimodale Chatbots sind im Kern Sprachmodelle, die das nächste Textstück vorhersagen und zusätzlich Bildinformationen in ihren Input bekommen.

Ein Beispiel: Die Gemma-4-Modelle von Google nehmen Text und Bilder auf, einige Größen auch Ton, und erzeugen Text. Du kannst ihnen ein Foto eines Schilds zeigen und fragen, was darauf steht.

Nicht verwechseln mit einem Modell, das alles erzeugen kann: Multimodal beschreibt zuerst, was hineingeht. Ein Modell, das Bilder als Input versteht, erzeugt deshalb noch keine Bilder; Gemma 4 etwa nimmt Bilder entgegen, antwortet aber nur mit Text.

Wo du dem Begriff begegnest: Bei Chatbots, denen du Fotos, Screenshots oder Dokumente hochladen kannst, bei Sprachassistenten, die Gesprochenes direkt verarbeiten, und in Ankündigungen neuer Modelle, die mit „versteht Bilder und Audio“ werben.

Eingeführt in Was ein KI-Modell eigentlich ist.

Zuletzt geändert am · Commit 919c2e8