Wat is een multimodaal model?
Van één zintuig naar meerdere
De eerste taalmodellen konden alleen tekst lezen en schrijven. Een multimodaal model verwerkt meerdere soorten invoer tegelijk: je stuurt een foto mee met je vraag, laat het een grafiek uitleggen, of praat gewoon tegen het en krijgt gesproken antwoord terug.
Waarom het meer is dan een optelsom
Je zou kunnen denken: laat beeldherkenning de foto beschrijven en geef die beschrijving aan het taalmodel. Dat werkt, maar slecht — er gaat te veel verloren in de vertaalstap. Een echt multimodaal model verwerkt beeld en tekst in dezelfde interne representatie, waardoor het verbanden ziet die in een beschrijving zouden zijn weggevallen.
Praktisch verschil: vraag naar de derde regel van onderen in een screenshot en een multimodaal model kan die aanwijzen. Een systeem dat op een beschrijving werkt, kan dat niet.
Waar het goed in is
- Een foto van een defect apparaat beoordelen en een oplossing voorstellen.
- Een screenshot van een foutmelding uitleggen.
- Handgeschreven notities uitlezen en ordenen.
- Een grafiek of tabel uit een rapport interpreteren.
- Gesproken gesprekken volgen en samenvatten.
Waar het nog misgaat
Precisie in beeld blijft lastig: exact tellen hoeveel objecten er op een foto staan, of kleine details in een technische tekening lezen. Ook ruimtelijke vragen — wat staat links van wat — gaan geregeld mis. Voor toepassingen waar het exact moet kloppen, hoort er een controle overheen.