Wat zijn transformers? De doorbraak achter moderne AI

Vrijwel elk bekend AI-model van vandaag — van taalmodellen tot beeldgeneratoren — is gebouwd op een architectuur die transformer heet, geïntroduceerd in 2017. Het is de belangrijkste technische doorbraak van het afgelopen decennium.

Het probleem dat het oploste

Oudere modellen lazen tekst woord voor woord en verloren daardoor het overzicht bij lange stukken. Transformers kunnen naar de héle input tegelijk kijken en bepalen welke woorden voor elkaar belangrijk zijn.

Attention: waar het model op let

De kern is een mechanisme dat attention heet. Bij het verwerken van een woord "let" het model op alle andere woorden en weegt het hoe relevant elk is. In "de bank langs de rivier" begrijpt het via de omringende woorden dat "bank" hier een oever is, geen geldinstelling. Die context bepaalt de betekenis.

Waarom het zo goed schaalt

Transformers laten zich uitstekend parallel verwerken op moderne chips. Daardoor kon je ze steeds groter maken en op steeds meer data trainen — en juist die schaalvergroting bleek verrassend veel nieuw kunnen op te leveren.

De kern

De transformer maakte het mogelijk om taal (en beeld en geluid) op grote schaal te modelleren met behoud van context. Zonder deze uitvinding zou de huidige generatie AI niet bestaan.