Wat is quantisatie? AI kleiner maken zonder veel verlies

Quantisatie maakt AI-modellen kleiner en sneller door de getallen erin minder nauwkeurig op te slaan. Het klinkt als kwaliteitsverlies, maar in de praktijk valt dat verrassend mee.

Hoe het werkt

Normaal worden de parameters opgeslagen als getallen met veel cijfers achter de komma. Bij quantisatie rond je die af naar veel grovere waarden. Het model wordt daardoor twee tot vier keer kleiner.

Waarom het nauwelijks schaadt

Een neuraal netwerk werkt met miljarden getallen die samen een patroon vormen. Kleine afrondingen middelen elkaar grotendeels uit, waardoor de prestaties maar licht dalen.

Wat het mogelijk maakt

• Modellen draaien op een gewone laptop of zelfs een telefoon.
• Lagere kosten, omdat je minder zware hardware nodig hebt.
• Snellere antwoorden en minder stroomverbruik.

Voor jouw bedrijf

Wil je AI lokaal draaien vanwege privacy, dan is quantisatie vrijwel altijd onderdeel van de oplossing. Het verschil tussen "we hebben een datacenter nodig" en "het draait op deze server" zit precies hier.