AI op je eigen apparaat
Het idee
De meeste AI draait in een datacenter: je vraag reist over internet, wordt daar verwerkt en komt terug. Bij AI op het apparaat zelf gebeurt alles lokaal — op je telefoon, laptop of een server bij jou op kantoor. Dit wordt ook wel edge AI genoemd.
Wat het oplevert
- Privacy. Je gegevens verlaten het apparaat niet. Voor gevoelige documenten is dat het doorslaggevende argument.
- Snelheid. Geen wachttijd door het netwerk. Voor spraakherkenning en vertaling scheelt dat merkbaar.
- Werkt offline. In een vliegtuig, een kelder, een fabriekshal zonder bereik.
- Geen kosten per gebruik. Je betaalt de apparatuur één keer.
Waarom het nu kan
Twee ontwikkelingen kwamen samen. Kleine modellen werden veel beter, vooral door distillatie. En moderne telefoons en laptops hebben inmiddels aparte chips voor dit soort rekenwerk ingebouwd.
Daarbij helpt quantisatie: door de getallen in een model grover op te slaan, past het in een fractie van het geheugen, met beperkt verlies aan kwaliteit.
Waar de grens ligt
Een model dat op een telefoon past, is honderd keer kleiner dan een topmodel in een datacenter. Voor samenvatten, vertalen en sorteren is dat prima. Voor ingewikkeld redeneren of programmeerwerk merk je het verschil direct.
Praktische bezwaren: de accu loopt hard leeg, het apparaat wordt warm, en de modelbestanden nemen gigabytes in beslag.
Wat er in de praktijk gebeurt
De meeste apparaten doen het gemengd. Eenvoudige taken lokaal, zware taken in de cloud, en het systeem kiest zelf. Je merkt daar als gebruiker weinig van, behalve dat sommige functies ook zonder bereik blijven werken.
Voor bedrijven is dit interessant bij vaste, afgebakende taken: documenten sorteren, spraak omzetten naar tekst, beelden beoordelen. Eén keer een model kiezen en afstemmen, en het draait daarna zonder maandrekening.