Waarom netwerken de bottleneck van AI worden
Een model past niet op één chip
De grootste modellen zijn te groot voor één processor. Ze worden verdeeld over duizenden chips die tijdens elke rekenstap hun tussenresultaten moeten uitwisselen. Die uitwisseling gebeurt honderden keren per seconde, tussen alle chips tegelijk.
Daardoor verschuift het knelpunt. Niet de rekensnelheid van de chip bepaalt hoe snel je traint, maar hoe snel de chips met elkaar kunnen praten. Een processor die op resultaten van zijn buurman wacht, staat stil.
Drie lagen die allemaal moeten meeschalen
- Binnen één kast. Chips die naast elkaar zitten, verbonden met koperen banen. Snelst en goedkoopst, maar beperkt in afstand.
- Tussen kasten. Hier komt glasvezel in beeld, met schakelapparatuur die het verkeer verdeelt.
- Tussen gebouwen. Nu datacenters te groot worden voor één pand, moeten complexen onderling worden gekoppeld — over kilometers, zonder merkbare vertraging.
Waar het geld naartoe gaat
Dit is een van de snelst groeiende delen van de AI-keten en tegelijk het minst zichtbare. Leveranciers van schakelapparatuur en optische verbindingen groeien mee met de chipmakers, en er wordt fors geïnvesteerd in vezeltechniek die minder vertraging oplevert dan het glas dat er nu ligt.
Voor wie de sector volgt is dat een nuttige graadmeter: als de netwerkleveranciers hun orderboeken zien vollopen, wordt er ergens gebouwd. Zie ook de gids over AI-aandelen, waar deze laag apart wordt behandeld.
Waarom het ook energie raakt
Optische verbindingen zetten elektrische signalen om in licht en terug. Die omzetting kost stroom, en bij duizenden verbindingen telt dat op tot een aanzienlijk deel van het verbruik van een datacenter. Techniek die de omzetting efficiënter maakt, levert dus dubbel op: sneller én zuiniger. Zie waarom AI zoveel stroom gebruikt.
Wat het voor gebruikers betekent
Indirect maar merkbaar: dit is een van de redenen dat modellen sneller antwoorden en goedkoper worden. Een efficiënter netwerk betekent dat dezelfde apparatuur meer vragen per seconde aankan.