d-Matrix introduceert Squadron-infrastructuur voor AI-inferentie
Het bedrijf d-Matrix heeft Squadron gepresenteerd, een systeem van multi-rack-opstellingen ontworpen voor grootschalige AI-inferentie in datacenters. De clusters zijn ontwikkeld in samenwerking met verschillende technologiepartners en worden inmiddels uitgeleverd aan prioriteitsklanten.
Tijdens een bijeenkomst heeft d-Matrix de Squadron-systemen onthuld. Deze clusters zijn specifiek ontworpen om de zware rekeneisen van AI-inferentie op datacenter-niveau op te vangen. Het systeem is tot stand gekomen door samenwerkingen met andere ondernemingen in de sector en inmiddels in gebruik genomen.
De schaalbaarheid van moderne AI-hardware
AI-inferentie vraagt om aanzienlijke rekenkracht, met name wanneer modellen op grote schaal worden ingezet in datacenters. Het koppelen van meerdere racks en gespecialiseerde processors is een gebruikelijke aanpak in de industrie om de capaciteit te vergroten. Dergelijke infrastructuren moeten efficiënt kunnen omgaan met de enorme hoeveelheden data die door moderne AI-toepassingen stromen.
Deze samenvatting is gebaseerd op een origineel artikel van Unite.AI. Lees het volledige, originele bericht bij de bron.
Lees het originele artikelAchtergrond bij dit bericht
- Wat is inferentie? Het verschil tussen een model bouwen en gebruikenTrainen gebeurt één keer en kost een vermogen. Inferentie gebeurt bij elke vraag, en dat is waar de rekening echt ontstaat.
- Wat kan ik met AI?Een overzicht van wat je vandaag concreet met AI kunt doen: schrijven, samenvatten, beeld maken, programmeren en werk automatiseren.
- Waarom AI grafische kaarten nodig heeftWaarom draait AI op GPU's van NVIDIA in plaats van gewone processors?