Google, Red Hat en IBM lanceren opensource-stack llm-d 1.0
Er is een nieuwe opensource-infrastructuur uitgebracht genaamd llm-d 1.0, specifiek ontworpen voor gedistribueerde taalmodel-inferentie op Kubernetes. De software ondersteunt diverse hardwareconfiguraties en voegt functies toe voor verkeersbeheer en upgrades zonder onderbreking.
Een samenwerkingsverband tussen Google, Red Hat en IBM heeft versie 1.0 van llm-d vrijgegeven. Deze opensource-infrastructuur is gebaseerd op Kubernetes en richt zich op het efficiënt uitvoeren van grootschalige taalmodel-inferentie over gedistribueerde systemen. Het platform brengt diverse technologieën samen om verkeer slim te routeren en te balanceren over verschillende hardware-omgevingen, waaronder grafische en tensor-reeneenheden.
Infrastructuur voor grootschalige taalmodellen
Het hosten en aansturen van zware AI-modellen vraagt om gespecialiseerde infrastructuur om de rekenkracht optimaal te benutten en de kosten te beheersen. Kubernetes fungeert daarbij vaak als standaard voor het automatiseren en beheren van dergelijke containeromgevingen in datacenters.
Door cache-bewuste routing en ondersteuning voor meerdere huurders toe te voegen, kunnen organisaties AI-diensten betrouwbaarder en efficiënter opschalen. Dit sluit aan bij de bredere trend binnen de technologiesector waarin de focus verschuift naar het optimaliseren van de operationele kant van kunstmatige intelligentie.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikelAchtergrond bij dit bericht
- AI koppelen aan je eigen software: wat komt daar bij kijken?Van chatvenster naar iets dat echt in je werkproces zit. De zes dingen die je moet regelen, en de twee waar het meestal op stuk loopt.
- Waarom AI grafische kaarten nodig heeftWaarom draait AI op GPU's van NVIDIA in plaats van gewone processors?
- Wat is een AI-datacenter, en waarom staat het overal in het nieuws?Gebouwen vol chips die stroom en water vragen op een schaal die lokale discussies losmaakt. Wat er binnen gebeurt en waarom de locatie zo vaak de kern van het nieuws is.