Cactus Compute lanceert extreem lichtgewicht model Needle 2

Het Nederlandse kunstmatige-intelligentiebedrijf Cactus Compute heeft een nieuw, uiterst compact taalmodel genaamd Needle 2 gepresenteerd. Deze software is specifiek ontworpen voor het uitvoeren van specifieke computertaken, zoals het aanroepen van externe softwaretools en het ordenen van ongestructureerde informatie. Dankzij het geringe aantal van 45 miljoen parameters en een omvang van slechts veertien megabyte neemt het model nauwelijks opslagruimte in beslag.

Efficiënt werken op eenvoudige hardware

Het lage geheugengebruik tijdens het draaien maakt het mogelijk om het model in te zetten op apparaten die niet beschikken over gespecialiseerde grafische kaarten of krachtige chips voor machine learning. Dit past in een bredere trend binnen de technologiesector, waar steeds meer aandacht is voor efficiënte computermodellen die lokaal kunnen draaien zonder dat er zware cloudservers aan te pas komen.

Door de open-source opzet kunnen ontwikkelaars de technologie vrijelijk gebruiken en integreren in hun eigen toepassingen. Dit soort compacte modellen verlaagt de drempel om automatisering toe te passen op apparatuur met beperkte capaciteit, wat nieuwe mogelijkheden opent voor decentrale gegevensverwerking.