Nieuw taalmodel comprimeert prestaties in compacter jasje
PrismML heeft een nieuwe variant van een bestaand taalmodel uitgebracht met een sterk gereduceerd geheugenverbruik. Het model ondersteunt zowel tekst als afbeeldingen en behoudt het grootste deel van de oorspronkelijke capaciteiten.
Ontwikkelaar PrismML heeft een compacte versie gepresenteerd van het bestaande taalmodel Qwen. Door gebruik te maken van zogenaamde ternaire gewichten is de benodigde opslagruimte fors verkleind ten opzichte van het origineel. Ondanks de drastische afslanking behoudt de software een zeer groot deel van de prestaties op uiteenlopende prestatietests.
Het model kan zowel met tekst als beeld overweg en is geschikt voor het verwerken van lange documenten dankzij een ruime contextcapaciteit. Het open-source karakter en het lage geheugenverbruik maken dit soort modellen populair voor lokale toepassingen, zoals het ondersteunen van programmeurs binnen ontwikkelomgevingen. Dit past in een bredere trend binnen de kunstmatige intelligentie om efficiëntere modellen te bouwen die minder zware hardware vereisen.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikel