Open-source vectorindex LEANN verkleint RAG-opslag
Onderzoekers hebben een nieuwe open-source vectorindex genaamd LEANN ontwikkeld die de opslagbehoefte van grote RAG-systemen flink terugbrengt. Door een gesnoeide graaf te combineren met het herberekenen van embeddings tijdens het zoeken, blijft de nauwkeurigheid behouden bij een fractie van de oorspronkelijke omvang.
Wetenschappers van UC Berkeley hebben een open-source vectorindex gepresenteerd die het mogelijk maakt om omvangrijke datasets voor Retrieval-Augmented Generation veel compacter op te slaan. Waar dergelijke systemen doorgaans honderden gigabytes aan opslag vereisen, weet deze nieuwe methode de benodigde ruimte terug te brengen naar slechts enkele gigabytes. Dit wordt bereikt door gebruik te maken van een gesnoeide datagraaf en het op het moment van een zoekvraag opnieuw berekenen van embeddings.
Efficiënter zoeken in grote taalmodellen
Binnen kunstmatige intelligentie en taalmodellen is Retrieval-Augmented Generation een veelgebruikte techniek om externe kennis te raadplegen en de nauwkeurigheid van antwoorden te verbeteren. Grote hoeveelheden documenten worden hiervoor omgezet in vectoren, wat in de praktijk leidt tot aanzienlijke opslaguitdagingen en hoge kosten voor geheugenbeheer. Oplossingen die de omvang van deze databases verkleinen, maken het eenvoudiger om geavanceerde AI-toepassingen lokaal of op minder zware servers te draaien.
Hoewel de nieuwe methode aanzienlijk bespaart op opslagcapaciteit, brengt het wel een technische afweging met zich mee op het gebied van snelheid. Het herberekenen van gegevens tijdens het opvragen vraagt extra rekentijd, waardoor zoekopdrachten langer duren dan gebruikelijk is bij traditionele en grotere indexen. Dit soort optimalisaties illustreert hoe onderzoekers continu zoeken naar een balans tussen computerkracht, geheugenverbruik en systeemprestaties.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikel