Keenable AI lanceert open-source benchmark voor live webzoekopdrachten

Het testen van moderne zoekmodellen en AI-agenten brengt specifieke uitdagingen met zich mee, met name doordat een model vooraf antwoorden kan opzoeken of opslaan in zijn trainingsdata. Om dit probleem te omzeilen heeft Keenable AI de benchmark NEEDLE open-source gemaakt. Het systeem genereert elk uur automatisch een volledig nieuwe set aan zoekvragen, zodat agents daadwerkelijk live informatie moeten ophalen in plaats van te leunen op voorkennis.

Het juist evalueren van AI-zoeksystemen wordt steeds belangrijker naarmate taalmodellen vaker worden ingezet om zelfstandig het internet af te struinen naar actuele informatie. Traditionele benchmarks verouderen snel of lopen het risico dat de testvragen per ongeluk in de trainingsdata van het model terechtkomen. Door dynamische tests te gebruiken, krijgen ontwikkelaars een betere inschatting van de daadwerkelijke zoekvaardigheden van een model.