Onderzoekers testen of talmodellen zelf hun testomgeving kunnen bouwen
Een samenwerkingsverband van onderzoekers heeft een nieuwe methode ontwikkeld om te meten hoe goed taalmodellen zelf hun eigen testomgevingen kunnen inrichten. Uit de resultaten blijkt dat zelfgebouwd werk op bepaalde vlakken in de buurt komt van menselijk werk, maar dat consistente verbetering nog lastig is.
Verschillende onderzoeksinstituten en bedrijven hebben een methode genaamd HarnessDev gepresenteerd. Hiermee wordt niet gekeken naar het antwoord dat een taalmodel geeft op een vraag, maar naar de uitvoerbare testomgeving die het model zelf opbouwt om tot dat antwoord te komen. Uit de tests blijkt dat modellen op sommige terreinen resultaten behalen die vergelijkbaar zijn met menselijke referenties, terwijl ze op andere gebieden nog achterblijven.
Uitdagingen bij zelfverbetering
Het automatisch laten aanpassen en verbeteren van systemen op basis van feedback is een belangrijk thema binnen de ontwikkeling van autonome agenten. De praktijk laat echter zien dat aanpassingen lang niet altijd consistent presteren op onbekende taken. Dit onderstreept dat het volledig zelfstandig optimaliseren van dergelijke systemen nog volop in ontwikkeling is en de nodige technische horden kent.
Deze samenvatting is gebaseerd op een origineel artikel van MarkTechPost. Lees het volledige, originele bericht bij de bron.
Lees het originele artikel