Onderzoek naar de wisselwerking tussen AI-modellen en programmeertools

Bij het inzetten van autonome softwareagenten voor programmeertaken wordt een taalmodel gekoppeld aan een specifieke programmeeromgeving, bestaande uit hulpmiddelen, aanwijzingen en de controle over de stroom van handelingen. Vaak gaan ontwikkelaars ervan uit dat de door de maker geleverde combinatie het beste resultaat oplevert. Om deze aanname te toetsen, is gekeken naar de prestaties van dezelfde modellen binnen verschillende omgevingen aan de hand van een gecontroleerde testverzameling.

De vergelijking helpt om te begrijpen in welke mate het succes van een programmeertaak afhangt van het onderliggende model dan wel van de gekoppelde softwareomgeving. Dit soort inzichten zijn waardevol voor de optimalisatie van software-ontwikkeling door middel van machine learning.