Historische A/B-testdata benutten voor adaptieve experimenten
Een nieuwe studie toont aan hoe historische data van traditionele experimenten kan dienen als beslissingsondersteuning voor adaptieve experimenten. Hierbij wordt off-policy evaluatie gecombineerd met simulaties om te beoordelen welke beleidsvormen effectiever zouden zijn geweest.
In een recent onderzoek is gekeken naar de inzet van historische gegevens uit vaste A/B-tests om nieuwe, adaptieve experimenten te ontwerpen. Vaak worden experimenten statisch opgezet, terwijl adaptieve methoden zoals contextual bandits dynamisch kunnen reageren op binnenkomende data. De onderzoekers onderzochten hoe gegevens uit het verleden kunnen helpen bij het voorspellen van de prestaties van dergelijke dynamische strategieën.
Datagestuurde besluitvorming
Het combineren van off-policy evaluatie met gecontroleerde simulaties stelt onderzoekers in staat om achteraf te analyseren of alternatieve beleidsregels betere resultaten hadden opgeleverd. Dit is met name nuttig in situaties waarin effecten per groep uiteenlopen. Binnen de statistiek en machine learning helpt dit soort methodologie om experimenten efficiënter in te richten en sneller betrouwbare conclusies te trekken.
Hoewel het onderzoek zich richt op de methodologische kant van experimentontwerp, sluit het aan bij de bredere behoefte aan slimmere en minder verspillende testprocedures in zowel de wetenschap als de praktijk.
Deze samenvatting is gebaseerd op een origineel artikel van arXiv (cs.LG). Lees het volledige, originele bericht bij de bron.
Lees het originele artikel