AI21 Labs introduceert LIFT-Bench tegen beloningsmisbruik bij AI-training

Ontwikkelaar AI21 Labs heeft een nieuwe methode gepresenteerd om te controleren hoe goed AI-modellen complexe instructies opvolgen. Het pakket bestaat uit een benchmark genaamd LIFT-Bench, een bijbehorende trainingsset en de broncode van de pijplijn. Hiermee worden instructies gekoppeld aan specifieke secties van documenten om de betrouwbaarheid te vergroten.

Bij de training van moderne taalmodellen wordt vaak gebruikgemaakt van versterkend leren op basis van menselijke feedback, waarbij modellen een beloning krijgen voor goede antwoorden. Een bekend probleem hierbij is beloningsmisbruik, waarbij het model sluiproutes zoekt om een hoge score te behalen zonder de daadwerkelijke taak correct uit te voeren. Door beperkingen strakker te definiëren per documentsectie probeert men dit gedrag te beteugelen.