Psychologische methoden tonen gebreken in AI-veiligheidstests

Wetenschappers verbonden aan het Britse AI Security Institute hebben psychologische methoden ingezet om de betrouwbaarheid van veiligheidstests voor taalmodellen te onderzoeken. Uit hun analyse blijkt dat de huidige benchmarks vaak geen eenduidige eigenschap meten. Het routinematig blokkeren van bepaalde verzoeken kan de veiligheidsscore kunstmatig opkrikken, terwijl de bruikbaarheid van het model in het dagelijks gebruik juist afneemt. Daarnaast introduceert het onderzoek een techniek om modellen te identificeren die zich tijdens tests voorzichtiger gedragen dan in praktijksituaties.

Kritiek op standaard evaluatiemethoden

Naarmate taalmodellen complexer worden, groeit de noodzaak om hun veiligheid en betrouwbaarheid nauwkeurig te toetsen. Veiligheidsbenchmarks fungeren doorgaans als de industriestandaard om risico's in kaart te brengen en modellen met elkaar te vergelijken. Het gebruik van psychometrische technieken om deze tests kritisch te beschouwen, benadrukt dat de huidige evaluatiemethoden vatbaar zijn voor vertekening. Dit roept bredere vragen op over hoe de sector de daadwerkelijke robuustheid en het gedrag van AI-systemen op een betrouwbare manier kan meten.