Wat is red teaming bij AI?

Red teaming is het bewust aanvallen van je eigen systeem om te ontdekken waar het breekt. De term komt uit de defensie en de beveiligingswereld; bij AI heeft hij een eigen betekenis gekregen.

Waarom dit bij AI anders is

Bij gewone software test je of de code doet wat er staat. Bij een taalmodel is er geen code die het gedrag vastlegt — het gedrag komt voort uit training, en niemand kan vooraf opsommen wat eruit kan komen.

Testen wordt daarmee verkennen in plaats van afvinken. Je weet niet welke vraag het systeem laat ontsporen, dus moet je zoeken.

Waarop wordt getest

• Instructies omzeilen. Kun je het systeem iets laten doen wat expliciet verboden is, door het anders te formuleren of in een rollenspel te verpakken?
• Promptinjectie. Kan tekst in een document of op een webpagina het systeem van zijn opdracht afbrengen? Zie promptinjectie.
• Lekken. Komt er informatie uit die de gebruiker niet mag zien — uit de systeemprompt, uit andermans gegevens, uit het trainingsmateriaal?
• Scheve uitkomsten. Verandert het antwoord als je alleen de naam of het geslacht in de vraag wijzigt?
• Zelfverzekerde onzin. Waar geeft het stellige antwoorden over dingen die het niet kan weten?

Waarom je dit zelf moet doen

De grote aanbieders doen dit uitgebreid op hun modellen. Dat zegt weinig over jóúw toepassing, want jouw risico's zitten in jouw context: jouw documenten, jouw klanten, jouw rechten.

Een assistent voor klantenservice die een korting toezegt die niet bestaat, is geen modelprobleem maar jouw probleem.

Hoe je het praktisch aanpakt

Het hoeft geen specialistisch traject te zijn. Wat verrassend goed werkt:

1. Zet er mensen op die het systeem niet hebben gebouwd. Bouwers testen onbewust het gelukkige pad.
2. Vraag ze het kapot te krijgen, expliciet, met de belofte dat het vinden van een probleem een succes is en geen kritiek.
3. Leg elke geslaagde aanval vast als vaste test die je na elke wijziging herhaalt.
4. Herhaal het na elke modelwissel. Een nieuw model is een nieuw systeem, ook als er aan jouw kant niets veranderde.

Wat je met de uitkomsten doet

Niet alles is op te lossen met een betere instructie. Wat werkelijk niet mag gebeuren, hoort in de software eromheen te worden afgedwongen: een rechtencontrole, een limiet, een goedkeuringsstap. Een model vragen zich te gedragen is een verzoek, geen garantie.

Zie guardrails en agents veilig inzetten.