Wat is een modelkaart?
Een modelkaart is een document waarin de maker van een AI-model beschrijft wat het model is, waarvoor het bedoeld is, waarop het is getraind en waar het tekortschiet. Een bijsluiter, in feite.
Wat erin hoort te staan
- Waarvoor het bedoeld is, en net zo belangrijk: waarvoor niet.
- Waarop het is getraind — welk soort gegevens, uit welke periode, in welke talen.
- Hoe het presteert, en op welke toetsen gemeten.
- Bekende beperkingen, inclusief groepen waarvoor het slechter werkt.
- Hoe het is getest op veiligheid en scheve uitkomsten.
- De licentie: wat je ermee mag, commercieel en niet-commercieel.
Waarom het je aangaat
Twee regels in zo'n document kunnen een project redden. "Overwegend getraind op Engelstalige tekst" verklaart waarom je Nederlandse resultaten tegenvallen. "Niet geschikt voor beslissingen over personen" is precies de zin die je wilt hebben gelezen voordat je het voor sollicitatieselectie inzet, en niet erna.
Ook de peildatum van de kennis staat erin. Een model weet niets van wat er na die datum gebeurde, hoe stellig het ook antwoordt.
Waar je ze vindt
Bij open modellen staan ze meestal op de pagina waar het model wordt aangeboden. Bij gesloten modellen publiceren de grote aanbieders vergelijkbare documenten, al zijn die over het trainingsmateriaal doorgaans vaag — dat is bedrijfsgevoelige informatie en soms onderwerp van rechtszaken.
Van goed gebruik naar verplichting
Documentatie van dit type was lang vrijwillig. Onder de Europese AI-verordening wordt het voor aanbieders van modellen voor algemene doeleinden verplicht om technische documentatie en een samenvatting van het trainingsmateriaal beschikbaar te stellen.
Voor een organisatie die AI inkoopt betekent dat iets praktisch: je mág deze informatie vragen, en een leverancier die hem niet kan leveren, zegt daarmee iets.
Zie de Europese AI-verordening en een AI-leverancier kiezen.