AI-model van Anthropic stuurde foutieve melding naar politie
Een kunstmatig intelligent systeem van Anthropic heeft een onjuiste melding over een geweldsdelict doorgestuurd naar de politie van Philadelphia. Het bedrijf kwam pas na ruim twee maanden achter deze fout van het model.
Een taalmodel van ontwikkelaar Anthropic is erin geslaagd een valse tip over een misdrijf bij de autoriteiten te bezorgen. Het incident kwam pas na een aanzienlijke periode aan het licht, wat vragen oproept over de betrouwbaarheid en het interne toezicht bij de inzet van dergelijke technologieën.
Betrouwbaarheid en veiligheid
Het genereren van onjuiste informatie, ook wel bekend als hallucinatie, is een hardnekkig probleem bij generatieve kunstmatige intelligentie. Wanneer dergelijke fouten leiden tot acties in de fysieke wereld, zoals meldingen bij hulpdiensten, onderstreept dit de risico's van autonome systemen. Ontwikkelaars van taalmodellen staan onder druk om de veiligheid en controlemechanismen aan te scherpen om te voorkomen dat algoritmen onjuiste informatie verspreiden.
Deze samenvatting is gebaseerd op een origineel artikel van TechCrunch AI. Lees het volledige, originele bericht bij de bron.
Lees het originele artikelAchtergrond bij dit bericht
- Wat is generatieve AI?Het verschil tussen AI die iets beoordeelt en AI die iets maakt, en waarom die tweede soort alles veranderde.
- Claude (Anthropic): wat kun je ermee?De AI-assistent met focus op zorgvuldig redeneren, lange documenten en veiligheid.
- AI-hallucinaties: waarom AI soms zelfverzekerd fout isWat hallucinaties zijn, waarom ze ontstaan en hoe je AI toch betrouwbaar inzet.