Goal drift
Wat is Goal drift?
Goal drift is wanneer een AI-agent geleidelijk afwijkt van het doel waarvoor hij is ingezet. Dit kan gebeuren door subtiele fouten die zich opstapelen, door manipulatie (prompt injection) of door onverwachte omstandigheden die de agent in een ander pad duwen.
Het verraderlijke van goal drift is dat het geleidelijk gaat. De agent doet nog steeds dingen, maar niet meer de juiste dingen. Het is als een navigatiesysteem dat langzaam een verkeerde route neemt — je merkt het pas als je ver van je bestemming bent.
Goal monitoring is het mechanisme dat goal drift detecteert. Door continu te vergelijken wat de agent doet met wat hij zou moeten doen, kun je afwijkingen vroegtijdig signaleren.
Goal drift is een van de risico’s die specifiek is voor AI-agents en niet bestaat bij traditionele software. Traditionele software doet altijd precies hetzelfde. AI-agents kunnen variëren — en dat is zowel hun kracht als hun risico.
Voorbeeld uit de praktijk
Visser Elektrotechniek besteedde gemiddeld twintig minuten aan de administratieve verwerking van elk inspectierapport. Met de AI-oplossing van Agentech worden rapporten nu automatisch geanalyseerd en naar de juiste afdeling doorgestuurd. Bij gebreken maakt het systeem ook een bestellijst met artikelnummers, aantallen en locaties. Binnen vijf minuten is de verwerking klaar, zonder handmatig overtypen.
Bekijk de case van Visser ElektrotechniekWat betekent dit voor jouw organisatie?
Agentech bouwt goal monitoring in als standaard beveiligingsmechanisme voor AI-agents die in productie draaien.