Confidence score
Wat is Confidence score?
Een confidence score is een getal (vaak 0-100%) dat aangeeft hoe zeker het model is van zijn output. Bij een classificatietaak: ‘dit is een factuur’ met 97% zekerheid, of ‘dit is een factuur’ met 62% zekerheid.
De score is waardevol voor het ontwerpen van betrouwbare automatiseringen. Bij een hoge confidence score kan de AI autonoom handelen. Bij een lage score escaleert het naar een mens. Zo combineer je snelheid met betrouwbaarheid.
Belangrijk: een hoge confidence score betekent niet altijd dat het antwoord correct is. Het model kan zeker en toch fout zijn. Maar gemiddeld genomen correleert de score wel met de nauwkeurigheid.
In de praktijk definieer je drempels: boven 90% mag de AI zelfstandig handelen, tussen 70-90% wordt het resultaat gemarkeerd voor snelle review, onder 70% gaat het naar een mens.
Voorbeeld uit de praktijk
Visser Elektrotechniek besteedde gemiddeld twintig minuten aan de administratieve verwerking van elk inspectierapport. Met de AI-oplossing van Agentech worden rapporten nu automatisch geanalyseerd en naar de juiste afdeling doorgestuurd. Bij gebreken maakt het systeem ook een bestellijst met artikelnummers, aantallen en locaties. Binnen vijf minuten is de verwerking klaar, zonder handmatig overtypen.
Bekijk de case van Visser ElektrotechniekWat betekent dit voor jouw organisatie?
Confidence scores zijn een kernonderdeel van de AI-oplossingen die Agentech bouwt. Ze maken het mogelijk om autonomie en betrouwbaarheid te combineren.