Een AI-support confidence threshold instellen die standhoudt

Het korte antwoord op het instellen van een AI-support confidence threshold is dat één wereldwijd getal niet werkt. Je zet een drempel per intentie, kalibreert tegen gemeten accuratesse in plaats van tegen de zelfgerapporteerde score van het model, start conservatief, versoepelt zodra het auditspoor vertrouwen opbouwt, en bewaart een afspeelbaar overdrachtslog zodat elke handoff herzien kan worden. Een goede drempel is een beleid, geen schuifje.

Waarom zo precies? Omdat RLHF-getrainde modellen slecht gekalibreerd zijn: hun opgegeven zekerheid overschat vaak de daadwerkelijke accuratesse, en een geclaimde 90% kan overeenkomen met ongeveer 75% echte accuratesse. Als de AI zegt 85% zeker te zijn, vertrouw dat getal pas nadat je hebt gemeten of 85 ook 85 betekent.

Wat een confidence score eigenlijk is

Een confidence score is de eigen inschatting van het model van hoe zeker het is over een antwoord. De meeste supportplatforms laten het als een 0 tot 1 of 0 tot 100 getal per antwoord zien. De routing-regel leest het: zodra de score onder een gedefinieerde drempel zakt, kan het systeem het gesprek doorrouteren naar een mens, om verheldering vragen of het antwoord met een disclaimer tonen.

In de praktijk bestaan er twee soorten score. De ene is de interne waarschijnlijkheid van het model (op basis van logits); de andere is een uitgesproken getal dat het model opschrijft ("ik ben voor 80% zeker"). Uitgesproken zekerheid is wat de meeste commerciële API's teruggeven, en hij is onbetrouwbaarder: uitgesproken LLM-zekerheid kan een ECE boven 0,377 laten zien, veel slechter dan logit-waarschijnlijkheden. ECE staat voor Expected Calibration Error. Nul betekent dat opgegeven zekerheid exact gelijk loopt met echte accuratesse; onder 0,05 op je gelabelde testset is een redelijk productie-doel.

Waarom één wereldwijde drempel faalt

Beeld je in: één AI-supportagent op 0,80. Op "wat is jullie retourtermijn" antwoordt het model correct met 0,78 en wordt gedwongen tot een handoff: een verspilde menselijke minuut. Op "annuleer mijn abonnement en storteer de betaling van vandaag terug" antwoordt het model met 0,82 en verliest de klant op een fout antwoord: een supportfalen. Zelfde drempel, twee slechte uitkomsten.

De oplossing is splitsen per intentie. Een per-intentie-draaiboek adviseert een hogere drempel op refunds, facturatie en annuleringen, ongeveer 0,4 boven de algemene lijn, en versoepelen op informatieve intenties. De kosten van fout zijn op een refund een refund; de kosten van fout op "wat zijn jullie openingstijden" zijn een correctie. Behandel ze anders.

Stap 1: Groepeer elke intentie op foutkosten

Lijst de intenties die de agent afhandelt. Scoor elk op twee assen, 1 tot 3:

• Omkeerbaarheid van een fout antwoord. 1 = een correctie die een mens later leest, lost het op (openingstijden). 3 = geld is verplaatst of een beslissing is vastgezet (refund, annulering, adreswijziging).
• Zichtbaarheid van een fout antwoord. 1 = de klant merkt het misschien niet. 3 = de klant klaagt of churnt.

Het product geeft een rang van 1 tot 9. Zes of hoger krijgt een strakke drempel. Drie of lager een losse.

Een typische ecommerce-splitsing:

| Categorie | Omkeerbaarheid | Zichtbaarheid | Rang | Drempeldoel | | --- | --- | --- | --- | --- | | Openingstijden, FAQ | 1 | 1 | 1 | 0,55 | | Orderstatus (WISMO) | 2 | 2 | 4 | 0,70 | | Retour-eligibility | 2 | 3 | 6 | 0,80 | | Refund boven drempel | 3 | 3 | 9 | 0,92 | | Account-annulering | 3 | 3 | 9 | 0,92 |

De drempelkolom is een startpunt; de echte waarden komen uit kalibratie.

Stap 2: Kalibreer tegen gemeten accuratesse

De opgegeven zekerheid is een startpunt, geen waarheid. Bouw een gelabelde set van 100 tot 300 gesprekken per intentie, met het juiste antwoord gemarkeerd. Laat de agent erover lopen en noteer zowel de confidence score als of het antwoord juist was.

Verdeel de resultaten in score-bakjes: 50 tot 60, 60 tot 70, enzovoort. Bereken per bakje de echte accuratesse. Komen 100 antwoorden in het bakje 80 tot 90 uit en zijn 70 correct, dan betekent een opgegeven 85 een werkelijke 70. Klantenservice tolereert effectieve drempels in de 80 tot 85% range, tegenover 90 tot 95% voor financiële dienstverlening, gedefinieerd in termen van gemeten accuratesse en niet opgegeven zekerheid.

De drempel is dus niet "zet hem op 0,80". Het is "vind de opgegeven score waarbij de echte accuratesse 80% kruist, en gebruik die als handofflijn". Voor veel algemene modellen is die opgegeven score 0,90 of hoger.

Onze notitie over de antwoorden van je AI-agent auditen beschrijft een wekelijkse rubric die de gelabelde data levert voor deze kalibratie zonder apart project.

Stap 3: Start conservatief, versoepel op bewijs

Begin met een conservatieve drempel, let op onnodige overdrachten en versoepel pas naarmate het vertrouwen groeit. Dat is tegen-intuïtief als je bent begonnen om handoff-kosten te besparen, maar een onterechte handoff is goedkoop (een mens leest een antwoord dat de AI kon versturen), terwijl een fout antwoord duur is (geld beweegt, vertrouwen daalt).

Een werkbaar ritme: zet de startdrempel op de opgegeven score waarbij gemeten accuratesse gelijk is aan je tolerantie plus vijf procentpunt. Beoordeel handoff-redenen wekelijks. Blijkt een handoff-bakje herhaaldelijk antwoorden te bevatten die de AI had kunnen geven, versoepel de drempel voor die intentie met 2 tot 3 punten. Nooit versoepelen zonder dat bewijs.

Stap 4: Signalen toevoegen die zekerheid overrulen

Een zekerheidsregel alleen is dun. Goede ontwerpen combineren drempels met sentimentsignalen, directe verzoeken om een mens, en compliance-regels. Deze overrulen de score, ongeacht hoe hoog hij is.

Drie overrules die elk team waard is:

• Direct menselijk verzoek. De klant schrijft "ik wil een mens", "agent graag" of het equivalent in een andere taal. Direct overdragen, ongeacht de zekerheid van de AI. Directe verzoeken om een mens worden gehonoreerd bij het eerste bericht.
• Sentiment-vlag. Woede, frustratie of escalerende woordkeus ("woedend", "onacceptabel", "advocaat") route naar een mens. Zekerheid is hier irrelevant; de mens voert het emotionele gesprek, de AI het volgende.
• Compliance-categorie. Fraude, juridische geschillen, account-takeover, AVG-dataverzoeken, chargebacks. Altijd een mens. Zie wanneer je een ticket niet moet automatiseren voor de volledige lijst.

Stap 5: Log elke overdracht afspeelbaar

Elke escalatie moet afspeelbaar zijn: welk signaal activeerde, wat de drempel was, en of de mens het eens was met de overdrachtsbeslissing. Zonder dit log kun je niet weten of je drempels kloppen.

Een minimale logregel per handoff:

• Intentie-classificatie.
• De opgegeven zekerheid van de AI.
• De drempel die vuurde.
• De regelnaam die vuurde (zekerheidsregel, direct verzoek, sentiment, compliance).
• Het uiteindelijke antwoord van de mens, met een vlag of het het concept van de AI matchte.

Beoordeel dit log wekelijks. Is de mens het in een intentie met 95% van de handoffs eens met het AI-concept, dan is de drempel te conservatief. Verschilt de mens op 20%, dan is de drempel te los of hebben de bronnen een update nodig. Onze notitie over de AI-naar-mens overdracht ontwerpen loopt het volledige handoff-log en de context door die de mens bij een overdracht nodig heeft.

Stap 6: Let op drift

Drempels die in juni klopten kunnen in oktober fout zijn omdat bronnen zijn veranderd, het model is bijgewerkt of de vragenmix is verschoven. Drie goedkope driftsignalen:

• Handoff-rate per intentie. Een plotselinge stijging betekent dat het model vaker is gaan weigeren. Een plotselinge daling kan betekenen dat een bron stale is en het model zelfverzekerd uit oude data put.
• Reopen-rate per intentie. Stijgende reopens binnen een zekerheidsband betekent dat de drempel voor die intentie te laag is geworden.
• Effectieve-accuratesse-gat. Draai de gelabelde set maandelijks opnieuw. Beweegt de gemeten accuratesse op de huidige drempel meer dan 2 procentpunt vanaf basislijn, hervkalibreer.

Hallucinatiepercentages voor gegronde supportagents moeten ruim onder 1% liggen; drijft de effectieve accuratesse op je drempel omhoog op hallucinatie-gevoelige intenties, verlaag dan de drempel tot de bron hersteld is.

Hoe Keloa drempels aanpakt

De flow builder van Keloa laat een team per-intentie drempels en override-regels naast elkaar zetten, met de opgegeven score van de agent, de curve van gemeten accuratesse uit het auditlog en de handoff-reden zichtbaar op elk gesprek in de verenigde inbox. De AI-agents gronden elk antwoord in je gekoppelde bronnen en citeren ze, zodat een gemeten-accuratesse-check een filter in de inbox wordt, geen export. Zijn bronnen onvoldoende voor een verzoek, dan wijst de agent af in plaats van te gokken, wat de zekerheidsregel eerlijk houdt.

Teams die hiermee starten, raden we aan ook AI-hallucinaties terugbrengen en AI-antwoorden auditen te lezen.

Veelgestelde vragen

Moet de drempel in alle talen gelijk zijn? Nee. De gemeten accuratesse varieert per taal, vooral op lange-staartbegrippen. Kalibreer apart voor elke taal in productievolume. Veel teams eindigen met een iets strakkere drempel op secundaire talen tot de kennisbank-dekking is bijgetrokken.

Kunnen we niet gewoon de zelfgerapporteerde zekerheid direct gebruiken? Niet veilig. Behandel het zelfgerapporteerde getal als input, map het naar gemeten accuratesse op je eigen gelabelde set, en zet de drempel tegen de gemeten curve. Dat gat is waarom kalibratie bestaat.

Hoe vaak moeten we hervkalibreren? Volledig kwartaalgewijs, met wekelijkse lichte checks via het handoff-log. Trigger een directe herkalibratie na een modelupgrade, grote prompt-wijziging of significante bron-refresh.

Wat is een verstandig handoff-doel? Er is geen universeel antwoord. Voor een ecommerce-merk met vooral WISMO en retouren is 15 tot 30% gebruikelijk. Het juiste getal is dat waarbij je reopen-rate vlak blijft en je CSAT per gesprek standhoudt. Zie CSAT voor AI-afgehandelde tickets voor de meetopzet.

Moeten drempels variëren per klanttier? Ja, als de business het rechtvaardigt. VIP-accounts verdienen vaak een strakkere drempel (meer menselijke aandacht). Nieuwe of anonieme bezoekers tolereren een lossere. Codeer de tier als onderdeel van de intentie-classificatie zodat de regel leesbaar blijft.

Hoe ziet het eruit als de drempel fout staat? Te strak: mensen beantwoorden vragen waarop het AI-concept al correct was, en de klant wachtte voor een trager antwoord zonder winst. Te los: reopens stijgen en het handoff-log laat zien dat de mens het concept op refunds of adreswijzigingen vaak afwijst. Beide verschijnen in een week handoff-log-review.

Wil je een werkend drempel-beleid op je eigen tickets? Plan een demo en we lopen het auditlog, de kalibratiecurve en override-regels tegen je eigen data door.

Bronnen

• Decagon: Wat is een confidence score
• Tianpan: LLM confidence calibration in productie
• Tianpan: Confidence-accuracy inversion in productie-LLMs
• Tianpan: LLM-kalibratie productie-overconfidence
• Fini: AI support confidence threshold tuning playbook
• Fini: Bot-human escalation rules
• Eesel: AI chat escalation
• Aloware: AI-to-human handoff
• Suprmind: AI hallucination rates and benchmarks