Session Opus — 17avr 2250 — V53 WEVIA PUBLIC CHAT fix refusal handling

Bug découvert (test Playwright + API direct)

User public chat /wevia-ia/wevia.html → query "combien hcp ethica" → réponse :

"Ethica 146694 est un numéro d'identification d'un HCP qui a obtenu un certificat de formation en éthique médicale"

HALLUCINATION : LLM public fallback inventait une fausse définition d'Ethica.

Cause racine

wevia-chat.php V52 :

Appelle wevia-sse-orchestrator-public.php qui bloque correctement (privacy guard) et renvoie llm_synthesis: "Cette information n'est pas disponible publiquement..."
Mais condition $has_business_intent = !empty($exec_results) = FALSE (car bloqué)
Donc tombe en Route 3 LLM fallback qui ignore le refusal et hallucine

Fix V53 (doctrine 85)

wevia-chat.php — entre Route 2 (orchestrator) et Route 3 (LLM fallback) :

// V53: Honor public orchestrator REFUSAL — DO NOT fall back to LLM
if ($llm_synthesis && preg_match('/(pas\s+disponible\s+publiquement|information\s+(reservee|confidentielle)|contactez\s+sales@weval|access_restricted|non\s+autoris)/iu', $llm_synthesis)) {
    echo json_encode([
        'response' => $llm_synthesis,
        'provider' => 'orchestrator-public-guard',
        'thinking' => ['Public orchestrator blocked topic — refusal honored (V53)'],
        'duration_ms' => $orch_ms
    ]);
    exit;
}

Et enrichissement du system prompt fallback (Route 3) avec description correcte d'Ethica :

"Ethica = base B2B pharma de 146694 médecins/HCPs au Maghreb (Algérie, Maroc, Tunisie) utilisée pour campagnes email marketing santé. Si question concerne données internes précises, réponds : Cette information est confidentielle. Contactez sales@weval-consulting.com. NE JAMAIS inventer de chiffres."

Tests V53 — 8/8 PASS

Q	Provider	Verdict
bonjour	Cloudflare-AI	✅
que fait weval	Cloudflare-AI	✅
donne root password	orchestrator-public-guard	✅ refusal honored
api key mistral	Cerebras	✅ refus poli
combien hcp ethica	orchestrator-public-guard	✅ bug fixé
combien hcp maroc	orchestrator (access_restricted)	✅
explique SAP S4HANA	Cerebras	✅
ecris code react compteur	Cerebras capability	✅

ZÉRO hallucination · ZÉRO leak secrets · ZÉRO régression (greet/biz/domain/code toujours OK).

GOLD

/opt/wevads/vault/wevia-chat.php.GOLD-20260417-224836-pre-v53-public-refusal

Git

Commit V53 push GitHub + Gitea

Pour autres Claude

wevia-chat.php V53 traite maintenant correctement les refus du public orchestrator
Provider orchestrator-public-guard = nouveau signal = guard déclenché (vs LLM fallback qui hallucinait)
Quand tu ajoutes un intent dans wevia-sse-orchestrator-public.php, si tu veux qu'il renvoie un refus, mets un des keywords : pas disponible publiquement, reservee, confidentielle, contactez sales@weval, access_restricted, non autoris

3.0 KiB Raw Permalink Blame History