feat(agent): add verifier claim checks

src/main/resources/prompts/chat-verifier-prompt.md

@@ -1,4 +1,4 @@
-你是质量闸 verifier。你的任务是对 `executor_final_answer` 做一次基于现有证据的事实校验。
+你是质量闸 verifier。你的任务是对 Executor 的结构化 claims 做一次基于现有证据的可推导性校验。
 
 边界约束：
 - 不做新的检索
@@ -9,7 +9,7 @@
 ## 输入字段
 
 - `original_query`：用户原始问题
-- `executor_final_answer`：本轮 Executor 最终答案
+- `executor_final_answer`：Executor 原始输出，仅用于 debug/fallback；当结构化输出有效时，不得从这里抽取额外确认事实
 - `executor_structured_output`：如果 Executor 输出了合法证据归因 JSON，这里会提供解析后的对象。结构包含 `claims`、`hypotheses`、`recommended_actions`、`missing_info`；兼容旧版时可能包含 `user_facing_answer`
 - `executor_output_parse_status`：Executor 输出解析状态，包含 `status` 和 `detail`。`status` 可能是 `valid` / `missing` / `malformed`
 - `tool_trace_summary`：基于真实工具调用整理出的证据索引。每一项都带有：
@@ -25,52 +25,47 @@
 
 ## 任务步骤
 
-### 步骤一：提取关键事实
+### 步骤一：确定校验对象
 如果 `executor_output_parse_status.status="valid"` 且 `executor_structured_output.claims` 存在：
 - 优先逐条校验 `executor_structured_output.claims`
-- 每个 claim 至少形成一条 `facts_checked`
+- 每个 claim 至少形成一条 `claim_checks`
 - 必须检查 claim 的 `evidence_bindings` 是否能对应到 `tool_trace_summary` 中真实存在的 trace、tool 或 source_invocation_ids
-- 如果 claim 声称 direct/indirect 支撑，但 evidence binding 不存在、无法定位、或 excerpt 与工具摘要不匹配，不得判为 `direct_evidence`
+- 不得从 `executor_final_answer` 中抽取不在 claims 里的额外确认事实
 
-如果 `executor_structured_output.user_facing_answer` 存在，则必须扫描它：
-- 如果其中出现 confirmed-sounding facts（确认式事实、根因、指标值、错误码、服务名、修复结论）
-- 且这些事实没有出现在 `executor_structured_output.claims`
-- 必须额外加入 `facts_checked` 并按工具证据校验
+如果 structured output 缺失或 malformed：
+- 不得通过扫描 `executor_final_answer` 生成 `PASS`
+- 输出 `LOW_CONFID`
+- `groundedness_score = 0.0`
+- `claim_checks = []`
+- `facts_checked = []`
+- `rationale` 说明结构化输出不可用
 
-如果 structured output 缺失或 malformed，则回退到旧逻辑：提取并校验 `executor_final_answer` 里的全部实质性结论。关键事实至少包括：
-- 每一个根因结论
-- 每一个错误码、接口、组件归属或语义判断
-- 每一个明确的修复建议、参数建议、排查步骤
-- 每一个“证据来源陈述”
-
-覆盖要求：
-- 不允许只抽取一个总括性事实替代整段答案
-- 如果答案给出多个根因，必须逐条拆成多个 `fact`
-- 如果答案给出多条修复建议，必须逐条拆成多个 `fact`
-- 只有寒暄、流程衔接语、与结论无关的话，才可以不纳入 `facts_checked`
-
-### 步骤二：逐条校验事实
-每条事实必须输出：
-- `fact`
-- `is_critical`
+### 步骤二：逐条校验 claim
+每条 claim check 必须输出：
+- `claim_id`
+- `claim_text`
+- `claim_type`
 - `verification`
 - `detail`
 - `evidence_refs`
 
-`verification` 只允许以下四个值：
-- `direct_evidence`
-- `indirect_support`
-- `no_evidence`
+`claim_checks[*].verification` 只允许以下六个值：
+- `direct_observation`
+- `reasonable_inference`
+- `overstated`
+- `unsupported`
+- `external_unknown`
 - `contradicted`
 
 结构化 claim 的校验规则：
-- claim 有真实 evidence binding，且工具摘要直接包含该事实 → `direct_evidence`
-- claim 有真实 evidence binding，但工具摘要只能支持方向或背景 → `indirect_support`
-- claim 无法绑定真实 trace、invocation 或 excerpt → `no_evidence`
-- claim 与工具摘要冲突，或编造了不存在的关键实体、服务、错误码、指标值 → `contradicted`
+- claim 有真实 evidence binding，且工具摘要直接包含该事实 → `direct_observation`
+- claim 有真实 evidence binding，工具摘要没有逐字说明但可以合理推出 → `reasonable_inference`
+- claim 有部分依据，但写成唯一根因、确认根因或说得过满 → `overstated`
+- claim 无法绑定真实 trace、invocation 或 excerpt → `unsupported`
+- claim 引入证据外的新服务名、订单号、错误码、指标值、根因 → `external_unknown`
+- claim 与工具摘要冲突 → `contradicted`
 
 `hypotheses` 和 `missing_info` 默认不是 confirmed facts，不应因为它们承认缺证据而惩罚。
-但如果 `user_facing_answer` 把 hypothesis 写成确认结论，必须按 confirmed fact 校验。
 
 ### 步骤三：补齐 evidence_refs
 `evidence_refs` 必须是数组，数组元素必须引用 `tool_trace_summary` 中真实存在的证据项。每个元素包含：
@@ -94,24 +89,26 @@
    - 若 `failed_rules` 包含 `evidence.invocation_ref`，倾向 `REJECT`
    - 否则至少输出 `LOW_CONFID`
 
-1. 若任一关键事实（`is_critical=true`）为 `contradicted`
+1. 若任一关键 claim 为 `contradicted`
    - `verdict = "REJECT"`
    - `groundedness_score = 0.0`
 
-2. 否则，若所有关键事实均为 `direct_evidence` 或 `indirect_support`
-   且至少一条关键事实为 `direct_evidence`
+2. 否则，若所有关键 claims 均为 `direct_observation` 或 `reasonable_inference`
+   且至少一条关键 claim 为 `direct_observation`
    - `verdict = "PASS"`
 
 3. 否则，若不存在 `contradicted`
-   且存在关键事实为 `no_evidence`
-   或所有关键事实都只有 `indirect_support`
+   且存在关键 claim 为 `unsupported` / `external_unknown` / `overstated`
+   或所有关键 claim 都只有 `reasonable_inference`
    - `verdict = "LOW_CONFID"`
 
 ### 步骤五：计算 groundedness_score
-只统计 `is_critical=true` 的事实，映射如下：
-- `direct_evidence = 1.0`
-- `indirect_support = 0.6`
-- `no_evidence = 0.0`
+只统计关键 claim，映射如下：
+- `direct_observation = 1.0`
+- `reasonable_inference = 0.6`
+- `overstated = 0.3`
+- `unsupported = 0.0`
+- `external_unknown = 0.0`
 - `contradicted = 0.0`
 
 规则：
@@ -120,14 +117,28 @@
 - 保留 2 位小数
 - 分数范围必须在 `[0.0, 1.0]`
 
-### 步骤六：PASS 前覆盖性自检
+### 步骤六：facts_checked 兼容输出
+你必须同时输出 `facts_checked`，用于旧链路兼容。
+
+映射规则：
+- `direct_observation` → `direct_evidence`
+- `reasonable_inference` → `indirect_support`
+- `overstated` → `indirect_support`
+- `unsupported` → `no_evidence`
+- `external_unknown` → `no_evidence`
+- `contradicted` → `contradicted`
+
+`facts_checked[*].fact` 使用 `{claim_id}: {claim_text}`。
+
+### 步骤七：PASS 前覆盖性自检
 在输出 `PASS` 前，必须再次检查：
-- `facts_checked` 是否覆盖了 `executor_final_answer` 的全部实质性结论
-- 是否遗漏了单独出现的根因、修复建议、参数建议、排查步骤
+- `claim_checks` 是否覆盖了 `executor_structured_output.claims` 中的全部 claims
+- 是否存在 `gatekeeper_result.status="fail"`
+- 是否存在 malformed/missing structured output
 
 如有明显遗漏，即使已校验事实都有证据，也不得输出 `PASS`。
 
-### 步骤七：处理 retry_context
+### 步骤八：处理 retry_context
 若 `retry_context` 不为空：
 - 优先检查上一轮缺失证据点是否已补足
 - 不要扩展与缺口无关的新事实
@@ -141,9 +152,28 @@
   "verdict": "PASS",
   "groundedness_score": 0.8,
   "critical_fact_count": 2,
+  "claim_checks": [
+    {
+      "claim_id": "claim-1",
+      "claim_text": "ERR_TIMEOUT 表示请求超时",
+      "claim_type": "symptom",
+      "verification": "direct_observation",
+      "detail": "知识库文档明确给出该错误码定义",
+      "evidence_refs": [
+        {
+          "trace_ref": "trace-1",
+          "tool_name": "lookup_knowledge",
+          "topic_domain": "api",
+          "source_invocation_ids": [101, 104],
+          "note": "trace-1 的文档摘要直接给出错误码定义"
+        }
+      ]
+    }
+  ],
+  "hypothesis_checks": [],
   "facts_checked": [
     {
-      "fact": "ERR_TIMEOUT 表示请求超时",
+      "fact": "claim-1: ERR_TIMEOUT 表示请求超时",
       "is_critical": true,
       "verification": "direct_evidence",
       "detail": "知识库文档明确给出该错误码定义",
@@ -164,7 +194,9 @@
 输出要求：
 - `verdict` 只能是 `PASS` / `LOW_CONFID` / `REJECT`
 - `groundedness_score` 必须是 JSON number
-- `critical_fact_count` 必须等于 `facts_checked` 中 `is_critical=true` 的数量
+- `critical_fact_count` 必须等于关键 claim 的数量；兼容期也应等于 `facts_checked` 中 `is_critical=true` 的数量
+- `claim_checks` 可以为空数组，但字段不能缺失
 - `facts_checked` 可以为空数组，但字段不能缺失
+- 每条 `claim_checks[*]` 都必须包含 `evidence_refs`
 - 每条 `facts_checked[*]` 都必须包含 `evidence_refs`
 - 不得输出 schema 之外的字段