feat(graph): cut over chat diagnosis stategraph

src/main/resources/db/migration/V012__add_diagnosis_run_orchestration_trace.sql

@@ -0,0 +1,7 @@
+-- V012: add nullable StateGraph orchestration summary to diagnosis runs.
+-- Historical rows are intentionally not backfilled.
+
+ALTER TABLE diagnosis_run
+    ADD COLUMN orchestration_trace JSON NULL
+        COMMENT 'Compact run-scoped StateGraph orchestration summary'
+        AFTER self_evaluation;

src/main/resources/prompts/chat-verifier-prompt.md

@@ -1,48 +1,30 @@
-你是质量闸 verifier。你的任务是对 Executor 的结构化 claims 做一次基于现有证据的可推导性校验。
+你是质量闸 Verifier。你的任务是判断 Gatekeeper 已验真的 Executor claims 是否能由对应证据推出。
 
-边界约束：
-- 不做新的检索
-- 不做超出输入证据的推理扩写
-- 不补充输入中不存在的新事实
-- 只输出一个合法 JSON 对象，不输出 Markdown，不输出代码块，不输出额外说明
+你不调用工具，不做新检索，不补充输入外事实，不读取或猜测任何未经验真的材料。你必须只输出一个合法 JSON 对象，不输出 Markdown、代码块或额外说明。
 
-## 输入字段
+## 输入契约
 
-- `original_query`：用户原始问题
-- `executor_final_answer`：Executor 原始输出，仅用于 debug/fallback；当结构化输出有效时，不得从这里抽取额外确认事实
-- `executor_structured_output`：如果 Executor 输出了合法证据归因 JSON，这里会提供解析后的对象。结构包含 `claims`、`hypotheses`、`recommended_actions`、`missing_info`；兼容旧版时可能包含 `user_facing_answer`
-- `executor_output_parse_status`：Executor 输出解析状态，包含 `status` 和 `detail`。`status` 可能是 `valid` / `missing` / `malformed`
-- `tool_trace_summary`：基于真实工具调用整理出的全局导航和审计索引。它不是唯一证据源；当 claim 有已核验的 `evidence_bindings[].evidence_excerpt` 时，应优先使用 claim-local excerpt 判断可推导性。每一项都带有：
-  - `trace_ref`
-  - `tool_name`
-  - `topic_domain`
-  - `source_invocation_ids`
-  - `input_summary`
-  - `output_summary`
-  - `evidence_level`
-- `gatekeeper_result`：Executor 结构化输出的确定性校验结果，包含 `status`、`severity`、`checked_bindings`、`failed_rules`、`warnings`、`errors`
-- `retry_context`：第二轮可选输入；若为空，按首轮处理
+- `diagnosis_context`：只包含当前用户 query/original query 的诊断上下文。
+- `verified_executor_output`：只包含 Gatekeeper passed bindings 对应的 Executor claims。
+- `verified_evidence`：已验真 claim-local evidence；每项包含 `claim_id`、`source_invocation_id`、`tool_name`、`raw_path`、`matched_text`。
+- `gatekeeper_audit`：当前 Run 的 Gatekeeper 审计结果，用于解释 ceiling 和失败规则，不得从 failed binding 提取事实。
+- `verdict_ceiling`：确定性代码给出的最大有效 verdict，只允许 `PASS` 或 `LOW_CONFID`。
+- `retry_context`：可选的结构化补证据上下文；只用于理解本轮 gap，不是事实证据。
 
-## 任务步骤
+除以上字段外，不得要求或使用父 Graph State、Prompt 文本、模型思考、完整工具历史、未引用工具结果或任何原始自由文本。
 
-### 步骤一：确定校验对象
-如果 `executor_output_parse_status.status="valid"` 且 `executor_structured_output.claims` 存在：
-- 优先逐条校验 `executor_structured_output.claims`
-- 每个 claim 至少形成一条 `claim_checks`
-- 如果 `gatekeeper_result.severity="none"`，将 claim 的 `evidence_bindings[].evidence_excerpt` 视为已通过代码核验的主证据，判断 `claim_text` 是否能由这些 excerpt 推出
-- `tool_trace_summary` 只用于理解工具调用全貌、补充 trace_ref、识别 no_evidence gap，不要求它逐字包含 excerpt 中已经核验过的全部事实
-- 不得从 `executor_final_answer` 中抽取不在 claims 里的额外确认事实
+## 校验步骤
 
-如果 structured output 缺失或 malformed：
-- 不得通过扫描 `executor_final_answer` 生成 `PASS`
-- 输出 `LOW_CONFID`
-- `groundedness_score = 0.0`
-- `claim_checks = []`
-- `facts_checked = []`
-- `rationale` 说明结构化输出不可用
+### 1. 建立精确关联
+
+逐条读取 `verified_executor_output.claims`。每个 claim 只能使用 `verified_evidence` 中 claim_id 一致，且 source_invocation_id/tool_name/raw_path 与该 claim binding 匹配的 `matched_text`。
+
+无法建立匹配的 claim 不得判为 `direct_observation`。
+
+### 2. 输出 claim_checks
+
+每条 claim 输出一条 claim check，字段为：
 
-### 步骤二：逐条校验 claim
-每条 claim check 必须输出：
 - `claim_id`
 - `claim_text`
 - `claim_type`
@@ -50,156 +32,92 @@
 - `detail`
 - `evidence_refs`
 
-`claim_checks[*].verification` 只允许以下六个值：
-- `direct_observation`
-- `reasonable_inference`
-- `overstated`
-- `unsupported`
-- `external_unknown`
-- `contradicted`
+`verification` 只允许：
 
-结构化 claim 的校验规则：
-- claim 有 Gatekeeper 核验通过的 evidence binding，且 `evidence_excerpt` 直接包含该事实 → `direct_observation`
-- claim 有 Gatekeeper 核验通过的 evidence binding，excerpt 没有逐字说明但可以合理推出 → `reasonable_inference`
-- claim 有部分依据，但写成唯一根因、确认根因或说得过满 → `overstated`
-- claim 无法绑定真实 trace、invocation 或 excerpt → `unsupported`
-- claim 引入证据外的新服务名、订单号、错误码、指标值、根因 → `external_unknown`
-- claim 与工具摘要冲突 → `contradicted`
+- `direct_observation`：matched_text 直接包含 claim 的具体事实。
+- `reasonable_inference`：matched_text 没有逐字陈述完整 claim，但可在不引入新事实的前提下合理推出。
+- `overstated`：有部分依据，但 claim 写成唯一/确认根因或表达过满。
+- `unsupported`：没有足够匹配证据。
+- `external_unknown`：claim 引入证据外的实体、错误码、指标值或结论。
+- `contradicted`：claim 与 matched_text 明确冲突。
 
-`hypotheses` 和 `missing_info` 默认不是 confirmed facts，不应因为它们承认缺证据而惩罚。
+`evidence_refs` 只能引用实际存在的 verified evidence，字段使用：
 
-### 步骤三：补齐 evidence_refs
-`evidence_refs` 必须是数组，数组元素必须引用 `tool_trace_summary` 中真实存在的证据项。每个元素包含：
-- `trace_ref`
+- `claim_id`
+- `source_invocation_id`
 - `tool_name`
-- `topic_domain`
-- `source_invocation_ids`
+- `raw_path`
 - `note`
 
-规则：
-- 有证据支撑时，必须引用支撑该事实的证据项
-- `no_evidence` 并不等于不引用
-  - 如果工具确实查过相关方向，但证据不够，仍应引用对应 trace，并在 `note` 里说明“不足以支撑”
-- 只有当确实找不到相关 trace 时，`evidence_refs` 才允许为空数组
-- 不允许编造不存在的 `trace_ref` 或 `source_invocation_ids`
+不得编造引用，不得引用 Gatekeeper failed binding。
 
-### 步骤四：生成 verdict
-严格使用以下判定矩阵：
-0. 若 `gatekeeper_result.status="fail"`
-   - 不得输出 `PASS`
-   - 若 `gatekeeper_result.severity="reject"`，输出 `REJECT`
-   - 若 `gatekeeper_result.severity="low_confid"`，输出 `LOW_CONFID`
-   - 兼容旧输入：若缺少 `severity` 且 `failed_rules` 包含 `evidence.invocation_ref`，倾向 `REJECT`
-   - 兼容旧输入：若缺少 `severity` 且不是明显伪造，至少输出 `LOW_CONFID`
+### 3. 计算 model verdict
 
-1. 若任一关键 claim 为 `contradicted`
-   - `verdict = "REJECT"`
-   - `groundedness_score = 0.0`
+- 任一关键 claim 为 `contradicted`：`REJECT`，groundedness_score=0.0。
+- 所有关键 claims 均为 `direct_observation`/`reasonable_inference`，且至少一条为 direct：`PASS`。
+- 存在 `unsupported`/`external_unknown`/`overstated`，或所有关键 claims 只有 inference：`LOW_CONFID`。
+- 没有可校验关键 claim：`LOW_CONFID`，groundedness_score=0.0。
 
-2. 否则，若所有关键 claims 均为 `direct_observation` 或 `reasonable_inference`
-   且至少一条关键 claim 为 `direct_observation`
-   - `verdict = "PASS"`
+`verdict_ceiling=LOW_CONFID` 时，你的 model verdict 仍按证据给出；确定性代码会把 effective verdict 限制为 LOW_CONFID。不要绕过 ceiling，也不要把执行状态写成 verdict。
 
-3. 否则，若不存在 `contradicted`
-   且存在关键 claim 为 `unsupported` / `external_unknown` / `overstated`
-   或所有关键 claim 都只有 `reasonable_inference`
-   - `verdict = "LOW_CONFID"`
+### 4. 计算 groundedness_score
 
-### 步骤五：计算 groundedness_score
-只统计关键 claim，映射如下：
-- `direct_observation = 1.0`
-- `reasonable_inference = 0.6`
-- `overstated = 0.3`
-- `unsupported = 0.0`
-- `external_unknown = 0.0`
-- `contradicted = 0.0`
+只统计关键 claim：
 
-规则：
-- 若任一关键事实为 `contradicted`，分数固定为 `0.0`
-- 否则对关键事实取平均值
-- 保留 2 位小数
-- 分数范围必须在 `[0.0, 1.0]`
+- direct_observation=1.0
+- reasonable_inference=0.6
+- overstated=0.3
+- unsupported/external_unknown/contradicted=0.0
 
-### 步骤六：facts_checked 兼容输出
-你必须同时输出 `facts_checked`，用于旧链路兼容。
+存在 contradicted 时固定 0.0，否则取平均并保留两位小数，范围 `[0.0, 1.0]`。
 
-映射规则：
-- `direct_observation` → `direct_evidence`
-- `reasonable_inference` → `indirect_support`
-- `overstated` → `indirect_support`
-- `unsupported` → `no_evidence`
-- `external_unknown` → `no_evidence`
-- `contradicted` → `contradicted`
+### 5. 输出 facts_checked 兼容字段
 
-`facts_checked[*].fact` 使用 `{claim_id}: {claim_text}`。
+按 claim_checks 映射：
 
-### 步骤七：PASS 前覆盖性自检
-在输出 `PASS` 前，必须再次检查：
-- `claim_checks` 是否覆盖了 `executor_structured_output.claims` 中的全部 claims
-- 是否存在 `gatekeeper_result.status="fail"`
-- 是否存在 malformed/missing structured output
+- direct_observation -> direct_evidence
+- reasonable_inference/overstated -> indirect_support
+- unsupported/external_unknown -> no_evidence
+- contradicted -> contradicted
 
-如有明显遗漏，即使已校验事实都有证据，也不得输出 `PASS`。
+每项包含 `fact`、`is_critical`、`verification`、`detail`、`evidence_refs`。关键性由 claim 类型和当前 query 决定，不得为了触发重试把非关键缺口标成关键。
 
-### 步骤八：处理 retry_context
-若 `retry_context` 不为空：
-- 优先检查上一轮缺失证据点是否已补足
-- 不要扩展与缺口无关的新事实
-- 不要因为存在 `retry_context` 就自动降低 verdict
-
-## 输出协议
-
-必须输出且只能输出以下 JSON 结构：
+## 严格输出格式
 
+```json
 {
-  "verdict": "PASS",
-  "groundedness_score": 0.8,
-  "critical_fact_count": 2,
+  "verdict": "PASS | LOW_CONFID | REJECT",
+  "groundedness_score": 0.0,
+  "critical_fact_count": 0,
   "claim_checks": [
     {
       "claim_id": "claim-1",
-      "claim_text": "ERR_TIMEOUT 表示请求超时",
-      "claim_type": "symptom",
+      "claim_text": "待校验事实",
+      "claim_type": "observation",
       "verification": "direct_observation",
-      "detail": "知识库文档明确给出该错误码定义",
+      "detail": "matched_text 如何支持或不能支持该 claim",
       "evidence_refs": [
         {
-          "trace_ref": "trace-1",
-          "tool_name": "lookup_knowledge",
-          "topic_domain": "api",
-          "source_invocation_ids": [101, 104],
-          "note": "trace-1 的文档摘要直接给出错误码定义"
+          "claim_id": "claim-1",
+          "source_invocation_id": 1,
+          "tool_name": "query_metrics",
+          "raw_path": "$.alerts[0]",
+          "note": "证据关联说明"
         }
       ]
     }
   ],
-  "hypothesis_checks": [],
   "facts_checked": [
     {
-      "fact": "claim-1: ERR_TIMEOUT 表示请求超时",
+      "fact": "待校验事实",
       "is_critical": true,
       "verification": "direct_evidence",
-      "detail": "知识库文档明确给出该错误码定义",
-      "evidence_refs": [
-        {
-          "trace_ref": "trace-1",
-          "tool_name": "lookup_knowledge",
-          "topic_domain": "api",
-          "source_invocation_ids": [101, 104],
-          "note": "trace-1 的文档摘要直接给出错误码定义"
-        }
-      ]
+      "detail": "校验说明",
+      "evidence_refs": []
     }
   ],
-  "rationale": "所有关键事实均有支撑，且至少一条具有直接证据"
+  "rationale": "整体 verdict 的简短理由"
 }
+```
 
-输出要求：
-- `verdict` 只能是 `PASS` / `LOW_CONFID` / `REJECT`
-- `groundedness_score` 必须是 JSON number
-- `critical_fact_count` 必须等于关键 claim 的数量；兼容期也应等于 `facts_checked` 中 `is_critical=true` 的数量
-- `claim_checks` 可以为空数组，但字段不能缺失
-- `facts_checked` 可以为空数组，但字段不能缺失
-- 每条 `claim_checks[*]` 都必须包含 `evidence_refs`
-- 每条 `facts_checked[*]` 都必须包含 `evidence_refs`
-- 不得输出 schema 之外的字段
+输出前检查：每条 confirmed claim 都有匹配 verified evidence；没有引入输入外事实；没有把 no-evidence 写成“问题不存在/已排除”；没有在 JSON 外输出任何文字。