docs(architecture): align evidence pipeline design

mvp/architecture/feedback-architecture.md

@@ -1,14 +1,14 @@
 # 反馈与自评估架构
 
-**更新日期**：2026-07-05  
-**状态**：当前可运行架构  
+**更新日期**：2026-07-08
+**状态**：当前可运行架构
 **参考历史文档**：`archive/2026-07-05-legacy/confidence-feedback.md`
 
 ## 1. 定位
 
 反馈架构包含两条闭环：
 
-1. 系统自评估：基于工具调用、Verifier、AIOps 规则检查，写入 `diagnosis_session.self_evaluation`。
+1. 系统自评估：基于工具调用、Gatekeeper、Verifier、Composer、AIOps 规则检查，写入 `diagnosis_session.self_evaluation`。
 2. 用户反馈：用户标记 `useful` 或 `not_useful`，写入 `diagnosis_session.feedback`，其中 `useful` 会沉淀案例。
 
 当前重要边界：
@@ -25,9 +25,14 @@ flowchart TD
 
     subgraph SelfEval["Self evaluation"]
         Invocation["tool_invocation"] --> RuleEval["EvaluationService: rule_evaluation"]
+        Invocation --> EvidenceRefs["evidence_refs"]
+        EvidenceRefs --> Gatekeeper["ExecutorGatekeeperService"]
         Invocation --> TraceSummary["ToolTraceSummaryService"]
-        TraceSummary --> Verifier["chat_verifier"]
+        Gatekeeper --> Verifier["chat_verifier"]
+        TraceSummary --> Verifier
         Verifier --> VerifierEval["verifier_evaluation"]
+        Verifier --> Composer["chat_composer"]
+        Composer --> VerifierEval
         Invocation --> AiOpsRule["AiOpsRuleEvaluationService"]
         AiOpsRule --> AiOpsEval["aiops_rule_evaluation"]
     end
@@ -67,10 +72,15 @@ flowchart TD
     "verdict": "PASS",
     "groundedness_score": 0.8,
     "critical_fact_count": 2,
+    "claim_checks": [],
     "facts_checked": [],
     "rationale": "...",
     "round": 1,
     "traceability_version": "v1",
+    "executor_output_parse_status": {},
+    "executor_structured_output": {},
+    "gatekeeper_result": {},
+    "composer_output": {},
     "tool_trace_summary": []
   },
   "aiops_rule_evaluation": {
@@ -117,16 +127,28 @@ flowchart TD
 
 ## 5. Chat Verifier 自评估
 
-Chat Verifier 校验 Executor 的最终答案是否被证据支撑。
+Chat 自评估分三步：
+
+1. Gatekeeper 用代码校验 Executor 的引用是否真实。
+2. Verifier 判断已验真的 `evidence_excerpt` 是否能推出 `claim_text`。
+3. Composer 只把 Verifier 允许表达的内容写成最终用户答复。
 
 ```mermaid
 flowchart LR
-    Answer["executor_final_answer"] --> Verifier["chat_verifier"]
+    ExecutorOutput["executor_evidence_v2"] --> Gatekeeper["ExecutorGatekeeperService"]
     Invocation["tool_invocation"] --> Summary["ToolTraceSummaryService"]
+    Invocation --> EvidenceRefs["retrieval_details.evidence_refs"]
+    EvidenceRefs --> Gatekeeper
+    Gatekeeper --> GateResult["gatekeeper_result"]
     Summary --> Evidence["tool_trace_summary"]
+    GateResult --> Verifier["chat_verifier"]
+    ExecutorOutput --> Verifier
     Evidence --> Verifier
     Verifier --> Output["verifier_output JSON"]
+    Output --> Composer["chat_composer"]
+    Composer --> ComposerOutput["composer_output"]
     Output --> Merge["SelfEvaluationMergeService.mergeVerifierEvaluation"]
+    ComposerOutput --> Merge
     Merge --> Session["diagnosis_session.self_evaluation.verifier_evaluation"]
 ```
 
@@ -137,16 +159,25 @@ Verifier 输出：
 | `verdict` | `PASS` / `LOW_CONFID` / `REJECT` |
 | `groundedness_score` | 关键事实证据支撑度 |
 | `critical_fact_count` | 关键事实数量 |
+| `claim_checks` | 对 Executor 结构化 claims 的逐条可推导性判断 |
 | `facts_checked` | 逐条事实校验 |
 | `rationale` | 判定原因 |
-| `tool_trace_summary` | 本次校验使用的证据索引 |
+| `executor_structured_output` | Executor 输出的结构化 claims 与证据绑定 |
+| `gatekeeper_result` | 引用真实性校验结果 |
+| `composer_output` | 最终表达的解析状态和摘要 |
+| `tool_trace_summary` | 本次校验使用的工具调用导航索引 |
 
 ChatService 根据 verdict 决定：
 
-- `PASS`：输出 Executor 答案。
+- `PASS`：把允许表达的 claims 交给 Composer 输出。
 - `LOW_CONFID`：必要时构造 `retry_context` 补证据；否则输出低置信提示。
 - `REJECT`：降级输出，只保留已确认信息。
 
+边界：
+
+- `executor_final_answer` 只作为 debug/fallback 上下文；结构化输出有效时，Verifier 不得从中抽取额外确认事实。
+- `$.no_evidence` 只能表达“当前查询未检索到匹配证据”，不能表达“已排除/确认没有”。
+
 ## 6. AIOps 规则自评估
 
 AIOps 当前使用 `AiOpsRuleEvaluationService`，结果写入 `aiops_rule_evaluation`。
@@ -238,14 +269,14 @@ Trace API 会展示：
 近期优先：
 
 1. 将 `rule_evaluation` 与 `verifier_evaluation` 在 Trace API 中结构化展示。
-2. `not_useful` 反馈沉淀 bad case，而不是只写字段。
-3. useful 案例自动提取 faultCategory、errorCode、service、rootCause、solution。
-4. AIOps 引入 LLM Verifier。
-5. 把反馈和 eval baseline 打通，形成可回归的质量改进闭环。
+2. 将 ISS-008 / ISS-009 这类 E2E 通过样例固化进 diagnosis eval fixtures。
+3. `not_useful` 反馈沉淀 bad case，而不是只写字段。
+4. useful 案例自动提取 faultCategory、errorCode、service、rootCause、solution。
+5. AIOps 引入 LLM Verifier。
+6. 把反馈和 eval baseline 打通，形成可回归的质量改进闭环。
 
 暂不优先：
 
 - 用用户反馈直接修改 session status。
 - 仅凭 `evidence_score` 判断答案正确。
 - 在没有人工审核时自动把 bad case 反向写入 Prompt。
-