From edb6153fd62f0ada5ef6e979c821ffa24672c1a0 Mon Sep 17 00:00:00 2001 From: aruo <40362743+zyongxin@users.noreply.github.com> Date: Mon, 27 Jul 2026 10:22:09 +0800 Subject: [PATCH] docs(issue): mark iss-015 partially implemented --- mvp/issues/README.md | 4 ++-- ...sis-runtime-quality-and-reasoning-audit.md | 24 ++++++++++++++----- 2 files changed, 20 insertions(+), 8 deletions(-) diff --git a/mvp/issues/README.md b/mvp/issues/README.md index 05ff083..4b4daa7 100644 --- a/mvp/issues/README.md +++ b/mvp/issues/README.md @@ -1,6 +1,6 @@ # MVP Issues 索引 -**更新日期**：2026-07-26 +**更新日期**：2026-07-27 **状态**：按活跃问题、设计笔记、RAG 问题集和已归档问题整理 ## 目录约定 @@ -16,7 +16,7 @@ | 名称 | 标题 | 严重程度 | 状态 | 文件 | |---|---|---|---|---| -| ISS-015 | 诊断运行质量与 Reasoning 审计收敛 | 高 | 待实施 | [active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md](active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md) | +| ISS-015 | 诊断运行质量与 Reasoning 审计收敛 | 高 | 部分实施 | [active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md](active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md) | | ISS-016 | 诊断 Agent 缺少基于信息增益的停止契约 | 高 | 已实施，待归档 | [active/ISS-016-diagnosis-information-gain-stop-contract.md](active/ISS-016-diagnosis-information-gain-stop-contract.md) | ## 设计笔记 diff --git a/mvp/issues/active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md b/mvp/issues/active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md index 8cc7dd5..7f8ef3f 100644 --- a/mvp/issues/active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md +++ b/mvp/issues/active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md @@ -1,10 +1,11 @@ # ISS-015 诊断运行质量与 Reasoning 审计收敛 -**状态**：待实施 +**状态**：部分实施 **严重程度**：高 **发现时间**：2026-07-23 +**更新日期**：2026-07-27 **来源**：ISS-014 阶段 7 及后续真实 E2E 验证 -**关联**：ISS-014、ISS-004、executor-evidence-attribution-hallucination +**关联**：ISS-014、ISS-016、ISS-004、executor-evidence-attribution-hallucination --- @@ -33,6 +34,17 @@ Fallback 必须在不暴露 Prompt、原始 Draft、原始 Tool 载荷和内部 - 失败会话 `session_ud9pzde7r_1784785531138` 暴露两类问题：Evidence Repair `PARSE_ERROR`；Diagnosis Agent 重复调用 `lookup_knowledge`，最终在 12 次 Tool 调用、45087 Token 后进入 `BUDGET_EXHAUSTED`。 - `diagnosis_trace_event`、信息化 Fallback、`agent_reasoning_audit` 和 reasoning 查询接口已经实现并通过 focused tests；真实 Provider/V015 验证仍属于本 Issue。 +### 3.1 当前实施进度（2026-07-27） + +| 阶段 | 状态 | 已完成 | 剩余缺口 | +|---|---|---|---| +| 阶段 1：Diagnosis Agent 硬停止策略 | 部分完成 | ISS-016 已实现 Tool Scope 归一化与去重、`GAINED/NO_GAIN` 信息增益、连续 `NO_GAIN` 饱和停止、受控 Fallback、回归测试和真实 E2E | 连续 `INVALID_PROGRESS_PROTOCOL` 拒绝不会进入 `NO_GAIN`，仍可能在硬模型/Token 预算前空转 | +| 阶段 2：Evidence Repair Schema | 未完成 | Repair 仍保持无 Tool、有限重试、失败后安全降级；Diagnosis Agent 最终输出已使用真实 `DiagnosisDraft` Schema | Evidence Repair 自身尚未注入真实 `DiagnosisDraft` JSON Schema，仍主要依赖 Prompt 文本约束和严格解析 | +| 阶段 3：Reasoning 审计验证与治理 | 部分完成 | V015、独立 `agent_reasoning_audit`、审计 Hook、`reasoning_available=false`、受限查询接口和 `sessionId + runId` 归属校验已实现 | 真实 Provider reasoning metadata 行为、V015 真实迁移验收、访问控制、保留期限和加密要求尚未收敛 | +| 阶段 4：Fallback 信息质量与最终 E2E | 大部分完成 | 已实现有界 `observed_facts`、`validation_issues`、证据范围/缺口和差异化 Fallback；已完成 Diagnosis SUCCESS、信息不足 FALLBACK、Trace/Tool/Token 对账 E2E | reasoning unavailable 场景及 Reasoning Audit 跨表精确核验尚未完成；全部失败路径仍需最终综合验收 | + +本表是当前进度事实，下面各阶段条目仍保留为完整目标。ISS-016 完成的是阶段 1 和阶段 4 的主体能力，并新增模型 Token 与 Tool 拒绝审计；它不替代阶段 2 的 Repair Schema，也不代表阶段 3 的 Reasoning 治理已经完成。 + ## 4. 目标 1. Agent 在证据轮次或单 Tool 预算接近上限时停止继续检索，并生成当前证据允许的最终 Draft。 @@ -44,27 +56,27 @@ Fallback 必须在不暴露 Prompt、原始 Draft、原始 Tool 载荷和内部 ## 5. 实施阶段 -### 阶段 1：Diagnosis Agent 硬停止策略 +### 阶段 1：Diagnosis Agent 硬停止策略（部分完成） - 限制证据收集轮次和重复 `lookup_knowledge`。 - 在预算耗尽前向 Agent 注入停止信号并要求输出最终 Draft。 - 区分正常 ReAct 轮次、新 Tool Action 和真正的预算耗尽。 - 增加重复检索、临界预算和无足够证据时的回归测试。 -### 阶段 2：Evidence Repair Schema +### 阶段 2：Evidence Repair Schema（未完成） - 使用框架 `BeanOutputConverter` 或等价结构化转换器注入实际 JSON Schema。 - 保持 Repair 无 Tool、最多一次、失败即安全 Fallback 的现有边界。 - 覆盖合法修复、Schema 非法、解析失败和二次 EvidenceGuard 失败。 -### 阶段 3：Reasoning 审计验证与治理 +### 阶段 3：Reasoning 审计验证与治理（部分完成） - 使用真实 Provider 验证 reasoning metadata 的键和返回行为。 - Provider 不返回 reasoning 时写入 `reasoning_available=false`，不得伪造内容。 - 验证 V015 数据库迁移和 `sessionId + runId` 精确 reasoning 查询。 - 明确 reasoning 审计接口的访问控制、保留期限和加密要求。 -### 阶段 4：Fallback 信息质量与最终 E2E +### 阶段 4：Fallback 信息质量与最终 E2E（大部分完成） - 工具成功但无法构造 verified snapshot 时，返回有界 `observed_facts` 和 `validation_issues`。 - 确保普通 Trace 只记录 `reasoning_available/reasoning_bytes`，不返回 reasoning 原文。