docs(issue): mark iss-015 partially implemented
This commit is contained in:
@@ -1,6 +1,6 @@
|
||||
# MVP Issues 索引
|
||||
|
||||
**更新日期**:2026-07-26
|
||||
**更新日期**:2026-07-27
|
||||
**状态**:按活跃问题、设计笔记、RAG 问题集和已归档问题整理
|
||||
|
||||
## 目录约定
|
||||
@@ -16,7 +16,7 @@
|
||||
|
||||
| 名称 | 标题 | 严重程度 | 状态 | 文件 |
|
||||
|---|---|---|---|---|
|
||||
| ISS-015 | 诊断运行质量与 Reasoning 审计收敛 | 高 | 待实施 | [active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md](active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md) |
|
||||
| ISS-015 | 诊断运行质量与 Reasoning 审计收敛 | 高 | 部分实施 | [active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md](active/ISS-015-diagnosis-runtime-quality-and-reasoning-audit.md) |
|
||||
| ISS-016 | 诊断 Agent 缺少基于信息增益的停止契约 | 高 | 已实施,待归档 | [active/ISS-016-diagnosis-information-gain-stop-contract.md](active/ISS-016-diagnosis-information-gain-stop-contract.md) |
|
||||
|
||||
## 设计笔记
|
||||
|
||||
@@ -1,10 +1,11 @@
|
||||
# ISS-015 诊断运行质量与 Reasoning 审计收敛
|
||||
|
||||
**状态**:待实施
|
||||
**状态**:部分实施
|
||||
**严重程度**:高
|
||||
**发现时间**:2026-07-23
|
||||
**更新日期**:2026-07-27
|
||||
**来源**:ISS-014 阶段 7 及后续真实 E2E 验证
|
||||
**关联**:ISS-014、ISS-004、executor-evidence-attribution-hallucination
|
||||
**关联**:ISS-014、ISS-016、ISS-004、executor-evidence-attribution-hallucination
|
||||
|
||||
---
|
||||
|
||||
@@ -33,6 +34,17 @@ Fallback 必须在不暴露 Prompt、原始 Draft、原始 Tool 载荷和内部
|
||||
- 失败会话 `session_ud9pzde7r_1784785531138` 暴露两类问题:Evidence Repair `PARSE_ERROR`;Diagnosis Agent 重复调用 `lookup_knowledge`,最终在 12 次 Tool 调用、45087 Token 后进入 `BUDGET_EXHAUSTED`。
|
||||
- `diagnosis_trace_event`、信息化 Fallback、`agent_reasoning_audit` 和 reasoning 查询接口已经实现并通过 focused tests;真实 Provider/V015 验证仍属于本 Issue。
|
||||
|
||||
### 3.1 当前实施进度(2026-07-27)
|
||||
|
||||
| 阶段 | 状态 | 已完成 | 剩余缺口 |
|
||||
|---|---|---|---|
|
||||
| 阶段 1:Diagnosis Agent 硬停止策略 | 部分完成 | ISS-016 已实现 Tool Scope 归一化与去重、`GAINED/NO_GAIN` 信息增益、连续 `NO_GAIN` 饱和停止、受控 Fallback、回归测试和真实 E2E | 连续 `INVALID_PROGRESS_PROTOCOL` 拒绝不会进入 `NO_GAIN`,仍可能在硬模型/Token 预算前空转 |
|
||||
| 阶段 2:Evidence Repair Schema | 未完成 | Repair 仍保持无 Tool、有限重试、失败后安全降级;Diagnosis Agent 最终输出已使用真实 `DiagnosisDraft` Schema | Evidence Repair 自身尚未注入真实 `DiagnosisDraft` JSON Schema,仍主要依赖 Prompt 文本约束和严格解析 |
|
||||
| 阶段 3:Reasoning 审计验证与治理 | 部分完成 | V015、独立 `agent_reasoning_audit`、审计 Hook、`reasoning_available=false`、受限查询接口和 `sessionId + runId` 归属校验已实现 | 真实 Provider reasoning metadata 行为、V015 真实迁移验收、访问控制、保留期限和加密要求尚未收敛 |
|
||||
| 阶段 4:Fallback 信息质量与最终 E2E | 大部分完成 | 已实现有界 `observed_facts`、`validation_issues`、证据范围/缺口和差异化 Fallback;已完成 Diagnosis SUCCESS、信息不足 FALLBACK、Trace/Tool/Token 对账 E2E | reasoning unavailable 场景及 Reasoning Audit 跨表精确核验尚未完成;全部失败路径仍需最终综合验收 |
|
||||
|
||||
本表是当前进度事实,下面各阶段条目仍保留为完整目标。ISS-016 完成的是阶段 1 和阶段 4 的主体能力,并新增模型 Token 与 Tool 拒绝审计;它不替代阶段 2 的 Repair Schema,也不代表阶段 3 的 Reasoning 治理已经完成。
|
||||
|
||||
## 4. 目标
|
||||
|
||||
1. Agent 在证据轮次或单 Tool 预算接近上限时停止继续检索,并生成当前证据允许的最终 Draft。
|
||||
@@ -44,27 +56,27 @@ Fallback 必须在不暴露 Prompt、原始 Draft、原始 Tool 载荷和内部
|
||||
|
||||
## 5. 实施阶段
|
||||
|
||||
### 阶段 1:Diagnosis Agent 硬停止策略
|
||||
### 阶段 1:Diagnosis Agent 硬停止策略(部分完成)
|
||||
|
||||
- 限制证据收集轮次和重复 `lookup_knowledge`。
|
||||
- 在预算耗尽前向 Agent 注入停止信号并要求输出最终 Draft。
|
||||
- 区分正常 ReAct 轮次、新 Tool Action 和真正的预算耗尽。
|
||||
- 增加重复检索、临界预算和无足够证据时的回归测试。
|
||||
|
||||
### 阶段 2:Evidence Repair Schema
|
||||
### 阶段 2:Evidence Repair Schema(未完成)
|
||||
|
||||
- 使用框架 `BeanOutputConverter<DiagnosisDraft>` 或等价结构化转换器注入实际 JSON Schema。
|
||||
- 保持 Repair 无 Tool、最多一次、失败即安全 Fallback 的现有边界。
|
||||
- 覆盖合法修复、Schema 非法、解析失败和二次 EvidenceGuard 失败。
|
||||
|
||||
### 阶段 3:Reasoning 审计验证与治理
|
||||
### 阶段 3:Reasoning 审计验证与治理(部分完成)
|
||||
|
||||
- 使用真实 Provider 验证 reasoning metadata 的键和返回行为。
|
||||
- Provider 不返回 reasoning 时写入 `reasoning_available=false`,不得伪造内容。
|
||||
- 验证 V015 数据库迁移和 `sessionId + runId` 精确 reasoning 查询。
|
||||
- 明确 reasoning 审计接口的访问控制、保留期限和加密要求。
|
||||
|
||||
### 阶段 4:Fallback 信息质量与最终 E2E
|
||||
### 阶段 4:Fallback 信息质量与最终 E2E(大部分完成)
|
||||
|
||||
- 工具成功但无法构造 verified snapshot 时,返回有界 `observed_facts` 和 `validation_issues`。
|
||||
- 确保普通 Trace 只记录 `reasoning_available/reasoning_bytes`,不返回 reasoning 原文。
|
||||
|
||||
Reference in New Issue
Block a user