4.9 KiB
4.9 KiB
ISS-003 Executor 域级检索水位控制（Phase 2）
状态：待规划 严重程度：低（当前软约束已从 20+ 次收敛到 10 次，文档级去重兜住无效调用） 发现时间：2026-07-01 关联：ISS-002（Part A 软约束已修，LLM 遵守度不够）
现象
ISS-002 修复后，lookup_knowledge 调用从 20+ 次降到 10 次，但仍有 8 次冗余调用：
id=138 → infrastructure 首次检索 HIGHLY_RELEVANT
id=139 → infrastructure 变体 → doc_retrieved
id=140 → infrastructure 变体 → doc_retrieved
id=141 → api 首次检索 REFERENCE
id=142 → api 变体 → doc_retrieved
id=143 → infrastructure 变体 → doc_retrieved（又跳回）
id=144-146 → infrastructure 变体 × 3 → doc_retrieved
id=147 → api 变体 → doc_retrieved
LLM 在两个域之间反复横跳，prompt 第 2 条"禁止换关键词重新检索"被忽略。
根本原因
Prompt 软约束依赖 LLM 遵守，但 LLM 在自主决策（ReactAgent）模式下倾向于"多确认一步"而不是"相信已有信息"。
影响
- 可接受：文档级去重已拦截重复内容，不影响回答质量
- 可优化：每次冗余调用浪费 400-500ms 服务端检索时间
- 长会话风险：如果 session 持续追问，冗余调用会线性增长
方案：质量等级×水位决策矩阵
核心思路
将检索决策权从 LLM 思维链移交到代码层，动态判断是否允许下一次 lookup_knowledge。
决策矩阵
水位
低 中 高
PRECISE 可用 可用 可用/停
HIGHLY_ 可用 可用 停
REFERENCE 可定向补 可定向补 停
DEDUPED 停 停 停
水位指标
| 水位 | 指标 | 说明 |
|---|---|---|
| 低 | lookup_knowledge 调用 ≤ 3 次 | 检索预算充足 |
| 中 | lookup_knowledge 调用 4-8 次 | 适当收紧定向补充 |
| 高 | lookup_knowledge 调用 ≥ 8 次 | 熔断，禁止再查 |
备选水位指标：
- Token 消耗量
- 已检索域数（retrievedDomainsThisSession.size()）
熔断 prompt 示例
每次工具返回后，代码根据矩阵结果动态拼装约束注入下一步 LLM：
| 场景 | 熔断 prompt |
|---|---|
| 水位高 + HIGHLY_RELEVANT | "水位已高，请直接给出最终结论，不要再调用 lookup_knowledge" |
| 水位高 + REFERENCE | "水位已高，lookup_knowledge 已被限制，直接基于已有信息回答" |
| 水位低 + REFERENCE | "水位充足，可针对缺少的维度定向补充检索一次" |
| DEDUPED + 任何水位 | "该内容已检索过，禁止重复调用 lookup_knowledge" |
架构改动
ChatService / ChatExecutorAgent 执行循环
│
├─ step N: LLM 调用工具 → lookup_knowledge 返回
├─ step N+1:
│ ├─ 读取 LookupResult（relevanceLevel + retrievedDomainsThisSession）
│ ├─ 算当前水位（调用计数 / token / 域数）
│ ├─ 查决策矩阵 → 是否允许继续检索
│ └─ 拼装熔断 prompt → 注入 LLM 下一步 SystemMessage
├─ step N+2: LLM 收到约束后的回复
└─ ...
与现有机制的关系
| 机制 | 层 | ISS-002 | ISS-003 |
|---|---|---|---|
| 静态 Prompt 约束 | Prompt | 已实现 | 保留作为基线 |
| 行动记忆（retrievedDomainsThisSession） | 工具返回值 | 已实现 | 复用 |
| 归一化质量等级（relevanceLevel） | 工具返回值 | 已实现 | 复用 |
| 文档级去重（doc_retrieved） | 工具层 | 已实现 | 保留 |
| 域级水位决策矩阵 | 代码层 | — | 新增 |
| DEDUPED 等级启用 | 工具返回值 | 设计预留 | 启用 |
修法方向
方案 A：决策矩阵（推荐）
上述质量等级×水位矩阵，在 ChatService 执行循环中做决策。
优点：
- 不依赖 LLM 遵守程度
- 保留定向补充的合法通道（比硬拦截更灵活）
- 水位指标可配置，运维友好
缺点：
- 需要改动 ChatService/ExecutorAgent 执行逻辑
- 需要定义水位阈值（需实测校准）
方案 B：域级工具层硬限流
在 LookupKnowledgeTool 入口直接判断 isDomainRetrieved(sessionId, domain)，同域直接返回不检索。
优点：实现简单，100% 可靠 缺点：没有"定向补充"的灵活度，误杀合法跨域查询
建议
方案 A。利用 ISS-002 已有数据结构和归一化等级，新增决策引擎层，改动量不大且灵活度高。
相关文件
src/main/java/com/superbiz/agent/dto/LookupResult.javasrc/main/java/com/superbiz/agent/tool/RetrievedDocTracker.javasrc/main/java/com/superbiz/agent/tool/LookupKnowledgeTool.javasrc/main/resources/prompts/chat-executor-prompt.md- 架构设计：
mvp/architecture/action-memory-relevance.md - OpenSpec：
openspec/changes/archive/2026-07-01-executor-action-memory-relevance/