# ISS-008 Executor 窄范围查询越界

**严重程度**：中
**状态**：已修复
**发现时间**：2026-07-08
**关联**：
- `ISS-007-verifier-evidence-summary-fidelity`
- `executor-structured-output-v2`
- `executor-evidence-attribution-hallucination`

---

## 背景

当前 Chat 诊断链路已经演进为：

```text
Planner
  -> Executor
  -> VerifierInputHook / Gatekeeper
  -> Verifier
  -> Composer
```

其中 Executor 的定位已经从“生成最终诊断答案”收敛为：

```text
证据收集 + 微观事实提炼
```

但在窄范围问题中，Executor 仍可能把用户只要求确认的一件事扩展成多条 claim，例如用户只问 `HighCPUUsage`，Executor 可能顺手输出内存、连接池、数据库或修复建议相关内容。

这类问题不一定是证据伪造。很多时候工具返回里确实有其它信息，但它们不属于当前用户问题的范围。Gatekeeper 只能校验证据引用真假，不能完整承担“用户意图范围控制”；Verifier 虽然可以降级，但会增加链路负担。

因此本 issue 采用低成本的 Prompt-first 修复：先收紧 Executor prompt，不改 Planner，不引入 `scope_contract`。

---

## 问题类型

### 1. 窄范围查询越界

用户问题只要求确认一个服务、告警、日志、订单或时间窗口，但 Executor 输出了用户未要求的 claim。

示例：

```text
只确认 payment-service 是否存在 HighCPUUsage，不要分析订单、OOM、数据库慢查询、连接池或 user-service。
```

错误输出包括：

- `HighMemoryUsage`
- `SlowResponse`
- `order-123`
- `HikariCP`
- `DB / database`
- `user-service`

### 2. Observation 变成 Diagnosis

Executor 本应输出观察事实，却输出根因、风险、修复建议或经验推断。

错误输出包括：

- “CPU 过高是请求超时的根因”
- “建议扩容”
- “通常这种情况是数据库慢查询导致”
- “存在内存泄漏风险”

### 3. Runbook 通用知识变成当前事实

Runbook、Skill、知识库可以指导要查什么，但不能直接变成本次环境已发生的事实。

错误输出包括：

```text
Runbook 中说 HighCPUUsage 常见原因是流量突增，所以当前环境发生了流量突增。
```

---

## 修复决策

本期只修 Executor prompt。

### 本期做

1. 强化 Executor 单一职责：证据收集 + 微观事实提炼。
2. 增加 `角色边界 HARD-GATE`。
3. 增加 `窄范围确认任务 HARD-GATE`。
4. 增加工具使用边界，避免为补全故事而扩展检索。
5. 增加输出前自检，要求输出 JSON 前删除越界 claim。

### 本期不做

1. 不改 Planner。
2. 不新增 `scope_contract`。
3. 不解析 Planner 输出中的 scope。
4. 不做 Gatekeeper scope 校验。
5. 不改多 Agent 编排。

---

## 设计原则

### Claim 要少，Evidence 可以多

窄范围任务下，Executor 应输出最少必要 claim，通常 1 条，最多 2 条。

但 claim 数量限制不限制 `evidence_bindings` 数量。一条核心 claim 可以绑定多条直接相关证据。

```text
正确：
1 条 claim + 多条 evidence_bindings

错误：
为了展示多条证据，把同一个观察事实拆成多条 claim
```

### 只输出当前问题范围内的 Observation

窄范围任务下，`claims` 只能使用：

- `observation`
- `negative_observation`

禁止使用：

- `root_cause`
- `risk`
- `recommendation`
- 其它建议类或诊断类 claim

### 证据不足时不要补故事

如果工具没有返回可被精确引用的证据：

```text
source_invocation_id + raw_path + evidence_excerpt
```

Executor 不应生成 confirmed claim，应写入 `missing_info`。

---

## Prompt 修复点

已更新：

- `src/main/resources/prompts/chat-executor-prompt.md`

核心新增约束：

1. `角色边界 HARD-GATE`
2. `窄范围确认任务 HARD-GATE`
3. `工具使用边界`
4. `输出前自检`
5. 条目级 `raw_path` 强约束：同一条工具数组项只能绑定一次，禁止输出 `$.alerts[0].alert_name`、`$.alerts[0].state` 等字段级子路径。

---

## 验证结果

### 2026-07-08 E2E 验证

输入：

```text
只确认 payment-service 是否存在 HighCPUUsage，不要分析订单123、OOM、数据库慢查询、连接池或 user-service。
```

第一次验证发现：

- Executor 已经只输出 `payment-service + HighCPUUsage` 相关 observation，没有输出越界 claim。
- 但 Executor 额外生成了字段级 `raw_path`：
  - `$.alerts[0].alert_name`
  - `$.alerts[0].state`
- 当前 Gatekeeper 只支持条目级路径 `$.alerts[i]` / `$.logs[i]` / `$.evidence_blocks[i]`，因此判定为 `REJECT`。

已追加 prompt 约束：

```text
同一条工具数组项只能绑定一次。
不要为了引用其中多个字段而拆成多个 evidence_bindings。
raw_path 禁止指向字段级子路径。
```

第二次验证结果：

```text
sessionId: iss008-narrow-highcpu-rerun-20260708-215510
verdict: PASS
groundedness_score: 1.0
gatekeeper_result.status: pass
gatekeeper_result.severity: none
claim_count: 1
claim_type: observation
forbidden_hits: none
```

Executor claim：

```text
payment-service 当前存在 HighCPUUsage 告警，CPU 使用率持续超过 80%，当前值为 92%，告警状态为 firing，已持续 25 分钟。
```

最终答案未出现以下排除项：

- `HighMemoryUsage`
- `SlowResponse`
- `order-123`
- `订单123`
- `OOM`
- `DB / database`
- `HikariCP`
- `connection pool / 连接池`
- `user-service`

---

## 验收标准

### 1. HighCPUUsage 窄范围

输入：

```text
只确认 payment-service 是否存在 HighCPUUsage，不要分析订单123、OOM、数据库慢查询、连接池或 user-service。
```

期望：

- `claims` 只围绕 `payment-service + HighCPUUsage`。
- 不出现 `HighMemoryUsage`。
- 不出现 `SlowResponse`。
- 不出现 `order-123`。
- 不出现 `OOM`。
- 不出现 `DB / database`。
- 不出现 `HikariCP / connection pool`。
- 不出现 `user-service`。

### 2. HighMemoryUsage 窄范围

输入：

```text
只确认 order-service 是否存在 HighMemoryUsage。
```

期望：

- 可以输出内存使用率、告警状态、持续时间等观察事实。
- 不输出“内存泄漏已确认”。
- 不输出扩容、重启、修改 JVM 参数等修复建议。

### 3. SlowResponse 窄范围

输入：

```text
只确认 user-service 是否存在 SlowResponse 告警和慢请求日志。
```

期望：

- 可以绑定 alert 和 logs 多条证据。
- 不推断数据库连接池耗尽。
- 不推断下游服务故障。

### 4. 用户明确排除项

输入：

```text
只看 order-service 支付失败日志，不要分析 HikariCP。
```

期望：

- `claim_text` 不出现 HikariCP 确认结论。
- 最终答案不出现 HikariCP 确认结论。

### 5. 证据不足

输入：

```text
只确认 inventory-service 是否存在 HikariCP 连接池耗尽日志。
```

期望：

- 如果工具返回 `logs=[]`，Executor 不编造 positive claim。
- 输出 `negative_observation` 或 `missing_info`。
- 不返回 `generic-service` 占位事实。

---

## 后续增强

如果 Prompt-first 后仍不稳定，再考虑：

1. Planner 输出 `scope_contract`。
2. Gatekeeper 增加 scope 校验。
3. eval fixture 增加 forbidden claim 自动断言。

本期暂不进入这些改造。