# Expand Diagnosis Eval Fixtures

**状态**：已归档  
**严重程度**：中  
**发现时间**：2026-07-04  
**来源**：P1-B follow-up  
**依赖**：`diagnosis-eval-harness`

---

## 背景

`diagnosis-eval-harness` 已经把固定 case、trace evaluator、JSON / Markdown report 和字段文档搭起来了。

现在还差一步：5 条固定诊断 case 里，只有 2 条有 fixture，另外 3 条还是 missing 状态。这个状态可以验证 evaluator 的错误报告能力，但还不能作为完整 baseline 展示。

---

## 问题

当前 baseline 还不够完整：

- `redis-timeout` 没有对应 trace fixture。
- `slow-response` 没有对应 trace fixture。
- `jvm-memory-risk` 没有对应 trace fixture。
- 仓库里还没有一份固定的 baseline JSON / Markdown 报告可供对比。

---

## 目标

补齐固定诊断评测集，让它从“框架可跑”变成“基准可用”。

完成后应该做到：

- 5 条固定 case 都能加载到对应 fixture。
- evaluator 能输出完整 baseline report。
- baseline report 被保存到仓库，后续 Agent 改动可以拿它做对比。
- 文档说明怎么重新生成和怎么看报告。

---

## 范围

### In scope

- 补齐 3 个缺失 fixture。
- 保存 baseline JSON / Markdown 报告。
- 更新 eval 文档。
- 补充测试，确保 case 文件引用的 fixture 都存在。

### Out of scope

- 不新增 case 数量。
- 不改生产 Agent 主链路。
- 不引入 LLM-as-judge。
- 不启动真实 MySQL、Redis、Milvus 或 LLM。

---

## 面试表达

可以这样讲：

```text
我先搭了评测 harness，然后把固定 case 的 trace fixture 补齐，
生成一份可复现的 baseline report。
这样以后每次改 prompt、tool 或 verifier，
都能看固定诊断集有没有行为回退，而不是只靠人工感觉。
```

---

## 相关文件

- `mvp/eval/cases/diagnosis-cases.json`
- `mvp/eval/fixtures/`
- `mvp/eval/reports/`
- `mvp/eval/README.md`
- `mvp/eval/schema.md`
- `src/main/java/com/superbiz/agent/eval/DiagnosisTraceEvaluator.java`
- `src/test/java/com/superbiz/agent/eval/DiagnosisTraceEvaluatorTest.java`
- `openspec/specs/diagnosis-eval-harness/spec.md`