84 lines
2.1 KiB
Markdown
84 lines
2.1 KiB
Markdown
# Expand Diagnosis Eval Fixtures
|
||
|
||
**状态**：已归档
|
||
**严重程度**：中
|
||
**发现时间**：2026-07-04
|
||
**来源**：P1-B follow-up
|
||
**依赖**：`diagnosis-eval-harness`
|
||
|
||
---
|
||
|
||
## 背景
|
||
|
||
`diagnosis-eval-harness` 已经把固定 case、trace evaluator、JSON / Markdown report 和字段文档搭起来了。
|
||
|
||
现在还差一步：5 条固定诊断 case 里，只有 2 条有 fixture，另外 3 条还是 missing 状态。这个状态可以验证 evaluator 的错误报告能力，但还不能作为完整 baseline 展示。
|
||
|
||
---
|
||
|
||
## 问题
|
||
|
||
当前 baseline 还不够完整：
|
||
|
||
- `redis-timeout` 没有对应 trace fixture。
|
||
- `slow-response` 没有对应 trace fixture。
|
||
- `jvm-memory-risk` 没有对应 trace fixture。
|
||
- 仓库里还没有一份固定的 baseline JSON / Markdown 报告可供对比。
|
||
|
||
---
|
||
|
||
## 目标
|
||
|
||
补齐固定诊断评测集，让它从“框架可跑”变成“基准可用”。
|
||
|
||
完成后应该做到：
|
||
|
||
- 5 条固定 case 都能加载到对应 fixture。
|
||
- evaluator 能输出完整 baseline report。
|
||
- baseline report 被保存到仓库，后续 Agent 改动可以拿它做对比。
|
||
- 文档说明怎么重新生成和怎么看报告。
|
||
|
||
---
|
||
|
||
## 范围
|
||
|
||
### In scope
|
||
|
||
- 补齐 3 个缺失 fixture。
|
||
- 保存 baseline JSON / Markdown 报告。
|
||
- 更新 eval 文档。
|
||
- 补充测试，确保 case 文件引用的 fixture 都存在。
|
||
|
||
### Out of scope
|
||
|
||
- 不新增 case 数量。
|
||
- 不改生产 Agent 主链路。
|
||
- 不引入 LLM-as-judge。
|
||
- 不启动真实 MySQL、Redis、Milvus 或 LLM。
|
||
|
||
---
|
||
|
||
## 面试表达
|
||
|
||
可以这样讲：
|
||
|
||
```text
|
||
我先搭了评测 harness，然后把固定 case 的 trace fixture 补齐，
|
||
生成一份可复现的 baseline report。
|
||
这样以后每次改 prompt、tool 或 verifier，
|
||
都能看固定诊断集有没有行为回退，而不是只靠人工感觉。
|
||
```
|
||
|
||
---
|
||
|
||
## 相关文件
|
||
|
||
- `mvp/eval/cases/diagnosis-cases.json`
|
||
- `mvp/eval/fixtures/`
|
||
- `mvp/eval/reports/`
|
||
- `mvp/eval/README.md`
|
||
- `mvp/eval/schema.md`
|
||
- `src/main/java/com/superbiz/agent/eval/DiagnosisTraceEvaluator.java`
|
||
- `src/test/java/com/superbiz/agent/eval/DiagnosisTraceEvaluatorTest.java`
|
||
- `openspec/specs/diagnosis-eval-harness/spec.md`
|