ISS-006 固定诊断评测集与回归 Harness

状态：进行中（sm-flow） 严重程度：高 发现时间：2026-07-04 来源：P1-B 面试打磨项依赖：ISS-005 / evidence-trace-hardening

背景

MVP 已经具备可追溯证据链、Verifier 质量门禁、trace API 和固定 demo 流程。上一阶段 evidence-trace-hardening 进一步统一了 evidence tool 的状态语义，让系统能稳定区分：

下一步需要证明 Agent 在一组固定诊断场景下的表现，而不是只依赖单次 demo。

当前项目能演示一次支付超时诊断，但还缺少稳定的评测基线：

建立一个轻量的固定 case 评测 harness，用于验证 MVP Agent 的诊断质量和证据链完整性。

第一版不做 LLM-as-judge，优先做规则化校验：

固定 5 个 MVP 诊断 case
每个 case 定义 expected root-cause keywords、required evidence tools、allowed verdicts
基于 trace 结果校验 evidence coverage、verifier evaluation、tool invocation、final answer shape
输出 JSON 和 Markdown 报告

完成后可以这样描述：

我不仅有一个可演示的 Agent，还给它建立了固定 case 的回归评测。
每次修改 prompt、工具或 verifier 后，都可以跑同一批诊断 case，
检查证据覆盖、verdict 分布、工具调用成本和关键结论是否退化。