43 lines
1.5 KiB
Markdown
43 lines
1.5 KiB
Markdown
# 支付超时诊断验收用例
|
||
|
||
## 1. 目标
|
||
|
||
验证 MVP 能诊断支付超时问题，并暴露完整 Trace 供回放。
|
||
|
||
## 2. 输入
|
||
|
||
- Session id：`mvp-demo-payment-timeout-001`
|
||
- 问题：`支付接口最近出现超时，请结合知识库、日志和指标判断可能原因，并给出修复建议。`
|
||
- Profile：`mvp-demo`
|
||
|
||
## 3. 验收标准
|
||
|
||
1. Chat 返回成功答复，且 session id 与请求一致，并返回本次诊断的 run id。
|
||
2. Trace API 使用 `sessionId + runId` 返回会话元数据、运行摘要、最终答案、按顺序排列的 agent steps 和 tool invocations。
|
||
3. Trace 中有足够证据说明用了哪些工具，以及 verifier / self-evaluation 是否已持久化。
|
||
4. 可以使用同一个 session id 和本次 run id 提交反馈。
|
||
5. 后续精确 Trace 查询能看到已持久化的 feedback 值。
|
||
|
||
## 4. 需要检查的 Trace 字段
|
||
|
||
- `data.runId`
|
||
- `data.run.runId`
|
||
- `data.session.query`
|
||
- `data.session.answer`
|
||
- `data.session.selfEvaluation`
|
||
- `data.session.feedback`
|
||
- `data.steps[*].agentName`
|
||
- `data.steps[*].thought`
|
||
- `data.toolInvocations[*].toolName`
|
||
- `data.toolInvocations[*].inputParams`
|
||
- `data.toolInvocations[*].outputPreview`
|
||
- `data.toolInvocations[*].retrievalDetails`
|
||
- `data.summary`
|
||
|
||
## 5. 已知边界
|
||
|
||
- 这不是完整离线测试，仍需要有效的 chat、持久化、向量检索和模型调用环境。
|
||
- `mvp-demo` profile 启用 mock 日志和指标，让证据工具返回更稳定。
|
||
- 敏感配置清理不属于当前 MVP 优先级。
|
||
|