2.2 KiB
2.2 KiB
支付超时诊断验收用例
1. 目标
验证当前单 Diagnosis Agent 能诊断支付超时问题,并为一次精确 Run 暴露安全、可核对的 Trace。
2. 输入
session_id:mvp-demo-payment-timeout-001- 问题:结合知识库和日志证据诊断支付超时,并给出有边界的修复建议
- Profile:
mvp-demo
3. 验收标准
POST /api/chat按metadata -> status* -> content|failure -> done顺序发送 named SSE;content与failure必须互斥且只出现一次。metadata.session_id和metadata.run_id非空;该精确 ID 对能唯一定位持久化 Run 与 Trace。- Run 的
intent=DIAGNOSIS,终态、release_outcome与 SSEdoneoutcome 一致。 agent_step.agent_name只出现diagnosis_agent。AgentStep 只保存消息数量/角色、输出是否存在、Tool 名称等 metadata,不保存 Prompt、消息正文、模型正文或 Thought。- 每条
tool_invocation都属于精确run_id,Tool 名称属于 ACI allowlist,只保存有界的身份、状态、错误码、耗时和字节数 metadata;不得包含 SQL、日志查询正文、raw response、凭据或 evidence body。 content只在 Harness guards 与 Release Policy 完成后发布;guard 或技术失败只能发布固定安全 fallback,不能泄漏 Agent 或 Tool 原始 JSON。query_logs明确标记为 Mock。query_mysql只针对配置的隔离只读数据源验证;本验收不声称接入真实 CLS 或生产业务 MySQL。
4. 需要检查的 Trace 字段
data.runId与data.run.runIddata.session.sessionId、data.session.intent、data.session.releaseOutcomedata.steps[*].agentName、data.steps[*].thought与 metadata 字段data.toolInvocations[*].toolName、identity、status、error code、duration 与 size 字段data.summary
5. 已知边界
- 这是一次真实应用 E2E 验收,不能替代确定性的单元与契约测试。
- 外部模型、Redis、Milvus 和隔离数据源的可用性可能影响 live Run;失败时必须记录精确 session/run identity。
- 敏感配置治理和生产 CLS/业务 MySQL 接入不属于本次 MVP 验收范围。