Files
SuperBizAgent-java/mvp/demo/trace-inspection-checklist.md
zhuyongxin 7ae9707a3b feat(harness,rag): dual LLM audit fields, run conclusion, and hybrid quality
Persist provider reasoning and assistant text separately on agent_reasoning_audit
(DeepSeekAssistantMessage path), extract diagnosis_run.conclusion, enrich RAG
tool audit (step_id/query/qualityScore), gate empty mysql tools, drop devtools,
and align MVP docs after live E2E verification.
2026-07-28 19:43:13 +08:00

1.5 KiB
Raw Permalink Blame History

Trace 检查清单

  • SSE metadata 的 session_id、run_id 非空且与数据库完全一致。
  • diagnosis_run.intent=DIAGNOSIS,status/release_outcome 与 done outcome 一致。
  • diagnosis_run.conclusion 与发布结论一致(SUCCESS 时非空短结论;FALLBACK 可为 type/message 摘要)。
  • agent_step.agent_name 只出现 diagnosis_agent。
  • AgentStep model_input/model_output 只含有界 metadata(可含 reasoning_available/content_source/bytes);不含 reasoning/assistant 原文。
  • agent_step.thought 若非空,应为 reasoning 或 assistant 的兼容镜像,不得替代 /trace/reasoning 双字段验收。
  • /trace/reasoning:DeepSeek thinking 开启时应有 reasoningAvailable=true 且 reasoningContent 非空;assistantText 有正文和/或 tool-call 计划;contentSource 合理;无 tool 结果体。
  • ToolInvocation 全部属于 exact runId,Tool 名在 ACI allowlist 内;step_id 能挂到对应 agent_step.id。
  • ToolInvocation input/output/retrieval details 不含 SQL 全文、raw response 或 evidence body 泄露(query 等允许的有界字段除外)。
  • Run 的模型/Tool/Token/字节预算均未超过集中配置。
  • content 只出现一次并来自 Release Policy;failure 与 content 互斥。
  • logs/application.log 不含 Prompt、完整 reasoning 原文、完整 Tool 参数、raw response、vendor exception 或 stack 泄漏。
  • query_logs 标记为 Mock;query_mysql 仅在配置了隔离 datasource 时注册。