feat(trace): finish run-aware demo verification

This commit is contained in:
zhuyongxin
2026-07-10 21:37:43 +08:00
parent 78c1477198
commit f9df94377b
28 changed files with 779 additions and 459 deletions
+4 -4
View File
@@ -13,7 +13,7 @@
关键主张不是“模型回答了一次”,而是:
```text
系统能展示用了什么证据、答案如何被检查、如何用 sessionId 回放整次诊断。
系统能展示用了什么证据、答案如何被检查、如何用 sessionId + runId 精确回放这次诊断。
```
## 2. Demo 流程
@@ -23,7 +23,7 @@
3. 打开 `mvp/demo/output/chat-response.json`。
4. 打开 `mvp/demo/output/trace-response.json`。
5. 指出证据工具和 verifier evaluation。
6. 提交 feedback,并展示它挂在同一个 session 上。
6. 提交 feedback,并展示它挂在当前 run 上。
7. 打开 `evidence-pipeline-scenarios.md`,说明 PASS / LOW_CONFID / REJECT / no-evidence 的固定回归矩阵。
## 3. 命令
@@ -59,7 +59,7 @@ mvp/demo/output/chat-response.json
话术:
```text
这是用户看到的答案。这里的 sessionId 是稳定的,所以我后面可以追踪这一次回答是怎么来的。
这是用户看到的答案。这里的 sessionId 是稳定的,同时响应里会返回 runId,所以我后面可以精确追踪这一次回答是怎么来的。
```
### 4.2 证据 Trace
@@ -112,7 +112,7 @@ mvp/demo/output/feedback-response.json
话术:
```text
feedback 会挂在同一个 diagnosis session 上。
feedback 会挂在当前 diagnosis run 上。
这让后续挖掘 useful case 或 not_useful bad case 成为可能。
```