评测中心 · 用户操作手册（C-17）

版本：v0.3 · 日期：2026-10-09 · 产品：晨悦编排
配套：评测双轨一页纸 · 垂类 Agent 产品设计方法

0. 黄金集验收六步（先看这个 · 轨 A 离线门禁）

题集 / 期望在产品设计阶段就有雏形（场景包 × 期望要点）；下面是 开跑 → 过关 的操作顺序。
旧 Run 不能代表新产品状态时：不要在旧 Run 上硬终裁，约定环境后 开新 Run。

① 测评集（题 + 期望要点）冻结
      ↓
② 约定跑答环境（是否真打商品 API、是否同构线上）
      ↓
③ 创建新 Run → 批量跑答（机器答题）
      ↓
④ 机评辅助（规则断言 / Judge 建议列）← 不算过关
      ↓
⑤ 人终裁 pass/fail（可先「采纳全部建议」再抽检）
      ↓
⑥ 门禁脚本：人确认 pass ≥ 24/28 → 才算黄金集过关

步	做什么	注意
①	样本入集并 冻结版本	期望是「要点」不是金句全文；改题要新版本
②	拍板考场	荐品/查券题若 HTTP dry-run（mock），会与线上「出卡」对不上；验收荐品能力须约定 live 商品 HTTP（同构线上） 后再跑
③	Flow 建 Run → 启动	换 Agent / 换环境 / 大改产品后必须 新 Run，旧 Run 仅历史对照
④	看建议列	机评通过率只参考；不进门禁
⑤	标注台逐条或抽检	fail 必填依据 + 归因；报告「人确认通过率」才算数
⑥	check_eval_golden_gate --run-id	须 题集均有人终裁 且 pass≥阈值（小悦样板 ≥26/30，含教学复合剧本 G-AC-10/11）

单题怎么判：对照该题 expected_points（及剧本轮次），看实际回答是否覆盖期望（有卡 / 追问 / 拒答等），不是比全文是否一致。

归类 / 归因选项从哪来：归类=业务场景；归因=链路失败点。方法见 垂类方法 §4.1 / §8。

和产品设计的关系：① 的题来自垂类方法「场景包 + 期望」；②～⑥ 是评测中心操作。设计顺序全文见方法文档 §1；本节只负责「怎么跑过关」。

0.1 线上回流七步（轨 B · 上线后防回退）

与 §0 并列的第二条轨。业界标配 = 离线门禁 + 线上回流。题可以只有 10 条，环节不能断。
真源与验收：完整流程小样本。

① 质量报告低分线索
② 人点「入集」→ 只进回归池（禁写黄金；source_trace_id 去重）
③ 评测中心「线上回流」看板确认样本
④ 补期望 → 冻结回归池版本
⑤ 创建回归 Run（荐品用 pipeline_live）
⑥ 标注台人终裁（机评只建议）
⑦ fail → Bad Case → 改完再跑同一批

步	注意
②	列表已排除名称含「黄金」的集；勿把线上坑灌进发版黄金集
③	默认 Tab；也可 /eval?tab=online-loop
演示	无真实低分时：python -m scripts.seed_eval_muying_online_loop_demo（OL-01～10）后从 ③ 起讲

过关口径：发版仍只认 §0 黄金集人终裁；回归 Run 证明「新坑可复测 / 没变差」，不替代发布门禁。

1. 入口

Flow Admin 侧栏 → 评测中心（线上回流 / 评测集 / 运行 / 标注 / Bad Case / 意图影子）。

日常请走侧栏 + Tab + 页内搜索；不必依赖带 ?tab=&run= 的短链（那只是可选跳转，教学与协作以本手册 / 页内「实操指南」为准）。

页内点 实操指南 可看与本文对齐的精简版。

2. 创建评测集

1. 新建评测集，绑定被测 Agent
2. 手工加样本，或 Excel 导入（下载模板）
3. 冻结版本后再创建 Run（可复现）

3. 创建 Run

字段	说明
冻结版本	仅显示已冻结
评测方式	平台内跑答 / 粘贴回答
链路档位	pipeline_live 全链路真 HTTP（荐品/查券验收）；pipeline 全链路但 HTTP mock；invoke 仅 LLM+插件

跑答环境（对应 §0 第 ② 步）：创建 Run 时选 pipeline_live 才会真实外呼商品/券 HTTP，与线上出卡同构。默认/历史的 pipeline 会对 HTTP dry-run（mock、空 items），因此会出现「线上有卡、评测没找到」——不能用 mock 结果否定线上荐品能力。小悦黄金集门禁请用 pipeline_live 开新 Run。

跑答中可取消；完成后看通过率与分档。

4. 标注台

4.1 怎么找到要标的 Run

1. 打开 标注台 Tab
2. 在「选择评测运行」里搜索：短 Run ID、评测集名、或档位 pipeline_live
3. 也可先到 评测运行 Tab：列表看 Run ID + 档位 + 时间 → 记住短 ID → 再回标注台选中

验收荐品能力时：选 pipeline_live 且已完成 的 Run；不要用旧的 pipeline（mock）当门禁。

4.2 单题怎么看（完整举例）

以黄金集 G-AC-01 为例：

屏幕区域	例	你的动作
用户问	「推荐尿不湿，宝宝 8kg」	确认题意
期望要点	「查券带尿不湿品类」	唯一判分标准（不是比金句全文）
实际回答	「帮你找到了 3 款全站带券好物：…🎫」+ 可选商品卡	是否覆盖期望
建议列	机评 / Judge	仅参考，可改

• 期望被覆盖 → 人终裁 pass
• 缺关键能力（没查券 / 品类跑偏 / 幻觉）→ fail，写依据 + 归因，必要时沉淀 Bad Case

口诀：期望要点 ⊆ 实际表现 → pass。

4.3 其它能力

• 展示 结构化 payload（如 goods_list）
• 剧本样本可分轮回放（标「剧本预设」的轮次 = 注入上下文、未调模型）
• 建议列可用「采纳全部建议」批量写入，再抽检 fail/unknown/护栏
• 报告区分 机评通过率 vs 人确认通过率（门禁只认后者）

商用口径：自动扛量 + 人守门。详见 20260905-评测中心-业界对标与完整方案-母婴上线.md。

5. 小悦门禁（样板）

对应 §0 第 ⑥ 步：

cd chenyue-platform && source .venv/bin/activate
python -m scripts.seed_eval_muying_golden
# Flow：确认跑答环境 → 创建黄金集 Run → 跑答 → 标注台终裁
python -m scripts.check_eval_golden_gate --run-id <RUN_ID>
python -m scripts.check_eval_wave_c_size

通过率建议 ≥26/30（人确认口径；机评不算）。教学演示优先看剧本题 G-AC-10（荐→补槽→券）、G-AC-11（已带体重→追券）。

6. 开放 API（C-05）

前缀 /api/eval/*（需登录 session / 平台鉴权）。常用：

• POST /api/eval/runs — 创建
• POST /api/eval/runs/{id}/start — 启动
• GET /api/eval/runs/{id}/report — 报告
• GET /api/eval/usage — 使用量汇总
• GET /api/eval/runs/compare?run_a=&run_b= — 对比

完整 OpenAPI：部署环境 /docs。

7. 语义缓存（C-15）

评测路径 不走 线上语义缓存命中逻辑（每次真实跑答 / dry-run Workflow），避免假绿。线上 chat 缓存策略不变。