评测双轨 · MVP 与商用对照

日期：2026-09-06 · 修订：2026-10-09 · 用途：学员一页纸（先过哪条轨）
口径：流程与业界双轨对齐（离线门禁 + 线上回流）；题量可少，环节齐全。自动化加深（抽检引擎/Span）仍按信号后置
配套：评测中心操作手册

0. 开场 30 秒（两边相同）

测评不是「跑一次分」一件事，而是两条轨道：

轨道	何时	题从哪来	过关意味着什么
发布前 · 黄金集	Agent 还没（或不能）标已发布	产品设计阶段的场景包 × 期望要点	这版可以上
发布后 · 回归池	已上线	线上坏样本 / 低分，人审后入集	上线后没变差 / 新坑可复测

口播钉死一句：黄金集稳、少改；回归池活、跟着线上长；坏样本绝不无审灌黄金集。

流程骨架 MVP = 商用；差别只在自动化深度与拦截硬度。

环节	MVP（可演示 · 已实现）	商用完整版（只设计 · 未实现）
看见怎么走	会话级 `_turn_trace`（exec_path / model 等）	Span 树、节点 IO、OTel、跨服务检索
跑答	`pipeline_live` 批量跑；机评 / Judge 只建议	同左 + 多环境矩阵、定时回归、interactive 多轮自动化
终裁	人 pass/fail；可先采纳建议再抽检	人仍守门；抽检策略 / 教练分权 / 队列状态机减负
入回归池	质量报告人点「加入评测集」+ 补期望	规则建议入队 → 人批；可半自动进回归池（黄金集仍禁无审）
发布拦截	Agent 改「已发布」时 API 硬拦（查黄金集人终裁）	再拦 git / CI / remote-deploy；豁免流；沙箱可发 / 生产必过
门禁口径	人确认 pass ≥ 阈值（小悦样板 26/30，含教学复合剧本）	同左 + 多数据集策略、环境分级

讲课强调：MVP 人工多 = 正确（机器扛量、人守门），不是半成品借口。

发布前（离线门禁）：评测中心 → 黄金集冻结版 → Run（选 live）→ 标注台终裁 →（可选）门禁脚本 → 试把 Agent 设「已发布」（未过应被拦）。
发布后（线上回流）：评测中心 Tab「线上回流」看双轨步骤 → 质量报告低分「加入评测集」→ 只进回归池 → 回到「线上回流」见入集样本（或演示种子 OL-01～10）→ 冻结 → 回归 Run → 终裁。
对照一句：流程已双轨对齐；若上商用加深，会多「Span 点开哪一跳 / 队列自动建议 / deploy 硬拦」——自动化深度后置，流程不缺。

默认永不做：无审自动写入黄金集。