AutoTrust JEV-27B 本地实测：四臂对照、72 道 held-out 题，和一个 0.969 高分的错误答案

这是 RUNTIME. 频道对 AutoTrust JEV-27B（Hugging Face autotrust/JEV-27B，Apache-2.0）的独立本地实测——10 分 34 秒，把官方宣称当成待验证对象而不是复读材料。先辨身份，因为 27B 的 Jev 系赛道已经有两个玩家：AutoTrust AI Lab 的 JEV-27B 是阿里巴巴 Qwen3.8-27B 的微调版，从 TypeSafe 托管 Jev 蒸馏决策行为（HF 卡面自述是 TypeSafe Jev 1.13 的 student），做法是冻结骨干、只训练约 1.09 亿参数——决策 adapter 加打分头；本地版把这些训练增件打进权重，运行时不需要回调 teacher。它和 ZefanCai/Open-Jev-27B-v1.1 不是一回事——后者是另一家发布方的社区项目，以 PEFT adapter 包（adapter 加 head.pt）的形式挂在同一个 Qwen3.8-27B 底座上——发布方不同、产物形态不同、训练也不同；AutoTrust 自家的 JEV-27B-VL 是这个模型的视觉变体，也不是本页实测的对象。卡面上的官方宣称：B200 上单决策约 137ms，约为托管 TypeSafe Jev API 公开口径（238-301ms，含网络时间）的一半；编码能力不变——原始 Qwen 78.0% 对 JEV-27B 78.0%（128/164 编码任务）。实测台：一台 DGX Spark（GB10），跑 pinned revision 的 16 位 BF16 权重——明确不是 Q4 或 Q8——两个加速组件缺失走了 fallback 实现，所以全部数字都不是优化吞吐基准。四臂看到完全相同的输入（书面 policy、客户消息、同一份 options 列表——Billing/technical、Security/ask）：规则组是刻意做小的确定性解析器；决策头是训练出的 typed-choice 路径；普通生成用同一骨干、adapter 关、thinking 关、严格结构化输出；推理路径先生成思考再打分。实验协议：24 道 dev 题只为验证一件事——置信度分数能不能当「何时升级到推理」的闸门——然后 72 道 held-out 题正式计分；重排选项、加无关细节、插误导指令的重复实验只验一致性，永远不算额外的独立题；没有让另一个 LLM 当裁判——案例提前写好并核过，高分永远不能推翻错误动作。案例 1 展示语义解释值回票价的地方：昨天两笔扣款、其中一笔已退，今天 export 失败——应路由 technical support；规则组抓到 charge 词面选了 billing，快答头、普通生成、推理路径全读对了状态变化。案例 2 展示条件顺序的咬合：retry 已授权、severity normal、四次尝试用了三次，但诊断材料 14 分钟大、超过 13 分钟新鲜度上限——必选动作是 collect；规则和推理路径选对，快答头和普通生成都在 retry；这套未优化环境里快答 0.66 秒、推理 85.94 秒——额外推理修正了真实错误，代价沉重（相关 critical 严重度变体要求先 escalate，普通生成依旧 retry）。72 题记分板：普通生成 50、快答头 63、推理 71、规则 70——快答头升级到推理修正 8 题且零翻错，而刻意做小的规则程序只比推理路径低一分。然后是诚实段，也是这支视频值得做成页面的原因。第一，测试方自曝其测试有缺陷：5 道路由题存在 policy exception（计费问题送 Security 人工审计）与 Security 选项描述（未授权账户活动）的词面冲突——期望路由遵循显式例外，词面却把模型往反方向拉。他们的处理方式本身就是教材：原始分数原样保留、缺陷公开发布，再单独跑一轮剔除后的敏感性检查：快答头 63/67、推理 67/67、规则 65/67、普通生成 50/67——这是敏感性检查，不是新基准，小规模合成集加上从未做过 prompt 搜索的普通生成对照组，都如实标注。第二，置信度捷径失败：0.50 到 0.95 六档阈值在 24 道 dev 题上全部不达标准，所以视频里不存在可用的混合门控，也没有「混合系统成功」的 held-out 结果。干净的证明是一道 dev 错例：快答头选 retry（应选 collect）并打出约 0.969 的分数——最高候选阈值 0.950 都会无推理放行。分数描述的是模型在给定选项间的偏好；把 0.97 读成 97% 正确率需要「预测置信 vs 观察正确率」的代表性证据，而看完答案再挑新阈值只是新实验（新设计、独立 dev、冻结、新 held-out）。第三，运行成本真相：72 题端到端请求时延中位数——快答头 0.65s（p95 0.72s）、普通生成 2.34s（p95 2.60s）、推理 102.20s（p95 128.50s），单请求串行；推理在 20/72 题撞上 512-token 上限、被强制读出答案——最终选择正确不等于推理完成；权重约 50 GiB、GPU 进程峰值采样约 52 GiB，Spark 统一内存两者重叠不可相加。快答头改变的是拿答案的方式，不会把 270 亿参数模型变成小下载。最后，24 道母题扩出的 96 个表述变体——反转选项、乱序、加无关细节、在客户文本里插误导指令（那是数据不是新 policy）——语义选择保持不变的比例：快答头 91/96、推理 95/96、普通生成 91/96、规则 96/96；但一致性不等于正确性——同一套错误答案也可以次次重复，几条误导消息更不是安全保证。视频收尾建议就是操作摘要：已知选项集加需要解释的措辞，才是快答头的用武之地；清晰条件留在代码里——模型解释消息、程序查诊断时效和权限、两者一致才行动、不一致处就是具体的人工审查点——换后端或换测试集再测，并公开提示词、配置和结果。