Benchmark / 评测与方法学
Jev Benchmark：先看方法与证据，再看分数
拒绝脱离实际的通用刷榜。我们关注真实工程场景下的决策准确率、尾部延迟、每千次成本与置信度校准曲线，提供严谨可复现的评测规范。
速查导读：什么是 Jev 的评测方法学？
Jev 的评测理念是“方法先于分数，证据优于宣传”。我们不追求脱离真实生产环境的综合通用模型跑分，而是聚焦在垂直业务决策上：通过 Macro F1（防止样本倾斜）、P95 响应延迟、单次决策 Token 成本以及置信度校准误差（ECE）四大维度进行综合度量，并在实验中公开完整测试集版本、判定标准与错误案例。
Task Fixtures
三大标准化评测实验
Jev 客服工单智能路由 Benchmark
通过带人工真值标签的多分类测试集，深度检验 Jev 在各业务队列的分类准度、尾部响应延迟、每千次决策成本与人工 Fallback 分流平衡点。
Jev 垃圾信息与风控识别 Benchmark
通过将普通合法消息、灰产引流推广与恶意欺诈深度解耦，精确量化误杀率（False Positive）、漏检率与人工隔离复核（Quarantine）成本。
Jev Prompt Injection 安全防御 Benchmark
通过对抗样本深度检验 Jev 在直接覆盖指令、数据外发偷取、上下文间接投毒等攻击场景下的拦截能力与正常良性指令的可用性保留。
社区榜单 / 第三方证据
社区与第三方 Jev 基准评测
拿「Jev benchmark」去搜，落在你眼前的从来不是一块唯一的记分板。在本页上方三个自有 fixture 之外，还有一个由社区与第三方运营的决策模型评测生态——各有各的方法、版本与赢家。这里收录本站引用过的每一块榜：它实际测什么、谁来维护、以及维护者自己披露的注意事项。
| 基准 | 维护方 | 方法与版本 | 关键数字 | 与官方口径的关系 |
|---|---|---|---|---|
| ImageJevBench v0.1.3 | 社区图像决策模型榜 | 面向图像决策系统的 held-out 对比：684 个计分项（228 公开 + 456 封存，另有 93 项退役未计分）、49 个系统上榜；Cost 或 Calibration 任一轴触线直接记 0 分。 | Imajev-4B 76.39 · Jev-Omni 73.10 · NeoHorse Jev 4B 71.94 · Visual-Jev 4B 69.81 · JPT-4B 69.55 | 图像输入轴——截取时点托管版 Jev 未参赛。卡面自曝 333 个新封存项为合成图像，对前沿 API 模型更友好。 |
| JevBench v1.4.2（独立反账本） | 独立运营，MIT 许可 | 93 个系统的四轴综合分，另设独立的 fresh-sealed 切分。榜单已发过多个版本、同一系统分数会移动——替代品 hub 上的版本漂移警告在这里同样适用。 | decider-4b v2 #1 · Jev 1.13.0 #2（63.29）· JevK5 #3（62.04）· GLiNER2.5-multi 63.1 · GLiNER2.5-small 62.1 | 不同的榜，不同的赢家：Fastino 自家榜上 GLiNER2.5-Decide 领跑，这块独立榜上是 decider-4b v2。fresh-sealed 切分给 Jev 37%、JevK5 33%——评测者自己都称该切分异常困难。 |
| Jev Decision Index（社区） | multimodalart（Hugging Face 社区） | 70 个开源复现、每模型 12 万次决策、跨 43 项基准；suite v0.2.1，更新于 2026-09-28。 | Jev 57.9 #1（托管中位延迟 524ms）对阵 pplx-decider-v1 56.4 #4（101ms）；Perplexity 的 v1.1 卡面报告 61.56——领先已易主 | 榜单月月变动，v1.1 数字为厂商自报。引用当前卡面，别引快照——本页的也一样。 |
| Liquid Decision Index v0.2.1 | Liquid AI（厂商） | d1 家族的厂商自建榜；public split、厂商自报口径。 | d1-3B 48.57——10B 以下第一、与约 35B 级模型持平；d1-omni-600M 15.95；7 任务文本均值 82.9（d1-3B） | 家族内参考榜：在 d1 产品线内部有意义，不构成跨厂商排名。独立复现在无风扇笔记本上实测延迟约为厂商口径的 3 倍。 |
| fast-decisions（Fastino） | Fastino（厂商） | 17 个公开子集 × 300 条 held-out = 5,100 例，全英文、精确匹配计分；屏幕脚注写明「Fastino's internal benchmark」。 | GLiNER2.5-Decide 60.2 · Decide-1B 59.6 · JevK5 57.6 · GLiNER2.5-multi 56.7 · Laya 46.6 | Fastino 测的是 JevK5（Apache-2.0 开源复现）而非 TypeSafe 托管版 Jev，且 GLiNER 从未上过 JevBench——两者之间不存在任何第三方同台数据。 |
| benchmarkheaven.com | 第三方实时榜 | 实时、未审计的快照；capability 与 composite 分数两次查看之间就会变动。 | Jev 1.13.0 capability 64.7 / composite 63.3；Laya #41（49.9 / 30.3，约 $0.0029/千次决策）——本站 Ollaya 指南截取口径 | 是天气不是气候：用于定向可以，当作认证基准引用不行——数字会漂移。 |
| vals.ai 独立评测 | vals.ai（第三方，预注册） | 预注册评测十二个系统（2026-10-06）：400 条源自 SEC 文件、人工审计的 claim-verification 样本，外加 LegalBench 切分。 | Jev claim verification 0.975，与 GPT-6 级持平、成本约 Astra 的 1/498，ECE 0.011 十二家最佳——但 LegalBench 0.730 十二家垫底、一项 contract-NLI 子任务塌到 0.485 | 批评线的第一个可引用第三方数据集：最强与最弱结果并列发布。结论是任务相对的，不是模型常数。 |
| Jevman（Opper AI） | Opper AI；GitHub 上 AGPL-3.0 | 100 局实时吃豆人对经典脚本幽灵；每个路口模型按方向返回概率；超 2 秒的回答替换为带日志的后备规则；排名取均值分加 95% 置信区间，每局都可精确回放。 | 本页不引具体分数——榜单实时变动、我们未核实快照；处于彼此置信区间内的模型计为平手。 | 行为类基准：测动态博弈状态下的决策质量，而非静态标注集——是精度榜的补充，不是替代。 |
读任何榜单前的三条规则
厂商榜 ≠ 独立榜
Liquid 的 Decision Index 与 Fastino 的 fast-decisions 都是自家榜：在家族内部有用，永远不是中立的跨厂商排名。vals.ai 是当下的反例——预注册、连 Jev 最难看的结果一起发布。
不同的榜，不同的赢家
Fastino 榜上 GLiNER2.5-Decide 领先；独立 JevBench 上是 decider-4b v2；Decision Index 上 pplx-decider v1.1 已反超 Jev；ImageJevBench 榜首是一个人训出来的模型。谁「赢」完全取决于你翻开哪块榜——本页的 fixture 也不例外。
榜单会漂移——版本与小样本
JevBench 已发过多块版本、同一系统分数会移动；Decision Index 按月更新；benchmarkheaven 连续重算；ImageJevBench 的封存集部分为合成。跨榜比较只在同一命名版本内进行，小样本结果只当方向、不当结论。
标注「截取口径」的数字逐帧抄自对应走读页。榜单分数随时间变动，每一条 Jev 基准结果都只是当时的快照，引用前请查实时版本。本节最后核对：2026-10-23。
这些数字的出处
图像决策模型指南
ImageJevBench v0.1.3 逐帧抄录，外加 Imajev-4B 与 Jev-Omni 无 OCR 审查未签名 W-8BEN 的实操。
GLiNER2.5-Decide 对阵 Jev
Fastino 榜与 JevBench 独立榜并排读——「不同的榜，不同的冠军」的案例页。
Liquid d1 本地实测
Decision Index v0.2.1 数字与评审者在无风扇笔记本上的复跑对照。
PPLX Decider 走读
Jev Decision Index 悬浮卡、85.71% 对 84.51% 的厂商面板，以及 v1.1 的领先易主。
决策模型校准
ECE 到底量什么，以及 vals.ai 十二家最佳与十二家最差两个校准结果如何进同一套工作流。
Ollaya 指南
benchmarkheaven 带注意事项引用、HN 质疑段正面呈现，每个延迟数字都标注厂商自报口径。
Metrics Matrix
四大核心评测维度
衡量一个 AI 决策模型能否在生产系统中稳定运行，必须同步核验以下指标：
Macro F1 宏平均
对每一个候选分类独立计算 Precision 与 Recall 并取算术平均，防止高频样本类别掩盖关键罕见类别（如高客诉率或紧急工单）。
P95 尾部延迟
测量在真实并发网络下的 95 分位响应耗时。对于在线网关和实时阻断场景，稳定的亚秒级（< 400ms）响应至关重要。
决策单位成本
核算每 1,000 次决策实际消耗的输入/输出 Token 及账单金额，确保规模化自动化在商业上具有极高的投产比。
置信度校准度 (ECE)
检验模型输出的 confidence 是否诚实。当模型标称置信度为 0.90 时，实际样本正确率也应稳定在 90% 附近，这是自动化分流的基石。
企业自建业务 Benchmark 实施指南
在为你的团队定制生产 Schema 前，建议按以下 4 步建立基线：
沉淀黄金评测集（Gold Dataset）
收集 200~500 条真实历史业务样本，由资深业务人员进行多盲标注，确保边界案例和易混淆样本具备确凿的标准答案。
固定 Schema 与 Criteria 版本
在测试前固化 instructions、选项数量及判定准则（Criteria），纳入 Git 版本管理，禁止在单次测试中动态变动标准。
记录全量推理与概率分布
保存每次调用的 provider、model ID、输入 state、输出 choice、各选项 probabilities、耗时及实际 token 消耗。
绘制阈值曲线与混淆矩阵
通过调整置信度门限（如 0.70 到 0.95），观察“自动流转率”与“流转准确率”之间的权衡曲线，找到最优生产动作点。
评测常见问题（FAQ）
为什么 Jev 不采用 MMLU 或 GSM8K 等通用大模型榜单作为主要基准？
MMLU、GSM8K 等基准衡量的是模型的常识知识和多步数学推理能力，而 Jev 是专为软件业务逻辑设计的类型化决策模型（System One）。在工单路由、内容审核、安全拦截等场景中，决定系统稳定性的是分类边界确定性、置信度校准和毫秒级延迟，通用刷榜分数与业务落地效果几乎没有相关性。
为什么在分类任务评测中 Macro F1 远比单一的 Accuracy 更重要？
在真实业务中，样本往往存在严重的数据倾斜（例如 95% 的留言是普通咨询，只有 5% 是退款维权）。如果一个模型把所有样本都简单猜为普通咨询，其 Accuracy 高达 95%，但在业务上是完全灾难性的。Macro F1 平等对待每个类别的分类表现，能敏锐暴露小类漏判与误判。
什么是置信度校准误差（Calibration Error），为什么它关乎系统安全？
校准度衡量的是“模型自我评估的概率”与“实际真值概率”的一致性。如果一个模型经常以 0.99 的置信度给出错误判断（过度自信），或者明明判断正确却只敢给出 0.40（过度保守），都会导致系统的 Fallback 策略失效。良好的置信度校准让工程师可以放心地根据数值设定自动化流水线。
在自建评测中，如果发现有两个类别之间经常互相误判，该怎么优化？
这通常意味着 Criteria 描述存在交叉或语义重叠。优化步骤：1) 调出混淆矩阵中这两类的错误样本；2) 寻找它们在业务上的本质区别（例如是行为事实不同还是用户动机不同）；3) 在两者的 criteria 中明确加入互斥排他描述（例如在 A 中增加“注意：若涉及 X 则归属于 B”）。
Jev 101 公布基准数据遵循什么严谨原则？
本站坚持不发布脱离复现依据的虚假指标。所有正式展示的实验数据必须绑定公开数据集版本、测试日期、真实 provider 端点、统计样本量及代码复现仓库，确保每一位开发者都能在本地完全复现实验结论。
哪个 Jev 基准可信？
都不盲信——可信来自「问题与榜单的匹配」。对具体业务决策，任何公开榜都不如自己跑约 100 条标注样本（上方 fixture 展示的就是这套流程）。定向参考时：vals.ai 预注册且独立；Jev Decision Index 与 ImageJevBench 是社区运营、方法公开；厂商榜（Liquid、Fastino）最了解自家家族。本页每块榜都公开了自己的注意事项——先读它们。
为什么不同 Jev 基准的赢家不一样？
因为它们在不同数据上测不同的东西。Fastino 的精确匹配路由子集天然偏爱自家编码器；JevBench 四轴综合分目前由 decider-4b v2 领跑；Decision Index 在 43 项基准上加权开源复现；ImageJevBench 测图像输入，托管版 Jev 没有参赛。诚实的读法就是本页的读法：榜单、版本、注意事项三者一起引用——并预期冠军会换人。