Jev Benchmark / 真实评测白皮书

Jev 垃圾信息与风控识别 Benchmark

通过将普通合法消息、灰产引流推广与恶意欺诈深度解耦，精确量化误杀率（False Positive）、漏检率与人工隔离复核（Quarantine）成本。

多场景社区与对话反垃圾切片 (CFS-300)v1.0.4

黄金评测样本: 300•更新基线: 2026-09-18

经双盲人工真值与专家模型交叉校准

Macro F1

88.5%

垃圾与正常分类平衡指标

误杀率 (FPR)

1.1%

180 条正常消息仅误判 2 条

P95 响应耗时

320 ms

极速同步拦截，无感知延迟

千次检测成本

$0.016

极低成本，支持全量消息实时过滤

实验规约

把误杀代价单独摆在台面

垃圾内容拦截存在显著的“非对称代价”：误删一条正常付费用户的咨询，其业务伤害远大于漏过一条小广告。本实验严格将真实用户互动、灰产打卡推广和高危钓鱼欺诈划分为三个独立切片，重点考察正常消息的误杀率与人工隔离策略。

测试架构: 无提示词膨胀，纯粹类型化契约（TypeSafe System One Adapter）

度量指标: Macro F1 (Macro Precision & Recall harmonic mean), P95 Latency, Cost / 1k decisions

行业批判性视角

官方共识 vs 真实黄金真值

黑灰产具有强变异性，本评测报告基于当前标准语料切片。企业上线前应持续导入自身业务的最新对抗日志更新基线。

注：TypeSafe 官方 Benchmark 采用 GPT-6 Astra 与 Claude Fable 5.1 的综合概率为基准；本站同时给出真实三审真值。

横向基准对比

Jev vs 主流超大模型对比天梯榜

在相同任务契约与相同测试集下的决策准度、响应速度与调用预算横向度量。

模型 / 架构	准度 / 共识	Macro F1	P95 延迟	千次成本	工程特征
Jev (Noul / Choice 决策原语)	92.3% 准确率 / 88.5% F1	88.5%	320 ms	$0.016	能够作为内联同步中间件（Inline Gateway），直接挂载在 WebSocket 或 HTTP 网关前。
GPT-5.6 Terra	93.0% 准确率 / 89.2% F1	89.2%	8,400 ms	$1.420	在复杂双关语或反讽识别上略高半筹，但 8 秒以上的响应时间无法做实时拦截。
Claude Sonnet 5	94.3% 准确率 / 91.0% F1	91.0%	18,200 ms	$4.250	对高难度隐蔽暗号辨识最强，适合放入异步复审工作流，而非前端实时防刷。

数据来源：结合 TypeSafe 官方 711 样本 Workflow Evals 及 Every.to 独立评测数据测试环境：West US Edge / 2026-09

测试集切片

黄金评测集分布结构

融合社区评论、客服私信及公开反垃圾语料，特意加入了容易被传统规则误伤的良性样本（如求职招聘、开源项目推荐、官方折扣讨论等）。

正常业务与用户互动180 例

产品问题探讨、使用反馈、团队打招呼、正常含外链的技术探讨

60% 样本占比

灰产引流与灰色推广60 例

暗号变体、社交账号导流、优惠券裂变、批量刷屏打卡

20% 样本占比

恶意欺诈与钓鱼攻击60 例

伪冒官方客服、钓鱼空投链接、资金盗取诱导、恶意脚本传播

20% 样本占比

混淆矩阵

类别交叉判定分布

纵轴为模型预测类别，横轴为人工黄金真实类别：

预测 \ 真实	正常内容	灰产引流	恶意欺诈
正常内容	178	11	1
灰产引流	2	45	3
恶意欺诈	0	4	56

矩阵解读: 高危恶意欺诈召回率达 93.3%（56/60）；主要漏判发生在将“隐蔽兼职导流”漏入“正常内容”（11条），但这部分样本在置信度上普遍处于 0.40~0.60 的模糊区间，可通过隔离队列有效截获。

置信度与 Fallback

三层隔离漏斗过滤架构 (Quarantine Tiers)

不要对可疑内容粗暴执行一刀切删除。利用 Jev 的输出概率构建三层过滤漏斗：

垃圾概率 < 0.2062.0% 消息量

直接放行进入公共流

实测准确度: 99.4% 清洁度

0.20 <= 垃圾概率 < 0.8514.0% 消息量

进入待审隔离区（仅发送者可见，待版主一键复核）

实测准确度: 避免误杀

垃圾概率 >= 0.8524.0% 消息量

静默阻断并对发送者 IP 限流

实测准确度: 98.6% 精准度

建议：在生产环境中通过环境变量注入 confidence 门限，动态调整自动化比例。

实测案例切片

典型实测与边界判定剖析

观察模型在清晰场景与复合模糊语义下的实际行为表现与置信度自知力。

案例 1：正常开发者在评论区推荐自研开源工具

准确命中

“大家好，我写了一个轻量级的 SQLite 定时备份工具放在 GitHub 了：https://github.com/myteam/sqlite-backup，MIT 协议免费自取，欢迎试用提出 issue！”

模型预测正常内容 (Clean)

人工真值正常内容 (Clean)

置信度0.94

许多机械的关键词过滤器一看到链接就封杀。Jev 准确捕捉到了开源社区互助语境，判定为正常开发者分享，置信度 0.94，避免误杀核心用户。

案例 2：变体暗号导流诈骗

准确命中

“博主说的太好了！想一起日入过千的看我简。介，或者加 V：x x x 8 8 9 9，前 10 名免费带！”

模型预测恶意欺诈 / 灰产

人工真值恶意欺诈 / 灰产

置信度0.98

包含空格拆字、暗号诱导等典型引流手法。Jev 输出极高置信度（0.98），直接触发阻断并拉黑 IP。

本地复现代码

在本地运行该 Benchmark 脚本

该检测逻辑耗时约 300ms，建议直接包装成 Cloudflare Workers 中间件，在入库保存前进行前置守门。

eval-spam-detection.ts

import { experimental_evaluate } from '@ai-sdk/typesafe';

export async function checkMessageSpam(message: string) {
  const result = await experimental_evaluate({
    model: 'jev-latest',
    state: { message },
    questions: {
      spamAnalysis: {
        type: 'choice',
        instructions: '分析当前用户留言是否属于违规推广或欺诈垃圾信息。',
        criteria: {
          clean: '正常的提问、交流互动、真诚的技术分享与反馈。',
          promotional: '无意义刷屏、优惠券引流、非官方授权的自推广告。',
          malicious: '钓鱼诈骗、仿冒账号、高危理财诈骗或恶意链接。',
        },
      },
    },
  });

  return {
    category: result.answers.spamAnalysis.value,
    confidence: result.answers.spamAnalysis.confidence,
    probabilities: result.answers.spamAnalysis.probabilities,
  };
}

常见疑问解答