Guides / 视频转图文攻略

Jev 会取代 LLM 吗?Krish Naik 白板图解 Jev vs LLM 与混合架构

Krish Naik 图解 TypeSafe AI 的 Jev:System One 模型如何跳过 Token 生成、直接给出概率决策,为什么它不会取代 LLM,以及 Jev + LLM 混合式 Agentic AI 架构——附客服路由、Agent 工具选择与多智能体三个实战案例。

速览结论

Jev 是 TypeSafe AI 的 System One 模型:不生成 Token 和字符串,而是像分类器对猫、狗、猴子、马输出各类概率那样做决策——分类、路由、打分、判断。对于「Jev 会不会取代 LLM」,Krish Naik 的答案斩钉截铁:不会。LLM 仍是负责文本、代码与推理生成的大脑,Jev 则接管前后的快速判断。视频里的例子:EdTech 客服查询被路由为 support 0.3、finance 0.1、sales 0.6;五工具 Agent 以 0.96 概率直选 SQL——这些决策若交给 LLM,都要先推理并烧掉大量 Token。参考架构:用户 → Jev → RAG/工具/Agent → LLM → Jev 校验门禁(接受或重新生成)。TypeSafe 官方演示的对比数据:0.114 秒 vs 8.5 秒完成、$0.00081 vs $0.013 成本,端到端 70–500ms。

视频来源

Krish Naik

23:272vYV4K1RQ1w

分步图文攻略

  1. 1

    先看懂 LLM ReAct 循环为什么烧 Token

    Krish 先画出当下 Agentic AI 应用的工作方式:输入交给 LLM,LLM 充当大脑,内部思考、决定是否调用外部工具,循环往复——这就是 ReAct loop。整条链路上大部分工作是生成:文本、代码、摘要,而且推理本身就产生大量 Token。他的核心判断是:未来属于能高效优化 Token 的人。

    手绘白板图展示 LLM 推理循环:Thinking、Reasoning、Tools 与 ReAct loop 标注,LLM 充当大脑,每轮文本生成都消耗 Token,因此 Token Optimization 成为关键。
    ReAct 循环:LLM 当大脑,工具挂旁边,每轮推理都在生成 Token。跳转至 4:25
  2. 2

    理解 Jev:只做判断、不做生成的 System One 模型

    Jev 由 TypeSafe AI 开发,官方称之为 System One 模型。它不生成 Token 和字符串,而是做概率决策——就像分类器判断猫、狗、猴子还是马,或者「你饿不饿」这样的 yes/no 快速判断。判断结果再交给 LLM:文本、代码、邮件、摘要、推理、对话,这些生成类工作仍然是 LLM 的强项。至于取代问题,Krish 说得毫不含糊:认为 Jev 会取代 LLM,答案是明确的不会——它是互补,不是替代。

    手绘对比图说明 Jev 作为 System One Model 输出 yes/no 概率决策,「Jev ⇒ LLM」被划掉,ChatGPT 式产品中 LLM 仍负责输入到输出的 Reasoning、Routing 与 Generate。
    Jev 负责判断,LLM 负责生成——被划掉的「Jev ⇒ LLM」给替代论画上句号。跳转至 7:00
  3. 3

    用概率路由客服工单:0.3 / 0.1 / 0.6

    以他的 EdTech 公司为例:聊天机器人收到「我想咨询一个课程、打算购买」——这是一条 NLP 非结构化查询,需要分给 support、finance 或 sales 团队。同样的查询进 Jev,出来就是一个概率分布:support 0.3(30%)、finance 0.1(10%)、sales 0.6(60%),直接路由给销售团队。若走 LLM,模型要先内部推理「这个人想买课」,花更多时间、生成更多 Token,最后才得到同样的结论。拿到 Jev 的输出后,自定义代码可以把它发给 LLM、转人工、转其他部门,或直接处理。

    EdTech 客服聊天机器人路由示例:Jev 把 NLP unstructured query(课程购买咨询)转成 Support 0.3、Finance 0.1、Sales 0.6 的概率分布,而 LLM 路径被标注 more time tokens。
    一条非结构化查询,三个概率:sales 0.6 胜出,LLM 路径则用时间和 Token 买单。跳转至 11:10
  4. 4

    一次前向选中 Agent 工具:SQL 0.96

    第二个例子:一个带五个工具(SQL、网页搜索、Python、计算器、邮件)的 AI Agent,被问到「查一下公司上个月/最近六个月的营收」。现有 LLM 路径要逐步推理、生成 Token,最后才想明白该查 SQL 数据库。Jev 路径直接给出 SQL 0.96、Python 0.02、web search 0.01、calculator 0.005,查询直奔 SQL 工具。Krish 认为,这类路由与分类正是 Jev 最擅长的——LLM 完全不必亲自思考。

    AI Agent 工具选择白板图对比 LLM 推理路径命中 SQL DATABASE 与 Jev 路径给出 SQL 96%、Python 2%、Web Search 1%、Calculator 0.5% 后直连工具的差异。
    SQL 拿到 0.96——Jev 一次前向选中工具,LLM 不用再推理一遍。跳转至 16:45
  5. 5

    扩展到多智能体平台:Jev 是互补而非替代

    白板上用绿字再次强调:Jev ≠ LLM,两者是互补关系。在企业级多智能体平台场景里,用户要求分析 AWS 账单、找出 GPU 支出增长 30% 的原因。这条查询交给 LLM,会触发「该找哪个 Agent」的内部思考;有了 Jev,自然语言非结构化查询直接映射到 coding、finance、research 三个 Agent 中的正确专家——这里就是 finance agent。Krish 说,有了 Jev 打头,Agent 和模型的路由会变得非常简单。

    企业多智能体路由手绘图:AWS GPU 支出问题被 Jev 直达 Finance Agent(Coding/Finance/Research 三个 Agent 之中),顶部绿字标注 Jev ≠ LLM、两者互补。
    AWS 账单、GPU 支出涨 30%——Jev 把问题直达 finance agent。跳转至 19:20
  6. 6

    落地混合架构:Jev 在两端把关

    最终的 Agentic AI 架构把 Jev 放在入口和出口。用户查询先经 System One 模型完成分类、路由、打分、判断,决定调用哪个工具、RAG 还是 Agent;接着 LLM 承担复杂工作——推理、生成、解释;最后再用一次 Jev 做判断,像 guardrails 一样套上逻辑门,输出 accept 或 regenerate。因为 Jev 只做 yes/no 概率决策,幻觉更少、成本更低、整条链路更快。视频中引用 TypeSafe 的对比数字:0.114 秒 vs 8.5 秒完成、$0.00081 vs $0.013 成本,端到端 70–500ms——同等前沿智能水平下快 200 到 400 倍。

    Jev 企业级 Agent 架构图:User 查询经 Jev 的 Verify/Route/Score/Decide 层分发到 RAG、Tool、Agents,再由 LLM 完成 Reason/Generate/Explain 任务。
    完整链路:Jev 分类与把关,RAG/工具/Agent 执行,LLM 生成,Jev 校验。跳转至 21:46

常见问题(FAQ)

Jev 会取代 LLM 吗?

不会——Krish Naik 在视频里给的答案是明确的「不会」。Jev 完全不生成文本,只做概率判断再交给 LLM。文本、代码、邮件、摘要生成以及推理、对话仍然是 LLM 的大脑职责。Jev 的价值是接管快速的路由与分类决策,让 LLM 少生成 Token,两者是互补关系。

什么时候该用 Jev 而不是 LLM?

当软件需要的是快速判断而不是成段文字时用 Jev:客服工单路由(视频中 EdTech 案例给出 support 0.3、finance 0.1、sales 0.6)、Agent 工具选择(五个工具里以 0.96 直选 SQL)、多智能体路由(AWS GPU 问题直达 finance agent),以及输出校验 guardrails。决策做完之后,生成类工作仍交给 LLM。

System One 模型是什么?

这是 TypeSafe 给 Jev 的定位术语:一个快速、直觉式的层,像分类器输出猫/狗/猴子/马的概率那样做概率决策或 yes/no 判断。与之相对的是 LLM 慢条斯理的 System Two 式推理——每做一次决策都要逐步思考并生成 Token。

Jev 和 LLM 能在同一条流水线里协作吗?

能——这正是 Krish 推荐的 Agentic AI 架构:用户查询先过 Jev 完成分类、路由、打分、判断;请求再流向选定的工具、RAG 或 Agent;LLM 负责重推理、生成与解释;最后再用一次 Jev 做 guardrail,通过 yes/no 逻辑门对输出给出 accept 或 regenerate。视频引用的数据:端到端 70–500ms、快 200–400 倍,演示成本 $0.00081 vs $0.013。