学习路径
学习 Harness 工程：2026 年 AI 编码智能体路径
Harness 工程是什么，以及学会它的五个阶段：类型化问题、运行前路由、工具调用门控、置信度校准、审计级测量——基于 LangChain harness 模式与本站的实测数字。
TL;DR
Harness 工程是给生成式模型造一个「带裁决的回路」：LLM 继续写代码、做设计，由类型化决策层负责每次运行前的路由、每次工具调用的门控、按置信度上报。学习路径五个阶段——锁定答案形状（Choice / Score / Noul）、生成前路由、用 allow / ask / block 门控每次工具调用、校准概率并按动作设阈值、最后像审计员一样测量。第一扇门一个下午就能搭起来，几周可以把模式变成生产习惯——给这个模式命名的 LangChain harness 在 Jev 发布两天后就上线了，其审计结果是管线快 15.9%、成本省 30.1%。
来源：LangChain《Building a Harness with Jev》（2026-09-17），以我们经审计的 agent-harness 指南所录为准；TypeSafe 宣称值的独立 2000 封邮件实测；Laya 校准实践。Harness 工程目前不存在任何认证——向你卖证书的人是在给自己批作业。
Harness 工程是什么？
模型周围的脚手架——不是更花哨的对话技巧。
AI 智能体回路里有两种工作。生成——写代码、拟方案、做设计——是 LLM 的本职，没人应该抢走它。判断——一次运行需要的成百上千个小的 yes/no 与 N 选一决策——用生成模型来做很贵：每次检查都要花一段推理、几秒延迟，外加一个没人校准过的自评置信度。
Harness 工程就是把这两类工作干净拆开的学科。Harness 是包在模型外面的一切：运行开始前挑选小模型或旗舰的路由器、执行前审查每次工具调用的门、决定自动/询问/拦截的校准阈值，以及让这一切保持诚实的评测。这个名字来自 LangChain 的《Building a Harness with Jev》（2026 年 9 月 17 日）——Jev 这个返回类型化答案而非文本的 System One 决策模型，就坐在 LLM 旁边回答管线提出的封闭问题。
经济账是测出来的：只把 DSPy 管线里的 yes/no 与 N 选一步骤卸载出去，整条管线就快了 15.9%（每张工单 1.958s 对 2.329s）、省了 30.1%（$0.000377 → $0.000263）。花零点几美分的守卫会一直开着；要等几秒的守卫迟早被关——Sydney Runkle 正是在检查变得几乎免费之后才把 auto 模式重新打开的。
五阶段学习路径
每个阶段都有一个晚上能交付的产物。按顺序做——每一阶段都默认你做完了前一阶段。
别再调提示，先上类型
提示词工程优化的是模型读到的文字；harness 锁定的是返回内容的形状。第一项技能是提出代码可以直接执行的封闭问题：N 选一（Choice）、0–100 打分（Score），或完全不生成文本的校验式判断（Noul）。答案空间封闭了，普通的 if 语句才能信任它。
Build → 打开 Playground，用一道 Choice 题分类三段文本，观察概率与置信度字段以 JSON 返回——全程不解析任何自然语言。
生成之前先路由
LangChain harness 的第 1 号任务：智能体启动前，先由便宜的分类器读请求并决定走小模型还是旗舰。「改个错字」不该付旗舰的价钱。技能在于划线——以及测量这条线，因为路由器本身也是一个可能出错的决策。
Build → 从你自己的产品取 10 条真实请求，标注小模型/旗舰，然后写出路由问题。接着测量：被审计的 DSPy 管线正是靠卸载这些封闭问题，做到了每张工单延迟降 15.9%、成本降 30.1%。
给每次工具调用加门
第 2 号任务：auto 模式下，中间件检查智能体尝试的每一次工具调用，并在执行前给出封闭裁决——allow、ask a human 或 block。经典例子是 rm -rf：代码里没有任何规则能分清例行清理和灾难，而去问聊天模型等于花钱买一段自己给自己打分的作文。花零点几美分、几百毫秒的门会一直开着；要等几秒的守卫迟早被关掉。
Build → 给你自己的技术栈里一个破坏性操作套上三选项门。锁定选项、设置置信阈值，并在代码里决定每个裁决的后果——模型永远接触不到自由文本。
校准，然后在置信度上加门
概率只有在「它说的就是它意思」时才有用。校准测的是这个差距（Laya 教程校准到 ECE 0.081），生产模式是按动作设阈值：0.85 以上自动执行，中间区间问人，低于下限直接拦截。一个数字、三种行为——这就是一行字版本的 harness 工程。
Build → 收集第 3 阶段的 50 条输出，核对「94% 置信」实际对了多少次，然后定出你的第一张按动作阈值表。
像审计员一样测量
最后一项技能是不信任。TypeSafe 官网宣传 193x / 444x；独立 2000 封邮件实测 3x / 12x——依然优秀，但你该基于的是后者。同一次审计还发现：「这是不是钓鱼？」这种宽泛问题只得 62.6%，而五个调过权重的窄信号达到约 95%。窄胜于宽、实测胜于宣称，无一例外。
Build → 用固定任务、固定阈值，在你自己的数据上复测一条厂商基准声明——方法就是我们 benchmarks 栏目发布的那套——并把差值写下来。
资源清单（按阅读顺序）
五条链接，不是五十条——模式的命名、拆解，以及它默认的习惯。
给这个模式命名的文章：Sydney Runkle 与 Hunter Lovell 在 Jev 发布两天后写下的 harness 设计。两任务框架从这里读起。
我们对 LangChain harness 的拆解走读，带审计数字：快 15.9%、省 30.1%，以及这扇门真正省下的是什么。
对象状态、在代码里算事实、批量提问、按动作设置信阈值——上面每个阶段默认你已掌握的习惯。
置信门控级联：用 57% 的费用保住 GPT-6 的 99% 准确率——第 5 阶段测量纪律的生产化。
最小的完整 harness：分类、阈值、上报。做一遍，第 1–4 阶段就不再抽象。
这里所有资源都免费。这条路径里唯一要花钱的是你玩转 Playground 之后的托管 Jev key——要不要买、什么时候买，第 2 阶段有那笔算术。
心智：不到审计级就不算数
把 harness 工程和提示词玄学分开的，是你被允许声称什么。
本页源头指南里的每个数字都被审计过，而审计过程本身就是教材。TypeSafe 官网宣传 193x 和 444x 的提升；独立 2000 封邮件实测是 3x 和 12x——依然非常优秀，但生产决策只能建立在后一组数字上。同一次测试还发现：「这是不是钓鱼？」这样一个宽泛问题准确率只有 62.6%（低于 Haiku 4.5 的 81.3%），而五个调过权重的窄信号达到约 95%——拆窄的问题胜过宽问题，而且修法是结构性的，不是换个更好的提示词。
所以第五阶段不是可选的抛光，它才是让前四个阶段成为「工程」的东西。固定任务、固定阈值、你的数据、你的置信门——和我们 benchmarks 栏目复测每条引用声明的方法一致。当你能复测一个厂商数字并写下差值时，你在做 harness 工程；在那之前，你做的是氛围。
常见问题
一句话说清 harness 工程是什么？
给生成式模型造一个带裁决的回路：每次运行前先路由、每次工具调用执行前先门控、按校准过的置信度上报——LLM 负责生成，类型化的封闭决策负责判断。
Harness 工程是不是就是换皮提示词工程？
不是。提示词工程优化模型读到的文字；harness 工程给模型套上回路——路由、工具门、按动作阈值、评测——并把答案形状锁死，让普通代码能直接执行。审计案例说得很具体：宽泛的钓鱼提示词 62.6%，五个窄的类型化信号约 95%——这是 harness 修法，不是措辞修法。
开始之前需要会什么？
TypeScript 或 Python 的基础 Web 开发、REST API、会读 JSON。不需要机器学习背景——这里的每个概念都是你已经会的代码（用 if 语句执行类型化答案）加一个新习惯：先测量再信任。
学会 harness 工程要多久？
第一扇门一个晚上（Playground，然后工单路由配方）；五阶段走完玩具规模要一两周；到生产阈值则取决于你自己的评测要跑多久。没有认证——交付物是一个门控在 diff 里清晰可见的仓库。
学它必须用 Jev 吗？
不必——模式（路由、门控、阈值、测量）与模型无关。Jev 只是我们所知运行封闭问题层最便宜的方式：托管决策 $0.042 / 百万输入 token，每扇门零点几美分、几百毫秒——这正是这样建的守卫能一直开着的原因。
第一个该做什么？
工单路由配方——分类、阈值、上报。它把五个阶段各演了一遍缩影。然后给你自己技术栈里一个破坏性操作套 allow / ask / block 门——在自己代码的 rm -rf 上加门的那一刻，这个模式才真正落地。