ラーニングパス

ハーネスエンジニアリングを学ぶ:2026 年版 AI コーディングエージェントの道

ハーネスエンジニアリングとは何か、そして学ぶための 5 ステージ:型付き質問、実行前ルーティング、ツール呼び出しゲート、信頼度較正、監査級の測定——LangChain のハーネスパターンと当サイトの実測値に基づく学習パス。

TL;DR

ハーネスエンジニアリングとは、生成モデルの周りに「裁定付きループ」を作ることです。LLM は書くことと設計を続け、型付きディシジョンレイヤーが実行ごとのルーティング、ツール呼び出しごとのゲート、信頼度によるエスカレーションを担います。学習パスは 5 ステージ——答えの形を固定する(Choice / Score / Noul)、生成の前にルーティングする、allow / ask / block でツール呼び出しをゲートする、確率を較正してアクション別しきい値を設定する、そして監査人のように測る。最初のゲートは 1 日で作れ、数週間で本番の習慣になります。パターンに名前を付けた LangChain ハーネスは Jev ローンチ 2 日後に登場し、監査結果はパイプライン 15.9% 高速・30.1% 低コストでした。

出典:LangChain「Building a Harness with Jev」(2026-09-17)、監査済みエージェントハーネスガイドの記録による。TypeSafe 主張値の独立 2,000 通メールテスト、Laya の較正実践。ハーネスエンジニアリングの認定資格は存在しません——資格を売る人は自分の答案を採点しているだけです。

ハーネスエンジニアリングとは?

モデルの周りの足場——もっと上手な話し方ではありません。

AI エージェントループには 2 種類の仕事があります。生成——コードを書き、計画を立て、設計する——は LLM の本業で、誰も奪うべきではありません。判断——1 回の実行に必要な何百もの小さな yes/no や N 択——は、生成モデルにやらせると高くつきます。チェックのたびに推論の段落と数秒のレイテンシ、そして誰も較正していない自己採点の信頼度がかかるからです。

ハーネスエンジニアリングは、この 2 種類の仕事をきれいに分ける学問です。ハーネスとはモデルを包むすべて:実行開始前に small か flagship かを選ぶルーター、実行前にすべてのツール呼び出しを検査するゲート、auto / ask / block を決める較正済みしきい値、そして全体を正直に保つ評価。名前の由来は LangChain の「Building a Harness with Jev」(2026 年 9 月 17 日)で、散文ではなく型付き回答を返す System One ディシジョンモデルの Jev が LLM の隣に座り、パイプラインの閉じた質問に答えます。

経済性は測定済みです:DSPy パイプラインの yes/no と N 択ステップだけをオフロードしただけで、15.9% 高速化(チケットあたり 1.958s vs 2.329s)、30.1% 低コスト($0.000377 → $0.000263)になりました。1 回数セント未満のガードは有効のままでいられ、数秒かかるガードはいずれ切られます——Sydney Runkle が auto モードを再び有効にしたのは、チェックがほぼ無料になったときでした。

5 ステージのラーニングパス

各ステージには 1 晩で作れる成果物があります。順番に——各ステージは前のステージを前提とします。

01

プロンプトでなく型から

プロンプトエンジニアリングはモデルが読む言葉を最適化します。ハーネスは返ってくる形を固定します。最初のスキルは、コードがそのまま実行できる閉じた質問をすること:N 択(Choice)、0〜100 の採点(Score)、生成テキストを一切含まない検証済み判断(Noul)。答えの空間が閉じていれば、普通の if 文がそれを信頼できます。

Build → Playground を開き、Choice 質問で 3 つのテキストを分類し、確率と信頼度のフィールドが JSON として返る様子を見ます。散文の解析は一切ありません。

02

生成の前にルーティングする

LangChain ハーネスのジョブ 1:エージェントの開始前に、安価な分類器がリクエストを読み、小型モデルかフラッグシップかを決めます。「誤字を直して」にフラッグシップの価格を払うべきではありません。スキルは線の引き方——そしてその測定です。ルーター自体も間違えうるディシジョンなのですから。

Build → 自分のプロダクトの実際のリクエスト 10 件を取り、small/flagship をラベリングしてルーター質問を作ります。そして測定:監査済みの DSPy パイプラインは、まさにこの種の閉じた質問をオフロードすることで、チケットあたり 15.9% のレイテンシ削減と 30.1% のコスト削減を達成しました。

03

すべてのツール呼び出しにゲートを

ジョブ 2:auto モードでは、ミドルウェアがエージェントの試みるすべてのツール呼び出しを検査し、実行前に閉じた判定を返します——allow、ask a human、block。古典的な例は rm -rf:コードのどのルールも日常のクリーンアップと惨事を区別できず、チャットモデルに尋ねれば自己採点の文章にお金を払うことになります。1 回数セント未満・数百ミリ秒のゲートは有効のままでいられます。数秒かかるガードはいずれ無効化されます。

Build → 自分のスタックの破壊的な操作 1 つを 3 択ゲートで包みます。選択肢を固定し、信頼度しきい値を設定し、各判定のコード上の挙動を決める——モデルが自由文に触れることはありません。

04

較正してから信頼度でゲートする

確率は、それが言う通りの意味を持つときだけ有用です。較正はそのギャップを測ります(Laya のチュートリアルは ECE 0.081 に較正)。本番パターンはアクションごとのしきい値:0.85 以上は自動実行、中間は人に確認、下限未満はブロック。1 つの数字で 3 つの挙動——それが一行で書いたハーネスエンジニアリングです。

Build → ステージ 3 の出力を 50 件集め、「94% の確信」が実際にどの程度正しかったかを確認し、最初のアクション別しきい値表を作ります。

05

監査人のように測る

最後のスキルは不信です。TypeSafe のホームページは 193x / 444x を宣伝しました。独立した 2,000 通のメールテストで測れたのは 3x / 12x——それでも優秀ですが、土台にすべきは後者です。同じ監査で、「これはフィッシングか?」という広い質問は 62.6% にとどまり、調整済みの 5 つの狭いシグナルは約 95% に達しました。狭い方が広いに勝ち、測定が主張に勝る。毎回です。

Build → 固定タスク・固定しきい値で、ベンダーのベンチマーク主張を 1 つ自分のデータで再実行します——手法は benchmarks セクションが公開している通り——そして差を記録してください。

リソース(読む順)

50 ではなく 5 本——パターンの命名、分解、そして前提となる習慣。

01
LangChain —「Building a Harness with Jev」(2026-09-17)

パターンに名前を付けた記事:Jev ローンチ 2 日後の Sydney Runkle と Hunter Lovell によるハーネス設計。2 ジョブの枠組みはここから。

02
Jev エージェントハーネスガイド(動画ウォークスルー)

LangChain ハーネスを分解したウォークスルー。監査済みの数字付き:15.9% 高速、30.1% 低コスト、そしてゲートが実際に節約するもの。

03
Jev のコツ:8 つのベストプラクティス

オブジェクト状態、コード内でのファクト計算、質問のバッチ化、アクション別の信頼度しきい値——上の各ステージが前提とする習慣です。

04
LLM ジャッジとしての Jev

信頼度ゲート付きカスケード:GPT-6 の精度 99% を費用 57% で維持——ステージ 5 の測定規律の本番形です。

05
サポートチケットルーティングレシピ

最小の完全ハーネス:分類、しきい値、エスカレーション。一度作ればステージ 1〜4 は抽象ではなくなります。

ここにあるものはすべて無料です。このパスで有料なのは、Playground を卒業したときのホスト型 Jev キーだけ——いつ卒業するかの算術はステージ 2 にあります。

マインドセット:監査級でなければカウントしない

ハーネスエンジニアリングをプロンプトの民間伝承から分けるのは、何を主張できるかです。

このページのソースガイドの数字はすべて監査済みで、その監査こそが教材です。TypeSafe のホームページは 193x / 444x を宣伝しました。独立した 2,000 通メールテストで測れたのは 3x / 12x——それでも本当に優秀ですが、本番の判断の土台にすべきは後者です。同じテストで、「これはフィッシングか?」という 1 つの広い質問は 62.6%(Haiku 4.5 の 81.3% を下回る)にとどまり、調整済みの 5 つの狭いシグナルは約 95% に達しました——狭く分解された質問が広い質問に勝ち、修正は構造的であって、より良いプロンプトではなかった。

だから第 5 ステージは任意の磨きではなく、他の 4 ステージを「エンジニアリング」にするものです。固定タスク、固定しきい値、自分のデータ、自分の信頼度ゲート——私たちが繰り返す主張すべてに benchmarks セクションで公開しているのと同じ手法です。ベンダーの数字を再実行して差を書き下せるようになったら、それがハーネスエンジニアリングです。その前は、バイブスです。

Jev ベンチマーク

よくある質問

ハーネスエンジニアリングを一文で言うと?

生成モデルの周りに裁定付きループを作ること:実行の前にルーティングし、ツール呼び出しを実行前にゲートし、較正された信頼度でエスカレーションする——LLM は生成を続け、型付きの固定されたディシジョンが判断を担います。

ハーネスエンジニアリングはプロンプトエンジニアリングの言い換えですか?

いいえ。プロンプトエンジニアリングはモデルが読む言葉を最適化します。ハーネスエンジニアリングはモデルの周りにループを巻きます——ルーティング、ツールゲート、アクション別しきい値、評価——答えの形を固定して普通のコードが実行できるようにする。監査事例が違いを具体化します:広いフィッシング質問は 62.6%、5 つの狭い型付きシグナルは約 95%——ハーネスの修正であって、言い回しの修正ではありません。

始める前に何が必要ですか?

TypeScript か Python の基礎的な Web 開発、REST API、JSON を読めること。機械学習の背景は不要です——ここの概念はすべて、あなたがすでに知るコード(型付き回答を実行する if 文)に新しい習慣が 1 つ加わっただけです:信頼する前に測る。

ハーネスエンジニアリングを学ぶにはどれくらいかかりますか?

最初のゲートに 1 晩(Playground、次にチケットルーティングのレシピ)、5 ステージをトイ規模で 1〜2 週間、本番のしきい値までの期間は自分の評価次第。認定資格はありません——成果物は、ゲートが diff に見えるリポジトリです。

学ぶのに Jev は必須ですか?

いいえ——パターン(ルート、ゲート、しきい値、測定)はモデル非依存です。Jev は、固定質問レイヤーを実行する最も安い方法として知っているだけです。ホスト型ディシジョンは入力 100 万トークンあたり $0.042、ゲート 1 回あたり数セント未満と数百ミリ秒——だからこそ、こう作られたガードは有効のまま保たれます。

最初に何を作るべきですか?

サポートチケットルーティングのレシピ——分類、しきい値、エスカレーション。5 ステージすべてが縮図で触れられます。その後、自分のスタックの破壊的な操作 1 つを allow / ask / block ゲートで包む——自分のコードの rm -rf にゲートを付けた瞬間、パターンは理論ではなくなります。