Benchmark / 評価と科学的手法
Jev ベンチマーク：スコアの前に、方法と証拠を見る
実態のない総合ベンチマーク競争から脱却。本番エンジニアリング現場における意思決定精度、テールレイテンシ、千回あたりコスト、信頼度較正曲線を重視した再現可能な評価仕様を提供。
クイックガイド：Jev の評価方法論とは？
Jev の評価哲学は「スコアの前に手法、宣伝よりも証拠」です。実世界から乖離した汎用モデルのハイスコアを追うのではなく、特定業務の意思決定に焦点を当てます：クラス不均衡を考慮した Macro F1、P95 応答時間、意思決定ごとのトークン費用、期待較正誤差（ECE）の 4 軸で総合評価し、完全なテストセットと誤判定サンプルを公開します。
Task Fixtures
Three Standardized Task Fixtures
Jev Support Ticket Routing Benchmark
A transparent fixture measuring categorical routing accuracy, tail latency, cost per 1k decisions, and human fallback trade-offs on labeled customer queries.
Jev Spam Detection & Moderation Benchmark
A task-level evaluation isolating false positives, stealth marketing evasion, inference latency, and quarantine queue trade-offs.
Jev Prompt Injection & Safety Defense Benchmark
An adversarial benchmark evaluating defense against instruction overrides, tool hijack attempts, context poisoning, and benign instruction preservation.
コミュニティ ランキング / 第三者エビデンス
コミュニティ・サードパーティ製 Jev ベンチマーク
「Jev benchmark」でたどり着くスコアボードは一つではありません。このページ上部にある当サイトの fixture 3 種とは別に、判断モデルを測るコミュニティ・第三者評価の生態系が存在します。方法もバージョンも首位もそれぞれ異なります。ここでは当サイトが引用したことのあるすべてのランキングについて、実際に何を測っているか、誰が運営しているか、運営者自身が明示している注意点まで整理します。
| ベンチマーク | 運営 | 方式とバージョン | 主要スコア | 公式スコアとの関係 |
|---|---|---|---|---|
| ImageJevBench v0.1.3 | 画像入力型判断モデルのコミュニティ ランキング | 画像から意思決定するシステムの held-out 比較：採点項目 684（公開 228 ＋ 封印 456、ほかに 93 項目は採点されずに引退）、ランクイン 49 システム。Cost か Calibration のどちらかがゲートを下回れば 0 点。 | Imajev-4B 76.39 · Jev-Omni 73.10 · NeoHorse Jev 4B 71.94 · Visual-Jev 4B 69.81 · JPT-4B 69.55 | 画像入力の軸です——収録時点でホスト型 Jev は不参加。カード自体が、新規封印 333 項目は合成画像でありフロンティア API モデルに有利だと明示しています。 |
| JevBench v1.4.2（独立カウンターレジャー） | 独立運営・MIT ライセンス | 93 システムの 4 軸合成スコア。別途 fresh-sealed 分割を併設。ランキングは複数バージョンをリリースしており、同じシステムのスコアが移動します——代替品ハブのバージョンドリフト警告がここでも当てはまります。 | decider-4b v2 #1 · Jev 1.13.0 #2（63.29）· JevK5 #3（62.04）· GLiNER2.5-multi 63.1 · GLiNER2.5-small 62.1 | ベンチマークが違えば勝者も変わります。Fastino 自社ランキングでは GLiNER2.5-Decide が首位、この独立ランキングでは decider-4b v2。fresh-sealed 分割では Jev 37%・JevK5 33%——評価者自身が「例外的に難しい」と述べたセットです。 |
| Jev Decision Index（コミュニティ） | multimodalart（Hugging Face コミュニティ） | オープン再現 70 系統、モデルあたり 12 万回の意思決定を 43 ベンチマークで実施。suite v0.2.1、2026-09-28 更新。 | Jev 57.9 #1（ホスト型・中央値 524ms）対 pplx-decider-v1 56.4 #4（101ms）。Perplexity の v1.1 カードは 61.56 を報告——首位は交代済み | 順位は月単位で動き、v1.1 の数値はベンダー報告値。スナップショットではなく現行カードを引用すること——当ページのスナップショットも例外ではありません。 |
| Liquid Decision Index v0.2.1 | Liquid AI（ベンダー） | d1 ファミリー向けのベンダー自社ランキング。public split・ベンダー報告値。 | d1-3B 48.57——10B 未満で初めて、約 35B クラスに匹敵。d1-omni-600M 15.95。7 タスクのテキスト平均 82.9（d1-3B） | ファミリー内比較用のランキングであり、ベンダー横断のランキングではありません。独立の再計測では、ファンレス ノート PC のレイテンシはベンダー値の約 3 倍でした。 |
| fast-decisions（Fastino） | Fastino（ベンダー） | 公開サブセット 17 × held-out 300 例 = 5,100 ケース、すべて英語・完全一致採点。画面脚注には「Fastino's internal benchmark」と明記。 | GLiNER2.5-Decide 60.2 · Decide-1B 59.6 · JevK5 57.6 · GLiNER2.5-multi 56.7 · Laya 46.6 | Fastino が測ったのは JevK5（Apache-2.0 のオープン再現）で、TypeSafe のホスト型 Jev ではありません。さらに GLiNER は JevBench で計測されたことがなく、両者の第三者による直接比較は存在しません。 |
| benchmarkheaven.com | サードパーティのライブ リーダーボード | リアルタイム・未監査のスナップショット。capability と composite のスコアは見るたびに変動します。 | Jev 1.13.0 capability 64.7 / composite 63.3。Laya #41（49.9 / 30.3、約 $0.0029/1,000 回）——当サイト Ollaya ガイドの収録値 | 気象であって気候ではありません。全体像の把握には有用ですが、認証済みベンチマークとして引用してはいけません——数値はドリフトします。 |
| vals.ai 独立評価 | vals.ai（サードパーティ・プレレジスト） | 12 系統のプレレジスト評価（2026-10-06）：SEC 提出書類由来の人手監査済み claim-verification 項目 400 件と、LegalBench スライス。 | Jev の claim verification 0.975——GPT-6 クラスと統計的に同水準、コストは Astra の約 1/498、ECE 0.011 は 12 系統中最高。ただし LegalBench 0.730 は 12 系統中最下位、contract-NLI の一部サブタスクは 0.485 まで落下 | 批判ラインで初めて引用可能になった第三者データ。最良の結果と最悪の結果を並べて発表しています。結論はタスク相対であり、モデルの定数ではありません。 |
| Jevman（Opper AI） | Opper AI・GitHub で AGPL-3.0 | クラシックなスクリプト ゴーストと対戦するリアルタイム パックマンを 100 試合。各分岐点でモデルが方向ごとの確率を返し、2 秒超の回答はログ付きバックアップルールに置き換え。順位は 95% 信頼幅付き平均スコアで、全試合が正確にリプレイ可能。 | 具体的なスコアはここでは引用しません——ランキングはライブで変動し、スナップショットを検証していないためです。信頼幅が重なるモデルは同点扱い。 | 行動系ベンチマーク：静的なラベル付きデータではなく、動的なゲーム状態における意思決定の質を測ります。精度系ランキングの補完であって、代替ではありません。 |
どのランキングを読む前にも、三つのルール
ベンダー製ランキング ≠ 独立系ランキング
Liquid の Decision Index も Fastino の fast-decisions も自社ランキングです。ファミリー内では有用ですが、中立的なベンダー横断ランキングには決してなりません。vals.ai は今の反例——プレレジストで、Jev の最悪の結果も込みで発表しています。
ベンチマークが違えば勝者も変わる
Fastino のランキングでは GLiNER2.5-Decide、独立 JevBench では decider-4b v2、Decision Index では pplx-decider v1.1 が Jev を逆転、ImageJevBench では個人開発者のモデルが首位。「誰が勝つか」はどのランキングを開くかで決まります——このページの fixture も例外ではありません。
ランキングはドリフトする——バージョンと小規模サンプル
JevBench は複数のバージョンをリリースし、同じシステムのスコアが移動します。Decision Index は毎月更新、benchmarkheaven は継続再計算、ImageJevBench の封印セットは一部が合成画像。ランキング間の比較は同一バージョン内でのみ行い、小規模サンプルの結果は方向性として読み、結論としては読まないこと。
「収録値」と付した数値は、対応するウォークスルー ページでフレーム単位で書き起こしたものです。ランキングのスコアは時間とともに変動するため、掲載の Jev ベンチマーク結果はすべてスナップショットです。引用前にライブ版をご確認ください。本セクションの最終確認：2026-10-23。
これらの数値の出典
画像判断モデルガイド
ImageJevBench v0.1.3 のフレーム単位書き起こしに加え、Imajev-4B と Jev-Omni が OCR なしで未署名 W-8BEN を審査する実践。
GLiNER2.5-Decide 対 Jev
Fastino のランキングと JevBench 独立ランキングを並べて読む——「ベンチマークが違えば勝者も変わる」の事例ページ。
Liquid d1 ローカル実測
Decision Index v0.2.1 の数値と、ファンレス ノート PC での再計測の対比。
PPLX Decider ウォークスルー
Jev Decision Index のホバーカード、85.71% 対 84.51% のベンダー ランキング、そして v1.1 での首位交代。
判断モデルの較正
ECE が実際に何を測るか、そして vals.ai の 12 系統中最高と 12 系統中最悪という二つの較正結果を同じワークフローに収める方法。
Ollaya ガイド
benchmarkheaven を注意点ごと引用し、HN の懐疑セクションを正面から扱い、すべてのレイテンシ数値にベンダー報告値のラベルを付けたページ。
Metrics Matrix
4 つのコア評価軸
AI 意思決定モデルが本番システムで安定稼働可能かを判断するための必須指標：
Macro F1 宏平均
各候補分類の適合率（Precision）と再現率（Recall）を独立計算し算術平均。高頻度カテゴリによる希少・重要ケース（高額クレーム等）の埋没を防止。
P95 テールレイテンシ
並行負荷環境下での 95 パーセンタイル応答時間を計測。オンラインゲートウェイやリアルタイム遮断に必要なサブ秒（< 400ms）の安定稼働を検証。
意思決定単位コスト
1,000 回の判定で実際に消費される入出力トークンおよび請求金額を算出。大規模自動化の投資対効果（ROI）を担保。
信頼度較正誤差 (ECE)
モデルが出力する確信度確率と実際の正解率の一致度を検証。信頼度 0.90 の判定が真に 90% の確率で正解である統計的整合性を評価。
社内ベンチマーク構築の 4 ステップ
自社の業務 Schema を本番投入する前に、次の 4 段階で評価の基準を固めます：
ゴールド評価セットの作成
実際の過去問い合わせから 200〜500 件を抽出し、熟練担当者が複数回に分けてラベル付けします。境界事例と紛らわしい事例には、迷いのない正解を用意してください。
Schema と Criteria のバージョン固定
評価の前に instructions・選択肢数・判定基準（Criteria）を確定し、Git で管理します。テスト中に文言を変えると再現性が失われます。
推論結果と確率分布の全量記録
呼び出しごとに provider、model ID、入力 state、出力 choice、各選択肢の確率、レイテンシ、実消費トークンを保存します。
閾値カーブと混同行列の作成
信頼度の閾値を 0.70〜0.95 の範囲で動かし、「自動処理率」と「処理精度」のトレードオフ曲線を描いて、最適な運用点を決めます。
ベンチマークに関するよくある質問（FAQ）
なぜ総合的なベンチマーク（MMLU 等）ではなく特定タスクを評価するのですか？
ソフトウェアの業務ロジックでは「幅広いトリビア知識」ではなく、「チケットの正確な振り分け」や「悪意ある入力の遮断」といった具体的タスクの精度が求められます。汎用スコアは特定ドメインの生産運用性とは相関しないためです。
公開されている実験結果をローカル環境で再現できますか？
はい、各ベンチマーク詳細ページに Python / TypeScript による完全な再現スクリプトとデータセットダウンロードリンクを用意しています。
Jev の P95 レイテンシが汎用 LLM より大幅に低いのはなぜですか？
逐次トークン生成（数十〜数百回の自己回帰デコードステップ）を行わず、単一フォワードパスで離散ラベルの Softmax を算出する System 1 アーキテクチャを採用しているためです。
どの Jev ベンチマークを信頼すべきですか？
どれも鵜呑みにしないこと——信頼は「課題とランキングの一致」から生まれます。具体的な業務の意思決定には、公開ランキングよりも自分のラベル付きサンプル約 100 件の実測が勝ります（上の fixture がその手順の見本です）。大まかな参考としては：vals.ai はプレレジストかつ独立、Jev Decision Index と ImageJevBench は方法論を公開しているコミュニティ運営、ベンダー製ランキング（Liquid・Fastino）は自社ファミリーを最もよく記述します。ここに挙げた全てのランキングが注意点を自ら公開しています——まずそれを読んでください。
Jev ベンチマークによって首位が異なるのはなぜですか？
異なるデータで異なるものを測っているからです。Fastino の完全一致ルーティング サブセットは自社エンコーダに有利で、JevBench の 4 軸合成は現在 decider-4b v2 が首位、Decision Index は 43 ベンチマークにわたるオープン再現を重み付け、ImageJevBench は画像入力（ホスト型 Jev は不参加）を測ります。誠実な読み方はこのページの読み方です：ランキングとバージョンと注意点をセットで引用し、首位が入れ替わることまで織り込んでおく。