Jev vs Clef 比較：Cloudflare の決定モデルを正面から

import requests

JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate"
AUTO_ROUTE_CONFIDENCE = 0.85

QUESTIONS = {
    "routing": {
        "type": "choice",
        "instructions": "Which queue should this ticket go to?",
        "criteria": {
            "billing": "Payment, invoice or refund issue",
            "technical": "Product malfunction or bug",
            "sales": "Buying or upgrade question",
            "abuse": "Safety or abuse report",
        },
    },
    "needs_safety_escalation": {
        "type": "noul",
        "instructions": "Does this ticket require a safety escalation regardless of queue?",
    },
    "urgency": {
        "type": "score",
        "instructions": "Rate how urgent a human reply is, 1 (routine) to 5 (business-stopping)",
    },
}

resp = requests.post(
    JEV_ENDPOINT,
    json={"state": {"ticket": "..."}, "questions": QUESTIONS},
    timeout=5,
)
resp.raise_for_status()
data = resp.json()

route = data["routing"]  # 型付き回答 + 較正済み信頼度、生成なし
if (
    route["confidence"] >= AUTO_ROUTE_CONFIDENCE
    and not data["needs_safety_escalation"]["answer"]
):
    lane = f"auto:{route['answer']}"  # 単一パス、入力トークンのみ課金
else:
    lane = "review"  # 0.60〜0.85 帯またはセーフティフラグ

import json

import requests

# 当サイトの Clef-Flash 装機テストで検証済みのローカル経路：
# bartowski Q4_K_M GGUF、Ollama 0.35、8GB ノート PC、2048 コンテキスト。
# メカニズム注記：この経路は JSON を「生成」します（21〜30 トークン）。
# 公式の joint schema head はロードされておらず（backbone テンソル
# 427 個・schema head 一致ゼロ）、ネイティブ確率は出てきません。
OLLAMA_CHAT = "http://localhost:11434/api/chat"

SCHEMA = {
    "type": "object",
    "properties": {
        "urgent": {"type": "boolean"},
        "team": {"enum": ["billing", "technical", "sales"]},
        "severity": {"enum": ["minor", "major", "critical"]},
    },
    "required": ["urgent", "team", "severity"],
}

resp = requests.post(
    OLLAMA_CHAT,
    json={
        "model": "hf.co/bartowski/Cloudflare_clef-flash-GGUF:Q4_K_M",
        "messages": [{
            "role": "user",
            "content": "Ticket: Checkout has been failing for every "
            "customer for the last hour. Reply with urgent, team, "
            "severity as JSON.",
        }],
        "format": SCHEMA,  # ランタイム層の制約が固定するのは「フォーマット」で、
        "options": {"temperature": 0, "num_ctx": 2048},  # 「正しさ」ではありません
    },
    timeout=60,
)
reply = json.loads(resp.json()["message"]["content"])

# ウォーム リクエストは約 1.4〜2 秒。検証では、同じ障害プロンプトの
# 温度ゼロ再実行が team を technical から billing へひっくり返しました。
# ルーティングの評価はラベル付きセットで行うべきで、成功スクリーン
# ショット 1 枚では不十分です。

const JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate";
const AUTO_ROUTE_CONFIDENCE = 0.85;

const QUESTIONS = {
  routing: {
    type: "choice",
    instructions: "Which queue should this ticket go to?",
    criteria: {
      billing: "Payment, invoice or refund issue",
      technical: "Product malfunction or bug",
      sales: "Buying or upgrade question",
      abuse: "Safety or abuse report",
    },
  },
  needs_safety_escalation: {
    type: "noul",
    instructions:
      "Does this ticket require a safety escalation regardless of queue?",
  },
  urgency: {
    type: "score",
    instructions:
      "Rate how urgent a human reply is, 1 (routine) to 5 (business-stopping)",
  },
} as const;

const resp = await fetch(JEV_ENDPOINT, {
  method: "POST",
  headers: { "Content-Type": "application/json" },
  body: JSON.stringify({ state: { ticket: "..." }, questions: QUESTIONS }),
});
const data = await resp.json();

const lane =
  data.routing.confidence >= AUTO_ROUTE_CONFIDENCE &&
  !data.needs_safety_escalation.answer
    ? `auto:${data.routing.answer}`
    : "review";

// Clef は公式に "fully Jev-API compatible" と自称しています。あなたの
// 呼び出しに対してそれが成立するなら、ベンダー交代はこの定数の変更だけ。
// 留保：これは Cloudflare の自己申告であり、当サイトはエンドポイント
// ごとには検証していません。対象はホスト型モデルで、ローカル量子化経路は
// ネイティブヘッドなしの JSON 生成です。両バックエンドを 1 つのインター
// フェースの背後に置き、信頼度での自動実行の前に約 100 件のラベル付き
// サンプルで切り替えを検証してください。
const JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate";

const DECISION_ENDPOINT =
  process.env.DECISION_BACKEND === "clef"
    ? process.env.CLEF_ENDPOINT! // あなたの Workers AI / セルフホスト Clef エンドポイント
    : JEV_ENDPOINT;

const QUESTIONS = {
  routing: {
    type: "choice",
    instructions: "Which queue should this ticket go to?",
    criteria: {
      billing: "Payment, invoice or refund issue",
      technical: "Product malfunction or bug",
      sales: "Buying or upgrade question",
      abuse: "Safety or abuse report",
    },
  },
} as const;

export async function routeTicket(ticket: string) {
  const resp = await fetch(DECISION_ENDPOINT, {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ state: { ticket }, questions: QUESTIONS }),
  });
  if (!resp.ok) throw new Error("decision call failed");
  const data = await resp.json();

  // 信頼度のセマンティクスはバックエンドごとに異なり得ます。自動実行の
  // ゲートは「数字が存在すること」ではなく「ベンダーごとに検証された
  // 較正」の上に置いてください。
  return data.routing as { answer: string; confidence: number };
}