Jev で棄答を実装：正解が「わからない」のとき

import os

import requests

resp = requests.post(
    "https://api.openai.com/v1/chat/completions",
    headers={"Authorization": f"Bearer {os.environ['OPENAI_API_KEY']}"},
    json={
        "model": "gpt-4o-mini",
        "messages": [{
            "role": "user",
            "content": (
                "注文 #9012 はいつ出荷されますか？以下のデータのみ使用してください。"
                "データに答えがない場合は、一字一句違わず I DON'T KNOW と返してください\n"
                "データ：{'lines': [...], 'channel': 'web'}"
            ),
        }],
    },
    timeout=30,
)
text = resp.json()["choices"][0]["message"]["content"]

if "I DON'T KNOW" in text:
    ...

# 見えない失敗：言い方を「遅くともいつまでに」に変えたり、口調を柔らかくしたり、
# データを長く貼ったりすると、同じ state が「10 月 14 日に出荷」と返してきます——
# 流暢で、反証不可能で、根拠のある答えと区別がつきません。ゲートしていたのは散文で、
# 散文にはしきい値がありません。

import requests

JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate"
ANSWERABILITY_GATE = 0.60  # is_answerable がこれ未満 -> 棄答
AUTO_CONFIDENCE = 0.85     # 回答の信頼度がこれ未満 -> レビュー

QUESTIONS = {
    "answer": {
        "type": "choice",
        "instructions": "state に含まれる情報だけを使って答える",
        "criteria": {
            "billing": "支払い・請求・返金",
            "technical": "製品の不具合",
            "sales": "購入・アップグレードの相談",
        },
    },
    "is_answerable": {
        "type": "noul",
        "instructions": "state は、ちょうど 1 つの選択肢を選ぶのに十分な情報を含んでいますか——追加データではなく、推測でもなく？",
    },
    "missing_information": {
        "type": "choice",
        "instructions": "is_answerable が no の場合：欠けているのはどの 1 つですか？",
        "criteria": {
            "none": "state は十分",
            "a_date": "日付または期限",
            "an_amount": "金額または残高",
            "an_identity": "人物またはアカウントの特定",
            "a_policy_rule": "適用されるポリシーまたはバージョン",
            "external_state": "別システムのライブデータ",
        },
    },
}

def decide_or_abstain(state: dict) -> dict:
    resp = requests.post(
        JEV_ENDPOINT,
        json={"state": state, "questions": QUESTIONS},
        timeout=5,
    )
    resp.raise_for_status()
    data = resp.json()

    knows = data["is_answerable"]
    if not knows["answer"] or knows["confidence"] < ANSWERABILITY_GATE:
        # 型付き棄答：ワークフローは欠落キーでルーティングし、
        # このオブジェクトは記録・集計・リプレイ可能です。
        return {
            "abstained": True,
            "missing": data["missing_information"]["answer"],
            "is_answerable": knows["confidence"],
        }

    answer = data["answer"]
    lane = "auto" if answer["confidence"] >= AUTO_CONFIDENCE else "review"
    return {
        "abstained": False,
        "answer": answer["answer"],
        "confidence": answer["confidence"],
        "lane": lane,
    }

import OpenAI from "openai";

const openai = new OpenAI();

export async function whenDoesItShip(orderData: object) {
  const resp = await openai.chat.completions.create({
    model: "gpt-4o-mini",
    messages: [
      {
        role: "user",
        content: `この注文はいつ出荷されますか？以下のデータのみ使用。データに答えがない場合は、一字一句違わず I DON'T KNOW と返してください\nデータ：${JSON.stringify(orderData)}`,
      },
    ],
  });
  const text = resp.choices[0].message.content ?? "";

  // ゲートしているのは散文です。質問の言い換え、柔らかい口調、長いデータ貼り付けで
  // 拒否挙動は変わります——そしてこの戻り値の型には、根拠のある日付と
  // 自信のある推測を区別するものが何もありません。
  return { text, refused: text.includes("I DON'T KNOW") };
}

const JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate";
const ANSWERABILITY_GATE = 0.6; // is_answerable が未満 -> 棄答
const AUTO_CONFIDENCE = 0.85; // 回答の信頼度が未満 -> レビュー

const QUESTIONS = {
  answer: {
    type: "choice",
    instructions: "state に含まれる情報だけを使って答える",
    criteria: {
      billing: "支払い・請求・返金",
      technical: "製品の不具合",
      sales: "購入・アップグレードの相談",
    },
  },
  is_answerable: {
    type: "noul",
    instructions: "state は、ちょうど 1 つの選択肢を選ぶのに十分な情報を含んでいますか——追加データではなく、推測でもなく？",
  },
  missing_information: {
    type: "choice",
    instructions: "is_answerable が no の場合：欠けているのはどの 1 つですか？",
    criteria: {
      none: "state は十分",
      a_date: "日付または期限",
      an_amount: "金額または残高",
      an_identity: "人物またはアカウントの特定",
      a_policy_rule: "適用されるポリシーまたはバージョン",
      external_state: "別システムのライブデータ",
    },
  },
} as const;

export type Outcome =
  | { abstained: true; missing: string; is_answerable: number }
  | {
      abstained: false;
      answer: string;
      confidence: number;
      lane: "auto" | "review";
    };

export async function decideOrAbstain(state: object): Promise<Outcome> {
  const resp = await fetch(JEV_ENDPOINT, {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ state, questions: QUESTIONS }),
  });
  if (!resp.ok) throw new Error("Jev evaluate failed");
  const data = await resp.json();

  const knows = data.is_answerable as { answer: boolean; confidence: number };
  if (!knows.answer || knows.confidence < ANSWERABILITY_GATE) {
    return {
      abstained: true,
      missing: (data.missing_information as { answer: string }).answer,
      is_answerable: knows.confidence,
    };
  }

  const answer = data.answer as { answer: string; confidence: number };
  return {
    abstained: false,
    answer: answer.answer,
    confidence: answer.confidence,
    lane: answer.confidence >= AUTO_CONFIDENCE ? "auto" : "review",
  };
}
// 1 回の呼び出し、3 つの型付き読み取り。棄答ブランチは欠落キーを持ち運ぶので、
// ワークフローはまさにその情報を収集しに行けます。