Jev で検知する AI slop：型付き品質ゲートの構築

const JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate";

// ポリシーはアプリケーションコードに置く。モデルは事実を報告するだけ。
const AUTO_BLOCK_CONFIDENCE = 0.85; // 0.85 以上 → 隔離
const FLAG_MIN_CONFIDENCE = 0.6; // 0.60〜0.85 → フラグ、未満 → 人手

const QUESTIONS = {
  is_slop: {
    type: "noul",
    instructions:
      "このテキストは AI slop（テンプレート文の繰り返し、書式の乱用、事実密度の低い量産型フィラー）に読めますか？",
  },
  quality: {
    type: "score",
    instructions: "このテキストの編集品質を評価する",
    criteria: {
      "1": "純粋な slop：テンプレート句とフィラーのみ、独自の情報なし",
      "2": "フィラー主体：繰り返しが多く、出典が曖昧、具体的な事実が少ない",
      "3": "混合：読めるが平凡、出典が薄い",
      "4": "良好：具体的で出典があり、人間が書いたように読める",
      "5": "優秀：独自の洞察、高い事実密度、明確な声",
    },
  },
} as const;

export type SlopLane =
  | "auto_quarantine"
  | "flag_review"
  | "human_review"
  | "publish";

export async function checkSlop(
  text: string,
  metadata: Record<string, unknown>,
) {
  const response = await fetch(JEV_ENDPOINT, {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({
      state: { text, ...metadata },
      questions: QUESTIONS,
    }),
  });
  if (!response.ok) throw new Error("Jev evaluate failed");
  const data = await response.json();

  const { is_slop, quality } = data;
  const lane: SlopLane = !is_slop.answer
    ? "publish"
    : is_slop.confidence >= AUTO_BLOCK_CONFIDENCE
      ? "auto_quarantine"
      : is_slop.confidence >= FLAG_MIN_CONFIDENCE
        ? "flag_review"
        : "human_review";

  return {
    lane,
    is_slop: is_slop.answer,
    slop_confidence: is_slop.confidence,
    quality: quality.answer,
    quality_confidence: quality.confidence,
  };
}

// 典型パス：1 テキストあたり約 100〜500ms、入力トークンのみ課金、スキーマエラー 0%

import requests

JEV_ENDPOINT = "https://api.typesafe.ai/v1/jev/evaluate"
AUTO_BLOCK_CONFIDENCE = 0.85  # 0.85 以上 → 隔離
FLAG_MIN_CONFIDENCE = 0.60    # 0.60〜0.85 → フラグ、未満 → 人手レビュー

QUESTIONS = {
    "is_slop": {
        "type": "noul",
        "instructions": "このテキストは AI slop（テンプレート文の繰り返し、書式の乱用、事実密度の低い量産型フィラー）に読めますか？",
    },
    "quality": {
        "type": "score",
        "instructions": "このテキストの編集品質を評価する",
        "criteria": {
            "1": "純粋な slop：テンプレート句とフィラーのみ、独自の情報なし",
            "2": "フィラー主体：繰り返しが多く、出典が曖昧、具体的な事実が少ない",
            "3": "混合：読めるが平凡、出典が薄い",
            "4": "良好：具体的で出典があり、人間が書いたように読める",
            "5": "優秀：独自の洞察、高い事実密度、明確な声",
        },
    },
}

def check_slop(text: str, source: str) -> dict:
    resp = requests.post(
        JEV_ENDPOINT,
        json={"state": {"text": text, "source": source}, "questions": QUESTIONS},
        timeout=5,
    )
    resp.raise_for_status()
    result = resp.json()
    slop, quality = result["is_slop"], result["quality"]

    if not slop["answer"]:
        lane = "publish"
    elif slop["confidence"] >= AUTO_BLOCK_CONFIDENCE:
        lane = "auto_quarantine"
    elif slop["confidence"] >= FLAG_MIN_CONFIDENCE:
        lane = "flag_review"
    else:
        lane = "human_review"

    return {
        "source": source,
        "lane": lane,
        "slop_confidence": slop["confidence"],
        "quality": quality["answer"],
    }

def scan_backlog(pages: list[dict]) -> dict:
    # 1 ページ約 100〜500ms：1 万ページの CMS 監査はシングルスレッドで
    # 約 1 時間、入力のみの課金で数セントで済みます。
    lanes: dict[str, int] = {}
    for page in pages:
        verdict = check_slop(page["text"], page["url"])
        lanes[verdict["lane"]] = lanes.get(verdict["lane"], 0) + 1
    return lanes