LLM-as-judgeでAI出力の精度を90%→98%に上げる実践パターン｜Claude Code活用

生成モデル (Generator)
     ↓ 出力
評価モデル (Judge/LLM-as-judge)
     ↓ スコア + 改善提案
生成モデル (フィードバックを受けて再生成)

JUDGE_PROMPT = """
あなたは技術ブログ記事の品質評価者です。
以下の記事を5つの観点で評価してください。

## 評価する記事
{article}

## 評価基準（各10点満点）
1. **正確性**: 技術的な内容は正確か
   - 10点: すべての記述が正確で検証可能
   - 7点: 大部分が正確だが軽微な誤りあり
   - 4点: 重要な誤りが含まれる
   - 0点: 根本的に誤った情報がある

2. **具体性**: コード例・手順が具体的か
   - 10点: すべての手順にコード例があり動作確認可能
   - 7点: 主要なステップはカバーされている
   - 4点: 抽象的な説明が多い
   - 0点: 概念説明のみで実践できない

3. **網羅性**: 読者が必要な情報がすべてあるか
   - 10点: 前提知識から応用まで網羅されている
   - 7点: 主要な情報はカバーされている
   - 4点: 重要な情報が抜けている
   - 0点: 主題の説明が不十分

4. **読みやすさ**: 構成・文章が読者フレンドリーか
   - 10点: 明確な構成、適切な長さのセクション、ポイントが明快
   - 7点: 概ね読みやすいが改善余地あり
   - 4点: 構成が不明確または冗長
   - 0点: 読解困難

5. **独自性**: 他で読めない情報・視点があるか
   - 10点: 独自の実験結果・比較・ノウハウが含まれる
   - 7点: 一般的だが整理が良い
   - 4点: 既存記事と差別化できていない
   - 0点: 一般的な情報の羅列

## 出力形式（必ずJSONで回答）
{
  "scores": {
    "accuracy": <0-10>,
    "specificity": <0-10>,
    "completeness": <0-10>,
    "readability": <0-10>,
    "uniqueness": <0-10>
  },
  "total": <0-50>,
  "percentage": <0-100>,
  "weakest_point": "<最も改善が必要な観点>",
  "improvement_suggestion": "<具体的な改善提案（200字以内）>"
}
"""

importanthropic
importjson
importre

client = anthropic.Anthropic()

defjudge_article(article: str) -> dict:
   """記事品質をLLM-as-judgeで評価する"""
    response = client.messages.create(
        model="claude-sonnet-4-6",  # 評価はSonnetで高精度に
        max_tokens=1024,
        messages=[{
            "role": "user",
            "content": JUDGE_PROMPT.format(article=article)
        }]
    )

    text = response.content[0].text

    # JSONを抽出（テキストが混入している場合の対処）
    json_match = re.search(r'\{.*\}', text, re.DOTALL)
    if json_match:
        return json.loads(json_match.group())

    raise ValueError(f"JSONが抽出できませんでした:{text}")


defgenerate_article(topic: str, context: str = "") -> str:
   """記事を生成する（低コストモデル）"""
    prompt = f"以下のトピックについてエンジニア向けブログ記事を書いてください。\n\nトピック:{topic}"
    if context:
        prompt += f"\n\n改善のためのフィードバック:\n{context}"

    response = client.messages.create(
        model="claude-haiku-4-5-20251001",  # 生成は安価なHaikuで
        max_tokens=4096,
        messages=[{"role": "user", "content": prompt}]
    )

    return response.content[0].text

defauto_tune_article(topic: str, target_score: int = 85, max_iterations: int = 3):
   """
    目標スコアに達するまで自動的に記事を改善するループ

    Args:
        topic: 記事のトピック
        target_score: 目標スコア（100点満点）
        max_iterations: 最大試行回数
    """
    article = generate_article(topic)

    for i in range(max_iterations):
        print(f"\n=== イテレーション{i+1}/{max_iterations} ===")

        # 評価
        result = judge_article(article)
        score = result["percentage"]
        print(f"スコア:{score}% (目標:{target_score}%)")
        print(f"最弱点:{result['weakest_point']}")
        print(f"改善提案:{result['improvement_suggestion']}")

        # 目標達成チェック
        if score >= target_score:
            print(f"\n目標スコア達成！({score}% >={target_score}%)")
            break

        if i < max_iterations - 1:
            print("\n記事を改善します...")
            # フィードバックを組み込んで再生成
            feedback = (
                f"現在のスコア:{score}%\n"
                f"最も改善が必要な点:{result['weakest_point']}\n"
                f"具体的な改善提案:{result['improvement_suggestion']}"
            )
            article = generate_article(topic, context=feedback)

    return article, result


# 実行例
if __name__ == "__main__":
    topic = "TypeScriptのジェネリクスを使った型安全なAPIクライアントの実装"
    final_article, final_result = auto_tune_article(
        topic=topic,
        target_score=85,
        max_iterations=3
    )

    print(f"\n最終スコア:{final_result['percentage']}%")
    print("\n--- 最終記事 ---")
    print(final_article[:500] + "...")

=== イテレーション 1/3 ===
スコア: 72% (目標: 85%)
最弱点: specificity
改善提案: コード例が抽象的。型引数の実際の使い方とエラーハンドリングの実装例を追加すると良い

記事を改善します...

=== イテレーション 2/3 ===
スコア: 89% (目標: 85%)
最弱点: uniqueness
改善提案: 実用的な内容だが、既存の解説と差別化するためオリジナルのユースケースや比較があると良い

目標スコア達成！(89% >= 85%)

## コンテンツ品質チェック

記事やドキュメントを書いた後は、必ず以下を実行してください：

python scripts/judge_content.py --file <filepath> --target 85

スコアが85%未満の場合は、改善提案に基づいて修正してから投稿する。

# scripts/judge_content.py
importsys
importargparse
frompathlibimport Path

# ... (上記のjudge_article関数を使用)

defmain():
    parser = argparse.ArgumentParser()
    parser.add_argument("--file", required=True)
    parser.add_argument("--target", type=int, default=80)
    args = parser.parse_args()

    content = Path(args.file).read_text(encoding="utf-8")
    result = judge_article(content)

    score = result["percentage"]
    print(f"品質スコア:{score}%")

    if score < args.target:
        print(f"⚠️  目標スコア（{args.target}%）未達成")
        print(f"改善提案:{result['improvement_suggestion']}")
        sys.exit(1)  # Claude Codeのhookでキャッチ可能

    print(f"✓ 品質チェック通過 ({score}%)")
    sys.exit(0)


if __name__ == "__main__":
    main()

ブログ記事1本（2000文字）の評価コスト:
- 入力: ~800トークン（評価プロンプト + 記事）
- 出力: ~300トークン（評価結果JSON）
- Claude Sonnet 4.6: $3/1M input + $15/1M output
- 1回の評価コスト: 約 $0.007（0.7円）

3回ループ（生成2回 + 評価3回）:
- 生成（Haiku）: ~$0.005 × 2 = $0.01
- 評価（Sonnet）: ~$0.007 × 3 = $0.021
- 合計: 約$0.031（3円程度）