アーカイブ / LLM
安全方針に沿った理由と判定を結び付けるConsisGuard
ConsisGuard
ConsisGuardの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Motivating evidence of the deliberation-to-enforcement gap. Samples with lower policy execution consistency S p e c S_{pec} show lower F1 and larger deliberation–enforcement functional coupling discrepancy. Larger group indices indicate lower S p e c S_{pec} .
概要
- 安全方針に沿った理由を学習させ、理由の生成と最終判定に関わる内部表現の関係も調整する。
- 著者らが報告した７Bモデルの５データセット加重平均F1は、依頼文81.58％、回答文81.65％だった。
- 評価は文章の依頼文と回答文が対象。教師モデルによる理由生成と評価器による採点への依存が限界として挙げられている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ConsisGuardの仕組み
- 01方針・文章・正解ラベル
- 02理由を生成・選別
- 03内部表現を調整
- 04理由と安全判定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ConsisGuardは、文章の危険性を判定する際に、説明した理由と最終判定が食い違う問題に取り組む。例えば理由では危険な意図を見つけながら「安全」と判定すると、問題のある内容を通しかねない。
逆に、理由では許容できる内容と説明しながら「危険」と判定すれば、不要な遮断につながる。利用者の依頼文や生成された回答文を扱う場面では、安全方針の適用、理由、結論がつながっているかも重要になる。
手法
学習では、安全方針、文章、正解の判定ラベルを教師モデルに渡して理由を作る。理由が方針を正しく適用し、判定を支えているかを評価器で採点し、基準を満たす例で判定モデルを学習する。例えば危険な依頼文なら、理由の指摘が方針に沿い、「危険」という正解を支えるかを確認する。
続いて因果追跡という、内部の計算箇所が出力にどう関わるかを調べる方法で、理由の生成と判定に関わる注意機構の部分を特定する。その働きを数値にまとめ、一貫性の高い例で見られた関係に近づけるよう追加学習する。運用時は方針と文章を入力し、理由と最終判定を出力する。
新規性
著者らは、安全方針を理由に正しく当てはめ、その理由から最終判定が導けることを「方針実行の一貫性」として扱う。理由と判定の食い違いを、観察できる出力とモデル内部の働きの両方から減らそうとする。
提案法の特徴は、選別した理由付き学習例に加え、理由の生成と判定に関わる内部表現の関係も学習対象にする点にある。
従来手法との違い
入力を直接分類する安全判定モデルは、結論に至る理由を十分には示さない。理由を生成する方式でも、その理由が安全方針に沿い、最終判定を支えているとは限らない。
著者らは分類型や理由生成型の既存モデルと比較し、提案法から学習段階を一つずつ外す実験も行った。同じ量の生成データを使った比較では、理由の選別と内部表現の調整による違いを調べている。
実験結果
著者らは依頼文の危険性判定５データセットと、回答文の危険性判定５データセットで評価した。F1は危険と判定した結果の正確さと危険な例の検出率を合わせて見る指標である。各データセットのF1に加え、標本数で重み付けした平均を報告している。
７Bモデルの５データセット加重平均F1は、依頼文81.58％、回答文81.65％だった。理由生成型のGuardReasoner ８Bは同じ表で80.82％、81.22％だった。段階を外す実験は各側２データセットで行われ、７Bモデルの平均F1は理由付き学習を外すと75.90％、77.85％、内部表現の調整を外すと81.10％、80.78％だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：文章生成サービスで、公開前の回答文を安全方針に照らして確認する。サービスの方針と回答文を入力し、危険性の判定と理由を担当者に提示する。理由が方針をどう適用したかも確認対象にする。
導入には、対象サービスの方針と、回答文に正解の安全判定ラベルを付けた学習例が必要になる。理由の生成・選別方法も方針に合わせて調整する想定である。対象は文章なので追加のセンサーは想定しない。運用上の効果は別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象サービスの安全方針を文章化し、実際の依頼文と回答文に担当者が安全判定ラベルを付ける。方針、文章、正解ラベルから理由を生成して選別し、対象サービスの判定基準に合わせて学習する。追加のセンサーは想定せず、まず文章だけを扱う。
学習に使わない評価用データを確保し、既存の判定方法と同じ文章で比べる。F1に加え、理由は危険と述べるのに安全と判定した件数と、その逆の件数を記録する。担当者が理由の方針への適合も確認し、方針変更時には再評価する。
限界と課題
著者らが挙げる限界は、評価対象が文章の依頼文と回答文に限られること、教師モデルが生成する理由と評価器による採点に依存すること、学習時の因果追跡に追加の分析費用がかかることである。人手での幅広い検証や複数の評価器による較正も今後の課題としている。
編集上の検証事項は、導入先の方針を理由に正しく反映できるか、方針変更後も理由と判定が一致するかである。複数回の対話や画像を含む運用への有効性は、この文章中心の評価からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
ConsisGuard: Aligning Safety Deliberation with Policy Enforcement in LLM Guardrails
Reasoning-based LLM guardrails improve safety moderation by generating explicit rationales before issuing final decisions. However, their rationales do not always lead to faithful enforcement: a model may recognize a harmful intent in its reasoning but still predict a safe label, or issue an unsafe decision without policy-grounded justification. We identify this safety-critical failure mode as the deliberation-to-enforcement gap. Unlike general chain-of-thought faithfulness, guardrail reliability requires policy execution consistency: the generated reasoning should be grounded in the safety policy, and the final decision should be entailed by that reasoning. We propose ConsisGuard, a consistency-aware framework for reasoning-based LLM guardrails. ConsisGuard performs Policy-to-Decision Trajectory Distillation and Functional Coupling Alignment, aligning the internal coupling between safety deliberation and decision enforcement. Experiments on prompt and response harmfulness detection benchmarks show that ConsisGuard improves detection performance while reducing policy execution failures. These results suggest that reliable reasoning-based guardrails require accurate faithful execution of safety policies.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01