アーカイブ / LLM
生成文の疑わしい条件を選んで検証するRLAC
RLAC
RLACの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Comparison of three post-training paradigms on a biography example (“Michael Jackson”). (a) Enumerative verification explicitly extracts and checks every atomic fact before aggregating a scalar reward, which is accurate but expensive. (b) Reward-model methods skip verification and directly predict a scalar reward from a learned judge, which is efficient but prone to reward hacking. In contrast, (c) RLAC trains a learned critic to propose one likely-wrong fact ( rubric ) and verifies it via an external validator. If the fact indeed fails, the critic receives reward 1 and the generator 0; otherwise the generator receives 1 and the critic 0. This dynamic, adversarial feedback yields prompt-specific, verifiable, and scalable supervision for free-form generation tasks.
概要
- RLACは生成結果ごとに批評モデルが疑わしい評価条件を提案し、外部検証の結果で生成モデルを学習させる。批評モデルも更新できる。
- 著者らのQwen3-8Bによる8文伝記生成では、FactScoreはRLACが0.889、FactTune-FSが0.867で、検証器の呼び出しは76,800回と438,949回だった。
- 社内文書への応用には、元記録に基づく個別の正誤判定が必要であり、選ばれなかった誤りも別途点検する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、RLACの仕組み
- 01生成指示
- 02候補生成
- 03疑わしい条件の提案
- 04外部検証
- 05更新済みモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
RLACは、文章やコードの生成結果から失敗しそうな条件を選び、追加学習に使う方法である。伝記文には個々の事実の正確さ、コードには空入力などへの対応といった多くの条件があり、すべてを毎回調べると検証の負担が増える。
出力全体に一つの点数を付ける方法では、どの条件に失敗したかを直接示せない。著者らは、現在の出力に合わせて検証する条件を絞り、その判定から生成モデルを改善する課題に取り組んだ。
手法
生成モデルは一つの指示から複数の候補を作る。批評モデルは指示と各候補を読み、失敗しそうな「評価条件」を自然文で提案する。評価条件とは個別に成否を調べられる要求で、伝記なら生年の記述が正しいか、コードなら空入力を処理できるか、といったものだ。外部検証器が提案条件を候補が満たすか判定する。
条件を満たした候補と満たさなかった候補を対にして、生成モデルの出力傾向を調整する。批評モデルも、実際に失敗を見つけた有効な条件を優先するよう更新できる。著者らの実装はDPOという、好ましい例とそうでない例の対から学習する手法を両モデルに用いる。次の候補では、その生成結果を見て改めて条件を選ぶ。
新規性
RLACの特徴は、生成結果ごとに批評モデルが失敗しそうな評価条件を提案し、その条件だけを外部検証器で調べる点にある。条件をすべて列挙せずに、現在の出力に即した学習信号を得る。
検証結果は生成モデルの更新に使い、批評モデルの更新にも使える。批評モデルの更新は手順上は任意であり、両モデルを更新する場合、批評対象も生成結果の変化に合わせて変わる。
従来手法との違い
FactTune-FSは伝記文の個々の事実を列挙して検証し、ArmoRMは学習済みの報酬モデルが出力全体に一つの点数を付ける。RLACは批評モデルが提案した疑わしい条件を外部検証器に渡す。
著者らのQwen3-8Bによる8文伝記生成では、FactScoreはRLACが0.889、FactTune-FSが0.867、ArmoRMが0.723だった。検証器の呼び出しはRLACが76,800回、FactTune-FSが438,949回で、この差は当該実験条件での結果である。
実験結果
著者らはWikipedia Biography Datasetの170題を学習120題、試験50題に分け、4文と8文の伝記を評価した。主指標のFactScoreは、出力中の事実が正しい割合を測る。正しい事実数、誤った事実数、検証器の呼び出し回数も報告した。
Qwen3-8Bの8文生成では、RLACのFactScoreは0.889、正しい事実数は24.33、誤った事実数は3.03だった。FactTune-FSは順に0.867、25.10、3.84である。コード生成ではHumanEvalやMBPPなどを評価し、著者らは二つの基礎モデルで平均53.2、56.6と報告する。確認できた本文の範囲では結果表が途中で切れており、各ベンチマークの値は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：許可を得た社内の人物紹介文を作る。入力は氏名と確認済みの経歴記録とし、モデルが作った下書きから批評モデルが疑わしい事実を選ぶ。検証器の判定と該当箇所を編集者に返し、公開前に人が確認する。
適応用には紹介文作成の指示、元記録、候補文を用意する。個別の事実について正誤を返せる検証器と、その判定に必要な記録の対応付けが必要である。正誤ラベルは検証器から得る想定で、追加のセンサーは使わない。これは論文で検証された業務効果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許可のある人物紹介の指示、元の経歴記録、候補文を少量そろえる。記録を参照して個別の主張に正誤ラベルを返す検証器を用意し、曖昧な判定は人が点検する。追加のセンサーは使わず、社内の記録と表現に合わせて検証器と批評モデルを調整する。
同じ指示で既存の生成モデル、全事実を検証する方式、RLACを比べる。正しい事実数と誤った事実数、事実の正確さ、検証回数を記録し、編集者が後から見つけた未検出の誤りも数える。少数の指摘だけで品質を判断せず、判定できない事実の割合も確認する。
限界と課題
著者らは、Qwen3-8Bの8文伝記生成で、学習初期にFactScoreが0.653から0.641へ一時的に下がったと報告する。検証結果を無作為な正誤ラベルに置き換えた実験でも、成績は基礎モデルを下回った。
編集上の検証事項：選ばれた条件への合格を、文章全体の正しさと取り違えないこと。社内記録の古さや検証不能な主張への対応も要る。静的な批評モデルとの比較では、表のFactScoreは静的側が0.825、更新する側が0.817だが、正しい事実数は後者が多い。単一指標だけで優劣を断定できない。
出典
元のタイトル・要旨を確認する（英語）
RLAC: Reinforcement Learning with Adversarial Critic for Free-Form Generation Tasks
Open-ended generation tasks require outputs to satisfy diverse and often implicit task-specific evaluation rubrics. The sheer number of relevant rubrics leads to prohibitively high verification costs and incomplete assessments of a response, making reinforcement learning (RL) post-training with rubric-based rewards difficult to scale. This problem is exacerbated by the fact that often the best way to combine these rubrics into one single reward is also highly prompt-specific. We propose Reinforcement Learning with Adversarial Critic (RLAC), a post-training approach that addresses these challenges via dynamic rubric verification. Our approach employs a large language model (LLM) as a critic that dynamically identifies only the most likely failure modes (e.g., a factual error or unhandled edge case), which are then verified by an external validator to optimize both generator and critic jointly. By training both the generator and the critic, this game enhances the critic's error detection and the generator's output quality while reducing required verifications. Our experiments demonstrate that RLAC improves factual accuracy in text generation and correctness in code generation, while also outperforming exhaustive verification and reward model methods. We show that dynamic critics are more effective than fixed critics, showcasing the potential of RLAC for scaling RL post-training to free-form generation tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01