アーカイブ / LLM
正答の途中に混じる根拠のない推論文を減らすFaithRL
FaithRL
FaithRLの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : An overview of the FaithRL framework. The left part illustrates the Implicit Step-Level Rewards with Dynamic Truncated Resampling . The model performs sentence-level faithfulness detection on the CoT generated by the policy model. When a faithfulness hallucination is detected, the reasoning process is truncated, and the faithful CoT sentences preceding it are used as a prefix for resampling. The right part depicts Explicit Step-Level Rewards with PRM . When the final answer is incorrect, the R answer R_{\text{answer}} is uniformly assigned to all tokens in the CoT and final answer. When the answer is correct, step-level rewards are applied to individual CoT sentences, with each sentence-level reward propagated to its tokens. This design enables precise penalization of faithfulness hallucinations while preserving correct and faithful reasoning steps.
概要
- FaithRLは、提示文に対する推論文の忠実さを文単位で判定し、学習時の報酬に反映する。
- 根拠のない文の直前から続きを生成し直し、元の続きとの比較も学習信号に使う。
- 著者らの5つの質問応答データでは、DPSK-1.5Bの平均Faithが元モデルの66.20から81.01、平均Acc.（F1）が44.87から56.81となった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、FaithRLの仕組み
- 01根拠文と質問
- 02推論文の判定
- 03誤文から再生成
- 04文別報酬で学習
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
FaithRLは、提示された文章を読んで答える小型推論モデルで、途中の説明に根拠のない記述が混じる問題を扱う。「忠実さ」は、推論や回答が提示文に支えられているかを指す。
思考連鎖とは、最終回答までの推論を文として出す形式である。回答が正しくても途中の文が提示文に反していれば、回答の正誤だけで与える報酬はその文を見逃す。根拠を追えることが重要な質問応答では、このずれを調べる必要がある。
手法
モデルに根拠となる文章と質問を渡し、推論文と回答を生成させる。FaithRLは推論を文に分け、過程報酬モデルと呼ぶ途中経過の判定器HHEM-2.1で、各文が文章に沿うかを調べる。例えば、提示文にない期限を推論文が述べた場合は、その文を根拠に反する候補として扱う。
根拠に反する文を検出すると、その直前までの文を残して続きを生成し直し、元の続きと比較する。誤答なら誤答への評価を推論文と回答に割り当て、正答なら各推論文の忠実さに文数、長さ、反復の罰則を加えて割り当てる。こうして得た信号でモデルを更新し、推論文と最終回答を出す。
新規性
FaithRLは、最終回答の正誤に加え、途中の推論文が提示された文章に沿うかを文単位で報酬に反映する。正答に至った場合でも、根拠のない文には負の評価を与える設計である。
さらに、根拠のない文の直前までを残して続きを生成し直し、元の続きとの比較から学習信号を得る。著者らは、正しい文を増やして報酬を稼ぐ挙動への対策として、文数、文の長さ、反復に対する罰則も組み込んだ。
従来手法との違い
表3の比較対象は、元のモデル、教師あり学習のSFT、回答の結果で報酬を与えるGRPO、Self-Refine、KD、FSPOである。回答の正誤だけを報酬にするGRPOでは、正答に至る途中に根拠のない文があっても、その文を個別に減点できない。
FaithRLは正答時に推論文ごとの評価を割り当て、誤答時には誤答への評価を推論にも反映する。表3は指定された小型モデルと公開質問応答データでの比較であり、社内文書を用いた場合の優劣までは示していない。
実験結果
著者らはHotpotQAと2WikiMultiHopQAから無作為に選んだ計8,000例で学習し、SQuAD、NewsQA、TriviaQA、NQ、HotpotQAで評価した。Acc.は正解回答との一致を測るF1、Faithは回答が提示文に沿うと別の言語モデルが判定した例の割合である。
表3ではDPSK-1.5Bの5データセット平均がFaithRLでFaith 81.01、Acc. 56.81となり、元モデルの66.20、44.87を上回った。別のNewsQA分析で著者らが報告した同モデルのCoT Faithは6.00で、推論の全ての文に根拠のない記述がない例の割合を表す。この分析で回答のFaithは67.40だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程に関する社員の質問応答で試す。規程の該当箇所と質問を入力し、回答と、その根拠を述べる説明文を出力する。担当者は説明の各文を規程と照合し、根拠が足りない箇所を確認する。
検討には、学習・検証用の規程本文、質問、確認済みの正解回答、説明文の根拠一致を人が判定したラベルが要る。追加のセンサーは使わず、規程の区切り方や質問形式、判定基準を対象業務に合わせて調整する。効果はこの論文の結果からは判断できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内規程の一部について、本文、質問、確認済みの正解回答を学習用と検証用に分けて集める。推論文が本文に支えられるかの確認用ラベルを人手で付け、自動判定と照合する。追加のセンサーは使わず、文書の区切り方と質問形式を対象業務に合わせる。
元の小型モデルを基準に、同じ検証用質問でFaithRL適用後の回答と推論を比べる。正解回答とのF1、回答と推論文それぞれの根拠一致率、根拠のない説明文の件数を測る。判定者が迷う例も記録し、結果が特定の質問形式に偏っていないか確かめる。
限界と課題
著者らは、文ごとの忠実さに報酬を与えると、正しい文を重ねたり長くしたりして報酬を稼ぐ挙動が現れると報告し、文数、文の長さ、反復への罰則を設けた。また、最終回答が正しくても途中に根拠のない文が残る例を示した。
編集上の検証事項は、文単位の自動判定が対象文書でも妥当か、簡潔な説明を促すことで必要な情報まで失われないかである。確認できた本文の範囲では、社内文書への転用成績や、その判定誤りを人手で調べた結果は分からない。
出典
元のタイトル・要旨を確認する（英語）
Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models
As large language models become smaller and more efficient, small reasoning models (SRMs) are crucial for enabling chain-of-thought (CoT) reasoning in resource-constrained settings. However, they are prone to faithfulness hallucinations, especially in intermediate reasoning steps. Existing mitigation methods based on online reinforcement learning rely on outcome-based rewards or coarse-grained CoT evaluation, which can inadvertently reinforce unfaithful reasoning when the final answer is correct. To address these limitations, we propose Faithfulness-Aware Step-Level Reinforcement Learning (FaithRL), introducing step-level supervision via explicit faithfulness rewards from a process reward model, together with an implicit truncated resampling strategy that generates contrastive signals from faithful prefixes, while also mitigating reward hacking from step-level rewards. Experiments across multiple SRMs and Open-Book QA benchmarks demonstrate that FaithRL consistently reduces hallucinations in both the CoT and final answers, leading to more faithful and reliable reasoning. Code is available at https://github.com/Easy195/FaithRL.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01