アーカイブ / LLM
段階的推論で回答が正しくなっても、誤答は見つけにくくなるのか
Chain-of-Thought Prompting and Hallucination Detection
Chain-of-Thought Prompting and Hallucination Detectionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An example of CoT prompting confusing hallucination detection. When the input When is the Earth closest to the Sun? is provided to the LLM, it generates a hallucinatory response ( during the summer ) without CoT prompting. In this case, the hallucination detection method assigns a high hallucination score. However, after incorporating CoT prompting, where the LLM introduces reasoning steps ( e.g. , Step 1: Earth’s Orbit… ), the LLM still produces the same incorrect response, but the detection method assigns only an average hallucination score.
概要
- 段階的推論の指示は回答を改善しても、誤答検出に使う手掛かりを弱める場合がある。
- 予備実験のLlama-3.1-8B-InstructとARC-Challengeでは、正答率が90.50から97.67に上がり、確率による判別のAUROCは85.98から77.39に下がった。
- 著者らの本実験では、768条件のうち440条件で誤答検出のAUROCが低下した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Chain-of-Thought Prompting and Hallucination Detectionの仕組み
- 01質問・記事
- 02推論指示で回答生成
- 03正解と照合
- 04誤答点数を算出
- 05判別性能を評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルは、もっともらしく見えても事実と違う回答を出すことがある。結論の前に考え方を順に書かせる「段階的推論」の指示は回答を改善し得るが、残った誤答を検出できるかは別の問題である。
業務で回答と誤答検出を組み合わせるなら、正答率だけでなく、誤答を見逃さないかも確かめたい。この研究は、推論の指示が検出に使う手掛かりをどう変えるかを調べた。
手法
著者らは、質問への回答と記事の要約をモデルに行わせ、段階的推論の指示がある場合とない場合を比べた。段階的推論とは、結論の前に途中の考え方を文章で出させる方法である。例えば質問への回答を用意された正解と照合して正誤を決め、その回答に検出法が付けた「誤答らしさ」の点数を調べる。
予備実験では、選択式問題の回答候補にモデルが割り当てる確率を分析した。本実験では、複数回答の一貫性、モデル内部の状態、モデル自身の確信度などを使う検出法を評価した。出力は誤答点数と予測判定であり、その分布、正誤の判別性能、点数の確からしさが指示によってどう変わるかを比較した。
新規性
著者らは、段階的推論を促す指示が回答の正確さと誤答検出の性能に異なる影響を与える点を検証した。予備実験で選択肢の確率を調べ、本実験では回答の一貫性、モデル内部の状態、自己評価などを使う検出法を比べている。
主な報告は、回答が改善する条件でも、誤答を示す点数の分布が変わり、検出性能が下がり得るというものだ。影響は検出法によって異なる。
従来手法との違い
基準は、同じモデルに段階的推論を促さず回答させる条件である。著者らは通常の段階的推論に加え、問題を小さく分ける方式と、短い推論経路を選ぶ方式を比較した。原則として課題別の回答例は指示に含めていない。
本実験では、複数の回答の食い違いを見る検出法は比較的影響を受けにくく、モデルの自己評価を使う検出法は影響を受けやすいと報告する。ただし、傾向はモデルや課題で異なり、すべての条件で検出性能が下がったわけではない。
実験結果
著者らの予備実験は、ARC-Challengeのテスト1,172件、CommonsenseQAの検証1,221件、MMLUのテスト14,042件を使った。Llama-3.1-8B-InstructのARC-Challengeでは、通常の段階的推論で正答率が90.50から97.67へ上がり、回答候補の確率による判別のAUROCは85.98から77.39へ下がった。AUROCは正答と誤答を点数で区別できる度合いである。
本実験ではHaluEval、PopQA、TriviaQA、CNN/Daily Mailを対象とする768条件のうち、440条件で検出のAUROCが低下したと著者らは報告する。TruthfulQAは評価方法が異なるため別扱いである。この件数は、全条件で悪化したことを意味しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への質問に答える仕組みで、段階的推論の指示を加える前後の誤答検出を比べる。入力は社員の質問と参照対象の規程、出力は回答と要確認の判定とし、判定後に担当者が規程本文と照合する。
必要な元データは確認済みの規程文書と、正答および誤答の判定を付けた社内質問である。追加のモデル学習は前提とせず、外部センサーも使わない。社内の言い回しに合わせた質問文と指示文の調整が必要で、効果はこのデータで検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：確認済みの規程本文と社内質問を集め、各質問に正答と誤答判定用の印を付ける。同じモデルに同じ質問を、段階的推論の指示なしとありで入力する。回答を複数回得て食い違いから点数を付ける検出法を選び、回答と点数を保存する。
基準は指示なしの結果とし、正答率、検出のAUROC、誤答の見逃し件数を比べる。追加の学習用データと外部センサーは前提としない。社内の表現に合わせて指示文を調整し、同じ意味の別表現も正しく採点できるか担当者が確認する。
限界と課題
著者らは、計算資源の制約でさらに大規模なモデルを実験できず、結論の一般化には限界があると述べる。また、対象とした検出法の制約により、広く使われる非公開モデルでは評価できていない。
編集上の検証事項は、日本語の社内文書でも同じ傾向が出るか、正答の別表現を適切に扱えるかである。著者らは回答の正誤に文字列の一致と意味の一致を用いており、両者で結果が異なる例も示す。確認できた本文の範囲では、付録に記された全条件の詳細は確認できない。
出典
元のタイトル・要旨を確認する（英語）
Chain-of-Thought Prompting Obscures Hallucination Cues in Large Language Models: An Empirical Evaluation
Large Language Models (LLMs) often exhibit \textit{hallucinations}, generating factually incorrect or semantically irrelevant content in response to prompts. Chain-of-Thought (CoT) prompting can mitigate hallucinations by encouraging step-by-step reasoning, but its impact on hallucination detection remains underexplored. To bridge this gap, we conduct a systematic empirical evaluation. We begin with a pilot experiment, revealing that CoT reasoning significantly affects the LLM's internal states and token probability distributions. Building on this, we evaluate the impact of various CoT prompting methods on mainstream hallucination detection methods across both instruction-tuned and reasoning-oriented LLMs. Specifically, we examine three key dimensions: changes in hallucination score distributions, variations in detection accuracy, and shifts in detection confidence. Our findings show that while CoT prompting helps reduce hallucination frequency, it also tends to obscure critical signals used for detection, impairing the effectiveness of various detection methods. Our study highlights an overlooked trade-off in the use of reasoning. Code is publicly available at: https://github.com/ECNU-Text-Computing/cot-hallu-detect .
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01