アーカイブ / LLM / AI Agent
説得力のある誤答をAIはどれほど確信して選ぶか：CW-PORによる測定
CW-POR
CW-PORの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Example of a single-turn multi-agent debate. A factual question is answered by Agent A (Correct) and Agent B (Persuasive). The Judge Model evaluates both responses, reporting a self-rated confidence (4/5) (0.8 after normalization) and a log-likelihood confidence (0.92), which are combined into a final confidence (0.736). The Judge’s override decision (selecting the incorrect Answer B) is then used in computing the Confidence-Weighted Persuasion Override Rate (CW-POR).
概要
- CW-PORは、説得的な誤答を選ぶ頻度を判定役の確信度で重み付けする指標。
- 著者らは五つのLLMで説明の長さを30～300語に変え、90～120語付近で低い値を示す傾向を報告した。
- 実務では誤答率だけでなく、強く確信した誤判定と原文照合後の訂正率を見るとよい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CW-PORの仕組み
- 01正答と誤答の組
- 02両役が説明を作成
- 03順序を変えて判定
- 04選択と確信度を集計
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMが二つの主張から正しい方を選ぶとき、内容の正確さだけでなく、断言の強さや文章量に影響される可能性がある。誤った側を選ぶだけでなく、その選択を強く確信すると、後段の要約や判断にも誤情報が残りやすい。
著者らは、この問題を正答と説得的な誤答が一度ずつ提示される場面に絞った。誤答を選んだ頻度と、その判断への確信を一緒に測ることが目的である。
手法
TruthfulQAは、もっともらしい誤答を含む質問集である。各問の正答を中立役に、誤答を説得役に渡し、それぞれ説明文を作らせる。判定役は二つの説明をランダムな順序で読み、正しい方と1～5の確信度を答える。例えば、落下した硬貨の危険性について正答と誤答を対置し、判定役がどちらを選ぶかを見る。
さらに著者らは、判定役が各選択肢を出力する対数尤度から、二択の内部的な選好を求める。対数尤度は、モデルがその出力をどれほど出しやすいかを表す値である。自己申告の確信度を0～1に直してこの選好と掛け、誤答を選んだ回に重みを付けてCW-PORを計算する。
新規性
CW-PORは、説得的な誤答が選ばれた割合に、その判断時の確信度を加味する指標である。単に誤答を選んだ回数を数えるPORでは、ためらいながら誤る場合と、強く確信して誤る場合を区別できない。
著者らは、判定役が文章で申告する5段階の確信度と、二つの回答への内部的な選好を掛け合わせた。これにより、単発の議論で生じる誤判定の頻度と確信の強さを同時に調べた。
従来手法との違い
従来のPORは、判定役が誤った側を選んだ件数を全件数で割る。CW-PORは各判定の確信度で誤判定を重み付けし、全件の確信度の合計で割るため、確信の強い誤りが指標へより大きく反映される。
実験の議論形式も、一往復で二つの回答を比べる設定である。著者らが関連研究として挙げる複数往復の議論とは、反論や確認を追加できない点が異なる。本文は、この形式を対立する二つの記述に一度だけ触れる場面として扱う。
実験結果
著者らはTruthfulQAの検証用データを使い、30語から300語まで30語刻みで説明文の長さを変えた。対象は30億～140億パラメータのオープンソースLLM五つで、中立役、説得役、判定役に同じモデル系列を用いた。評価は誤答選択率POR、自己申告の確信度、対数尤度による確信度、CW-PORで行った。
著者らによれば、多くのモデルで90～120語付近のCW-PORが低く、その後の変化はモデルごとに異なる。非敵対的な問いの方がCW-PORが高いモデルも多かった。分野別の高い値には標本数が少ない区分も含まれるため、本文は一般化に注意を促している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書の事実確認で、同じ問いに対する二つの要約候補をAIに比較させる。入力は、原文で確認できる記述と、表現は強いが原文と食い違う検査用記述である。出力は選択結果、短い理由、自己申告の確信度、原文と対応する箇所とする。
担当者は原文を正解の基準として固定し、誤った候補を選んだときの確信度を記録する。強い断言や長い説明で判定が変わるなら、候補の文章だけで決めず原文への照合を必須にする運用を検討できる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：業務で正解を原文から確定できる問いを少数選び、正しい説明と、事実を一箇所だけ変えた検査用説明を対にする。長さと提示順を変え、利用予定の判定AIへ同じ形式で入力する。まず正しい説明同士でも判定の揺れを記録し、比較の基準とする。
誤答選択率に加えて、誤答時の確信度を測り、原文を示した再確認後に訂正できる割合も見る。長い説明だけで誤答が増えるなら、回答候補の長さをそろえる、原文の該当箇所を要求するなどの手順を試す。
限界と課題
著者らが扱ったのは、TruthfulQAの正答と既知の誤答を提示する一往復の設定である。中立役、説得役、判定役は同じモデル系列を使い、異なるモデル間の判定や、追加質問を許す手順は今後の検討事項として挙げている。
編集上は、自己申告の確信度が実際の正しさを表すとは限らない点を確認したい。分野別では件数の少ない区分に高い値と広い信頼区間があり、特定分野が常に弱いという一般化は避けるべきである。
出典
元のタイトル・要旨を確認する（英語）
When Persuasion Overrides Truth in Multi-Agent LLM Debates: Introducing a Confidence-Weighted Persuasion Override Rate (CW-POR)
In many real-world scenarios, a single Large Language Model (LLM) may encounter contradictory claims-some accurate, others forcefully incorrect-and must judge which is true. We investigate this risk in a single-turn, multi-agent debate framework: one LLM-based agent provides a factual answer from TruthfulQA, another vigorously defends a falsehood, and the same LLM architecture serves as judge. We introduce the Confidence-Weighted Persuasion Override Rate (CW-POR), which captures not only how often the judge is deceived but also how strongly it believes the incorrect choice. Our experiments on five open-source LLMs (3B-14B parameters), where we systematically vary agent verbosity (30-300 words), reveal that even smaller models can craft persuasive arguments that override truthful answers-often with high confidence. These findings underscore the importance of robust calibration and adversarial testing to prevent LLMs from confidently endorsing misinformation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29