アーカイブ / LLM
LLMは自分の回答の変化を予測できるか：実際の応答で測り、学習する
Evaluating and Improving LLM Self-Modeling
Evaluating and Improving LLM Self-Modelingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Frontier models like GPT-5.5 and Gemini 3.1 Pro fail on a Flip-Decision task based on a simple GSM8K example. Left: the behavioral ground-truth construction procedure. Both models answer the original baseline prompt correctly, but after a short misleading factual injection is added, the edited prompt shifts their sampled answers to 622 in 9/10 trials for GPT-5.5 and 10/10 for Gemini 3.1 Pro. Right: the self-modeling query asks whether the model’s final numerical answer would differ under the edited prompt. In this example, both models self-report No , even if the behavioral ground truth is Yes because the edited prompt changes the answer from 623 to 622. See Sec. B.4.4 for configuration, prompt template details and transcripts for this experiment.
概要
- 自己モデリングは、LLMによる自分の振る舞いの予測を、実際に観測した出力と照合して測る能力である。
- 著者らは３つのモデル系列で、複数課題の強化学習による総合的な自己モデリング技能の改善を報告した。
- 改善は内部の判断過程への特別なアクセスを示す証拠ではなく、導入先でも実際の出力と単純な予測器を基準に検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Evaluating and Improving LLM Self-Modelingの仕組み
- 01元の質問と編集案
- 02両方の応答を採取
- 03回答の変化を判定
- 04自己予測を採点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMに「依頼文を少し変えたら、自分の答えは変わるか」と尋ねても、その返答が実際の挙動と一致するとは限らない。こうした予測を作業の判断に使うには、モデルを動かして得た結果との照合が必要になる。
この研究でいう自己モデリングは、LLMが自分の入力に対する出力を予測する能力を指す。内部で何を考えたかを言い当てる能力とは区別し、観測できる回答との一致を測っている。
手法
例えば計算問題に誤解を誘う文を加え、元の質問と編集後の質問を対象LLMにそれぞれ複数回与える。最も多かった数値回答が変われば「変わる」を行動上の正解とし、別に尋ねたモデル自身の予測と照合する。評価群には、変化の二択予測に加え、出力内容や特定の特徴が現れる頻度の予測も含まれる。
学習データでは、別の文章データから補助LLMが質問の編集案を作り、対象LLMの応答で狙った変化を確認する。狙いと違えば編集案を修正し、確認した結果を学習例にする。強化学習とは、予測の正しさに応じた得点を使ってモデルを調整する方法である。
新規性
著者らは、既存研究の課題を統合し、二択、数値、選択式、自由記述にまたがって自己予測を測る評価群を構成した。正解を評価対象モデル自身の出力から作り、課題ごとに異なる採点結果を共通の基準で比べる。
学習面では、質問の編集案を作り、対象モデルで効果を確かめ、必要に応じて修正する手順を示した。この手順で作ったデータを使い、複数課題を組み合わせた強化学習の効果を検証している。
従来手法との違い
比較対象は、追加学習前の同じモデルと、個別の質問を見ずに回答傾向の全体分布だけを使う単純な予測器である。後者は課題の形式に応じ、最多の答えや平均値などを返す。著者らは、その得点を上回る幅を「自己モデリング技能」として示す。
学習方法については、単一課題の学習、複数課題を混ぜた学習、複数回の対話から作ったデータだけによる学習を比較した。複数課題の学習は３系列すべてで未学習時より改善したが、対話データだけによる学習はQwen3-8Bでは評価得点を下げた。
実験結果
著者らは数学のGSM8K、コードのHumanEval、安全性のWildGuardTest、公平性のBBQを評価に用い、各評価シードで各データ群から25例を抽出した。課題別の得点に加え、単純な予測器を上回る「自己モデリング技能」を測った。
約100の文章データセットから学習例を作り、評価用の４データ群は除外した。著者らはLlama-3.1-8B、Qwen3-8B、GPT-OSS-20Bで複数課題の強化学習後に総合技能が改善したと報告する。該当図は５シード平均と95％信頼区間を示すが、確認できた本文の範囲では改善幅の数値は読み取れない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内のコード作成補助LLMに、依頼文の一部を変えると生成コードが指定条件を満たすかどうかも変わるか、事前に予測させる。入力は元の依頼文と編集案、出力は条件の変化に関する予測とする。
検証には、実際の依頼文、編集後の文、対象LLMが複数回生成したコード、条件を満たすかの判定ラベルが要る。画像・音声センサーは使わない想定だ。学習を試すなら、社内の依頼文を元データとして編集案と判定条件を作り、対象LLMの出力でラベルを確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のコード補助LLMで、実際の依頼文と編集案を集める。両方の文から複数回コードを生成し、指定条件を満たすか既存の検査または人手でラベル付けする。その結果から、編集によって条件の判定が変わったかを記録する。
まず未調整のLLMに変化を予測させ、個別の依頼文を見ず最多の答えを返す基準と、正解率を比較する。必要な元データは依頼文、編集案、生成コード、判定ラベルで、画像・音声センサーは想定しない。学習を試す場合は評価用の依頼文を分け、編集案の生成と出力の検証を対象LLM向けに調整する。
限界と課題
著者らは、自己予測の改善を、内部の判断過程を特別に把握した証拠とは解釈していない。別のモデルの振る舞いを予測する実験でも一貫した自己予測の優位は見られず、予測する側の一般的な能力が結果に寄与しうるとしている。
編集上の検証事項は、社内の依頼文や編集の種類が変わっても予測が当たるか、コードの条件判定を安定して行えるかである。学習用の行動ラベルは主に更新前のモデルから作られるため、導入先でモデルを更新する際にもラベルと実際の出力の一致を確認したい。
出典
元のタイトル・要旨を確認する（英語）
Evaluating and Improving LLM Self-Modeling
We study self-modeling: an LLM's ability to answer questions about its own behavior. We focus on verifiable behavioral questions, such as whether a prompt edit would change the model's final answer. To measure this capability, we introduce a benchmark that tests diverse types of self-modeling questions. Current models show non-trivial but limited self-modeling skill, and make systematic mistakes on simple counterfactual questions about their own behavior. To improve self-modeling skill, we develop a scalable synthetic-data pipeline that produces self-modeling training data, and show that reinforcement-learning can improve aggregate self-modeling skill across three open-source model families with some transfer to held-out tasks. These gains, however, do not seem to constitute introspection consistently: improved self-modeling may not arise from privileged access to the model's internal decision process.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01