新着研究 / LLM
正答率の改善を救済と破壊へ分解するMAPLE、LLMの知識抽出を三つの軸で診断
MAPLE
MAPLEの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The overview of MAPLE .
概要
- 推論時の工夫が誤答を直す効果と、元の正答を壊す効果を分離して測る枠組みを提案した。
- 正解語の確率順位と、一定回数の通常生成でも出ない答えの回復を追加診断する。
- 三モデル系統と六手法の比較で、同じ介入段階の手法でも異なる交換条件があると報告した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MAPLEの仕組み
- 01事実質問と基準回答
- 02推論への介入
- 03回答と確率の比較
- 04多軸の診断結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MAPLEは、言語モデルが重みに持つ知識を出力へ引き出す工夫を、総合正答率より細かく調べる評価法だ。追加学習をせず、質問の書き方、内部表現、出力確率の調整によって答えが変わる過程を対象にする。
正答率が同じでも、少数の誤りだけを直す方法と、多くの誤りを直しつつ既存の正答も壊す方法では運用上の意味が違う。研究は、学んだ事実が表面へ出るまでのどこに変化があるかを区別する。
手法
まず学習時期より前のWikipediaから事実を主語・関係・目的語の組へ分解し、曖昧さや複数正解のある例を除く。OLMo2については、事実を述べた文が公開された事前学習コーパスに実際に存在するかも確認する。これにより、そもそも触れていない事実と、出せなかった事実の混同を減らす。
同じ質問に通常の方法と介入した方法で回答し、誤答から正答へ移る救済と、正答から誤答へ移る破壊を数える。なお誤答のままなら、正解の最初のトークンが確率順で上がったかを見る。さらに通常生成を一定回数試した集合と比べ、単なる再試行でも出る答えなのかを調べる。
新規性
新しさは、出力の正誤、出力前の確率順位、通常の複数回生成を超えた回復という三つの軸を、同じ評価集合で扱う点だ。最終的に出なかった正解でも、候補としての近づき方が変わったかを診断できる。
一方、学習コーパスに文があることを知識の定着と同一視しない。モデルが学ぶ機会を持ったという確認と、内部に十分な形で符号化されたかという問題を分けている。
従来手法との違い
比較は、出力分布を調整する方法、内部の活性値を特定方向へ動かす方法、いったん関連知識を文章化してから答えるプロンプト法の計六手法である。対象モデルはOLMo2、Qwen2.5、Llama3の三系統だ。
活性値を変えるITIとCAAでも結果は異なり、同じ場所へ介入するという分類だけでは効果を説明できない。正答率の増減を見てから、どの質問群が交換されたかを追う必要がある。
実験結果
著者らは、プロンプト法が誤答の回復に強く、通常の固定回数の生成で見つからない答えも回復する一方、既存の正答を壊す場合もあると報告する。ITIは診断軸全体で基準に近い挙動だった。
評価したデコード法とCAAは、未回復の誤答で正解語の順位を変えるが、一貫して良い方向へ動かすとは限らなかった。確認できた本文の範囲では、特定の手法をすべてのモデルで最良とする結論ではなく、効果の種類と損失の区別が中心になる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内FAQ向けモデルのプロンプト変更を採用する際の回帰診断に使う。既知の事実質問を入力し、変更前後の回答を質問単位で対応づけ、救済した件数と壊した件数を担当者へ示す。
全体の正答率が上がっても、重要な問い合わせの既存正答が失われたなら別途判断できる。社内知識では学習コーパスの直接確認が難しいため、MAPLEの事実曝露を管理する部分と、回答変化の診断部分を分けて取り入れる案だ。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：答えが一つに定まる少量の質問集合を作り、同じ生成条件で基準法と一種類の変更を比較する。正答を維持、誤答を維持、救済、破壊の四区分を集計し、重要度別にも確認する。
次に同じ呼出し予算で通常の複数回生成を試し、変更による利点が再試行より大きいか測る。確率値へアクセスできるモデルでは正解語の順位も記録し、正答率に現れない変化を調べる。評価用の問題を調整用と混ぜない。
限界と課題
著者らは、コーパス内の存在が知識の符号化や抽出可能性を保証しないことを明記する。直接の事前学習データ確認はOLMo2に対するもので、他モデルでは共通のWikipedia源を代理の根拠としている。
編集上の確認課題は、複数正解や長い説明を必要とする質問への拡張である。最初の正解トークンの順位は回答全体の正しさを示さず、固定回数で出なかった答えも、無限の試行で出ない知識という意味ではない。
出典
元のタイトル・要旨を確認する（英語）
MAPLE: A Multi-Axis Parametric Knowledge Extraction Lens for LLM Evaluation
LLMs absorb vast knowledge from training data, yet their inherently probabilistic nature offers no guarantee that this knowledge will surface in their outputs. To bridge this gap, Knowledge Extraction Enhancement (KEE) techniques such as activation steering, decoding adjustments, and prompting modify inference, potentially reinforcing existing predictions or surfacing less accessible answers. Yet their evaluations centered on aggregate accuracy, which obscures diverse effects by collapsing recovered failures and disrupted successes into a single score. We introduce MAPLE, a unified framework for characterizing how KEE techniques affect parametric knowledge extraction. Its diagnostic metrics disentangle these effects at the surface, probability, and beyond-sampling levels by measuring answer recovery and disruption, gold-token rank shifts on unrecovered failures, and recovery of answers missed by fixed-budget sampling. We evaluate six KEE techniques spanning decoding, activation steering, and prompting across three model families: OLMo2, Qwen2.5, and Llama3. Our analysis reveals distinct effects and trade-offs across techniques, highlighting the value of MAPLE for understanding and comparing KEE beyond aggregate accuracy.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-15