アーカイブ / LLM
生成式の評価を選択式に変え、言語モデルの学習経過を短時間で追う
EvalShortcut
概要
- 生成式の設問を選択式と正答の対数尤度を測る形式に変え、学習途中の評価に使えるかを調べた。
- 著者らの８モデル・四分野の実験では、選択式と生成式の結果がおおむね強く相関し、評価時間は平均35倍超短縮した。
- 正答だけの対数尤度は課題によって生成式との相関が弱く、導入時には元の生成式との照合が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、EvalShortcutの仕組み
- 01生成式の設問と正答
- 02誤答候補を作成
- 03候補の確率を比較
- 04選択式の結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルの学習経過を追うには、途中のモデルを繰り返し評価する。数学の説明やコードを自由に作らせる生成式では、モデルが答えを一語ずつ出すため、評価に時間と計算量がかかる。
選択肢から答えを選ぶ形式なら短時間で測れるが、その点数が自由に答えを作る能力の変化を表すとは限らない。本研究は、元の設問を選択式などに変え、学習途中の結果が生成式とどれほど対応するかを調べる。
手法
元の設問と正答を使い、別の設問の答えを流用するか、言語モデルで設問に合う誤答を作る。例えば欧州の国を尋ねる設問では、無関係な語を並べる場合と、別の欧州の国名を並べる場合を試した。評価対象のモデルが各候補に与える確率を比べ、正答が最も高ければ選択式では正解とする。
別に、誤答を置かず正答の対数尤度だけを合計する形式も試した。この値は正解率ではなく、正答への確率の付け方を示す。著者らは両形式を元の生成式と照合し、学習途中の性能推移とモデル間の順位が一致する度合いを調べた。
新規性
著者らは、数学、コード生成、事実知識、読解の生成式ベンチマークを、選択式と正答の対数尤度を測る形式に作り替え、元の生成式との対応を８モデルで調べた。対数尤度は、指定した答えにモデルが与える確率の対数である。
選択式では、別の設問の答えを流用する誤答に加え、設問に意味が合う誤答も用意した。評価項目を間引かず、回答形式の変更によって実行時間を減らす設計である。
従来手法との違い
比較基準は、モデルが答えを一語ずつ作る元の生成式である。選択式は正答と誤答の確率を比べ、対数尤度式は正答だけを採点する。著者らの実験では、選択式は四分野で生成式とおおむね強く相関した。
対数尤度式は選択肢を作る手間がない一方、確率の高い誤答を考慮しない。TriviaQAとHumanEvalPackでは、生成式とのモデル内の平均ピアソン相関が負だった。所要時間の短縮と、生成式の変化を追えるかは別々に確かめる必要がある。
実験結果
著者らは８つの公開モデルで、GSM8Kの数学、HumanEvalPackの６言語のコード、TriviaQAの事実知識、SQuAD 2.0の読解を評価した。学習途中の結果にはピアソン相関、モデル間順位にはスピアマン相関を用いた。設定はGSM8Kが５例提示、他は例示なしだった。
生成式と選択式のモデル別ピアソン相関の平均は、GSM8Kで0.71、TriviaQAで0.87、SQuADで0.87、HumanEvalPackの６言語平均で0.86と報告された。評価時間は全体で平均35倍超短縮したという。単一のNvidia RTX 6000でPythiaの３規模を測った表では、HumanEvalPackの平均所要時間は生成式114.92分、選択式0.88分だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内向けコード生成モデルの学習中に、各時点の能力を点検する。元の学習用データとして社内コードと仕様文を用意し、評価用には別の仕様文、正解コード、正誤ラベル付きの誤答コードをそろえる。センサーは使わない。
仕様文と候補コードを各時点のモデルに入力し、正解を最も高く評価した割合を時系列で出力する。対象言語と社内仕様に合わせて設問と誤答を調整し、定期的なコード生成・実行評価と照合する運用案であり、改善効果は未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の仕様文と正解コードを評価用に集め、別途、学習に使う元データを明確にする。正誤ラベル付きの誤答コードを作り、実行結果などでラベルを確認する。追加のセンサーは使わず、対象言語に合わせて設問と候補を調整する。
同じ学習時点のモデルで、生成式を比較基準として選択式も実施する。両者の所要時間と各時点の成績を記録し、時点間の推移と、複数モデルを比べる場合の順位の一致を測る。候補を修正した後も対応が続くかを確認する。
限界と課題
著者らは、対数尤度式が確率の高い誤答を考慮できないと説明する。TriviaQAではその値が学習につれて低下し、生成式と負に相関したが、原因には追加調査が必要としている。GSM8Kの選択式は学習後半の伸びを捉えにくい可能性も示した。
計算資源の制約で大規模モデルは対象外とし、無作為な誤答の作成には一つの乱数設定だけを使った。編集上の検証事項は、社内設問で誤答が不自然でないか、候補の順序や長さで結果が変わらないか、生成式との対応が保たれるかである。
出典
元のタイトル・要旨を確認する（英語）
From Understanding to Generation: An Efficient Shortcut for Evaluating Language Models
Iterative evaluation of LLMs during training is essential to ensure expected capability development, but can be time- and compute-intensive. While NLU tasks, where the model selects from fixed answer choices, are cheap to evaluate, essential capabilities like reasoning and code generation rely on the more time-consuming NLG (token-by-token generation) format. In this work, our aim is to decrease the computational burden of NLG benchmarks in order to enable monitoring crucial LLM capabilities during model training. We reformulate generative tasks into computationally cheaper NLU alternatives. We test the performance correlation between the original and reformulated tasks using 8 LMs of various sizes and 4 capabilities: mathematical reasoning, code generation, factual knowledge and reading comprehension. Our results show a strong correlation between task formats, supporting capability assessment via cheaper alternatives and achieving over 35x average reduction in evaluation time. Our project is available at: https://github.com/Fraunhofer-IIS/EvalShortcut
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01