アーカイブ / LLM
学習初期の課題得点から、言語モデルの道具利用性能を見積もる
Predictable Emergent Abilities of LLMs: Proxy Tasks Are All You Need
概要
- 著者らは、複数モデルの得点から道具利用課題と関連する代理課題を探す方法を提案した。
- 小型モデル群の得点のばらつきも調べ、代理課題の選定と重み付けに使う。
- T-evalを目標課題、42課題を候補に用いた。確認できた本文の範囲では、予測誤差の数値は分からない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Predictable Emergent Abilities of LLMs: Proxy Tasks Are All You Needの仕組み
- 01各モデルの課題得点
- 02目標との関連度
- 03小型モデルで安定性
- 04代理課題の得点統合
- 05道具利用得点の予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
道具利用とは、言語モデルが外部の機能を呼び出して作業を進める能力を指す。著者らによると、学習初期の小型モデルではこの能力がまだ現れないことがあり、道具利用テストの得点から学習後の性能を見積もりにくい。
学習データや設定によって後の性能も変わる。開発途中で設定を比較するには、早い段階でも得点が得られる課題を使い、将来の道具利用性能との関係を調べる必要がある。
手法
まず複数モデルの目標課題と候補課題の得点を集め、課題ごと、モデルごとに得点の尺度をそろえる。得点の並びが目標課題と似る候補を探し、使用モデルを繰り返し抽出して、関連度の高い候補の順位が保たれるか調べる。これを関連度指標の選択に使う。
次に、異なる学習データで訓練した小型モデル群と、同じデータで変動を与えた群で候補課題を測る。各群の得点の分散、つまりばらつきの比を安定性の指標とし、関連度とともに候補を絞る。例えば読解課題を代理課題に選び、得点を重み付きで統合して、後の道具利用テスト得点を予測する。
新規性
著者らは、目標課題との関連度に加え、小型モデルでの得点が学習条件の違いを反映するかを調べ、代理課題を選ぶ方法を提案した。代理課題とは、直接評価しにくい能力を見積もるために使う別の課題である。
関連度の計算方法自体も、評価に使うモデルを入れ替えた際に候補順位が保たれるかで選ぶ。その後、選んだ代理課題の得点を統合して目標課題の性能を予測する。
従来手法との違い
スケーリング則は、小型モデルなどの結果から規模や学習量を増やした後の性能を見積もる。著者らは、小型モデルにまだ現れていない道具利用能力については、目標課題を直接測るだけでは予測しにくいと説明する。
本手法は早期にも評価できる候補課題を使う。関連度の計算方法を比べた実験では、ケンドール順位相関が多くの条件で高い順位安定性を示した。ただし、掲載された全条件で両指標とも単独首位だったわけではない。
実験結果
著者らは道具利用の目標課題にT-eval、候補に42課題を用いた。関連度の検討には対話型モデルと基盤モデルの17組を使い、T-evalは対話型モデルを独自評価し、候補課題は両モデルのOpenCompass公開結果を使った。
上位10課題の順位安定性を調べた条件の一つでは、モデル10件を15回抽出した際、ケンドール順位相関による基準順位との一致度が0.640、抽出間の一致度が0.522だった。安定性の検討では小型モデルを二群、計8件用い、6課題を評価した。著者らは予測と実績に強い相関があったと述べるが、確認できた本文の範囲では相関係数や予測誤差の数値は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内ツールを呼び出す言語モデルについて、学習途中の候補設定から、学習後の道具利用テストの得点を見積もる。入力は過去の複数モデルによる読解・推論課題と道具利用課題の得点、出力は新しい候補設定の予測得点とする。
学習元の文章データを記録し、候補課題には正答ラベル、道具利用課題には呼び出しの成否を判定するラベルを用意する。追加センサーは使わない。社内ツールに合わせて目標課題を作り、過去のモデルで代理課題の関連度と安定性を確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ用途の学習途中・学習後モデルを複数用意する。学習元の文章データと評価時点を記録し、候補課題には正答ラベル、目標の道具利用課題には呼び出しの成否を判定するラベルを付ける。追加センサーは使わない。
過去のモデルで課題間の関連度を測り、データを変えた群と同じデータで変動を与えた群で得点の安定性を確かめる。選んだ課題による予測を、候補課題の単純平均による予測と比較する。実際の道具利用テストに対する得点誤差とモデル順位の一致度を測る。
限界と課題
著者らは、学習初期の小型モデルの得点が、訓練時のノイズやデータの違いに敏感になり得ることを選定上の課題として挙げる。確認できた本文の範囲では、予測と実績の相関係数や予測誤差の数値は示されていない。
編集上の検証事項：方法の説明では同じデータで初期値を変える群を想定する一方、実験の説明は同じデータの並び替えを記す。また、分散表には掲載値と分散比が一致しない箇所がある。予測結果の詳細と併せ、原著者の実験条件と計算値を確認したい。
出典
元のタイトル・要旨を確認する（英語）
Predictable Emergent Abilities of LLMs: Proxy Tasks Are All You Need
While scaling laws optimize training configurations for large language models (LLMs) through experiments on smaller or early-stage models, they fail to predict emergent abilities due to the absence of such capabilities in these models. To address this, we propose a method that predicts emergent abilities by leveraging proxy tasks. We begin by establishing relevance metrics between the target task and candidate tasks based on performance differences across multiple models. These candidate tasks are then validated for robustness with small model ensembles, leading to the selection of the most appropriate proxy tasks. The predicted performance on the target task is then derived by integrating the evaluation results of these proxies. In a case study on tool utilization capabilities, our method demonstrated a strong correlation between predicted and actual performance, confirming its effectiveness.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01