アーカイブ / LLM
言語モデルの追加学習で、予測しにくい単語片を重点的に学ぶ
Token-Level Uncertainty-Aware Objective
Token-Level Uncertainty-Aware Objectiveの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Proposed training procedure combines maximum likelihood with self-distillation training objective to improve both in-distribution and out-of-distribution performances.
概要
- 単語片ごとの予測損失を使い、損失の高い部分を重点的に学ぶ追加学習法を提案する。
- 著者らは、高損失片だけの学習でIF-Evalなどが悪化し、自己蒸留の併用で改善したと報告する。
- 単語片単位の選別は、文書単位の選別ほど計算量を減らせないと著者らは述べる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Token-Level Uncertainty-Aware Objectiveの仕組み
- 01質問と正解回答
- 02単語片ごとの損失計算
- 03高損失片を学習
- 04残りを自己蒸留
- 05追加学習済みモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルを限られた質問と回答で追加学習すると、新しい応答の仕方を覚えられる一方、学習データに合わせすぎて別の課題への対応が悪くなる場合がある。回答を構成する単語片には、モデルがまだ学べていないものと、データ自体の揺れで正解を定めにくいものが混在する。
著者らは、この違いを踏まえて単語片ごとの学び方を変える。限られたデータで追加学習する際、どの部分を重点的に覚え、どの予測傾向を保つかが課題となる。
手法
入力は質問と正解回答の組である。学習時には回答を単語片に分け、各片の予測損失を計算する。単語片はモデルが文章を扱う単位で、予測損失は正解をどれほど予測しにくかったかを示す値だ。著者らはこれを、学習によって減らせる不確実性の実用的な目安とし、損失の高い単語片に最尤学習を適用する。
選ばれなかった単語片では、同じデータを通常の最尤学習で追加学習した参照モデルの予測分布を学ぶ。例えば専門用語を含む回答なら、その用語の損失が高い場合に正解を重点的に学び、残りの部分では参照モデルの出力傾向に近づける。どの単語片を選ぶかは学習中の損失で決まり、出力は両方の目的で調整された言語モデルである。
新規性
著者らは、単語片ごとの予測損失を、追加学習で減らし得る「モデル側の不確実性」の目安に使う。損失の高い単語片では正解を学び、それ以外では参照モデルの予測を学ぶ目的関数を組み合わせた。
学習が進むと損失の高い単語片も変わるため、重点を置く対象が自動的に移る。著者らはこれを単語片単位のカリキュラム学習と位置づける。
従来手法との違い
基準は、回答中の各単語片の損失を集計して学ぶ通常の最尤学習である。最尤学習は、正解の単語片が出る確率を高める方法を指す。著者らは、損失などの値で上位25％を選ぶ実験で、単語片単位と文書単位の選別も比べた。
損失の高い単語片だけを学ぶと、AlpacaEvalでは基準を上回る一方、Alpacaで追加学習したモデルのIF-Evalなどは悪化したと報告する。提案法は、選ばれなかった単語片に自己蒸留を加える。これは、参照モデルの予測分布を学習先に近づける処理である。
実験結果
著者らは主な実験設定としてGemma-2B、Gemma-2-2B、Llama-3.2-1Bを挙げ、Alpaca、ShareGPT、GSM8Kで追加学習した。原則として各モデルを１エポック、バッチサイズ32で学習し、AlpacaEval 2.0の805件、IF-Evalの541件、GSM8Kの約1,500件などで評価した。自由記述の比較には、通常の最尤学習モデルとの対戦判定を用いた。
著者らは、損失上位25％を選ぶ実験で、単語片単位の選別が文書単位より良好であり、高損失片の選別だけがAlpacaEvalで基準を一貫して統計的に有意に上回ったと報告する。一方、選別だけではIF-Evalなどが悪化し、自己蒸留の併用で改善したという。確認できた本文の範囲では、図中の具体的な得点は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内問い合わせへの回答モデルを追加学習する。入力には、利用可能な過去の質問と、人が正しさを確認した回答を用いる。回答文が学習用の正解ラベルとなり、追加のセンサー入力は想定しない。
同じデータで通常の最尤学習モデルを作り、提案法の参照モデルに使う。別に提案法で学習したモデルへ社内の質問を入力し、回答を出力させる。社内用語を含む質問への適応と、学習外の質問での回答品質を調べる用途であり、改善は検証前の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用可能な社内の質問と、人が正しさを確認した回答を集める。回答文を正解ラベルとし、追加のセンサーは使わない。対象業務に合わせてデータを整え、同じ初期モデルと学習データから通常の最尤学習モデルを作る。これを比較基準と提案法の参照モデルに使う。
次に提案法のモデルを学習し、学習に含めなかった社内質問を両モデルへ同じ条件で入力する。担当者が回答の正確さと指示への適合を判定し、課題別の正答数、誤答数、判定不能数を記録する。社内用語を含む質問と、それ以外の質問を分けて変化を確認する。
限界と課題
著者らは、単語片を選別してもモデル全体の計算は多く残り、文書単位の選別ほど計算量を減らせないと述べる。また、選別割合の25％は任意に決めた値で、調整を今後の課題としている。
編集上の検証事項として、社内データでも学習外の質問への性能が保たれるか、参照モデルの誤った予測が回答に影響しないかを確かめる必要がある。本文には実験モデルをLlama-3.2-1Bとする記述とLlama-3.1-1Bとする記述が混在し、該当結果のモデル名には確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Token-Level Uncertainty-Aware Objective for Language Model Post-Training
In the current work, we connect token-level uncertainty in causal language modeling to two types of training objectives: 1) masked maximum likelihood (MLE), 2) self-distillation. We show that masked MLE is effective in reducing epistemic uncertainty, and serve as an effective token-level automatic curriculum learning technique. However, masked MLE is prone to overfitting and requires self-distillation regularization to improve or maintain performance on out-of-distribution tasks. We demonstrate significant performance gain via the proposed training objective - combined masked MLE and self-distillation - across multiple architectures (Gemma, LLaMA, Phi) and datasets (Alpaca, ShareGPT, GSM8K), mitigating overfitting while maintaining adaptability during post-training. Our findings suggest that uncertainty-aware training provides an effective mechanism for enhancing language model training.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01