アーカイブ / LLM
言語族別の追加学習で読解力を守るための層別重み調整
Parameter-Aligned Family Experts
概要
- 五つの言語族の計32学習言語を対象に、言語族別学習と層の重み調整を比較した。
- 学習言語のBelebele平均正答率は、元のモデル0.699、Dense CPT 0.602、層の固定0.716だった。
- 翻訳の平均ChrFはDense CPTが53.8、その中間層を学習後に戻した方式が54.0で、課題によって適した調整方法が異なった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Parameter-Aligned Family Expertsの仕組み
- 01言語族別の文章
- 02共通モデルを追加学習
- 03層の重みを調整
- 04言語族別モデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
既存の言語モデルに新しい言語の文章で追加学習を行うと、以前できた読解などが損なわれることがある。著者らが扱う破滅的忘却とは、このように学習前の能力が落ちる現象を指す。多言語で使う場合、新しい言語への適応と元の能力の保持をともに確かめる必要がある。
著者らは、近縁の言語をまとめた言語族ごとに専門モデルを学習する。言語族で分けても、モデル内の計算を決める重みが元の値から変わり、読解や学習対象外の言語で性能が落ち得るため、その変化を抑える方法を調べた。
手法
共通のGemma-3-4Bを出発点に、五つの言語族それぞれの文章で専門モデルを追加学習する。追加学習とは、既存モデルの重みを新しい文章で更新することだ。34層のうち最初の9層と最後の6層は更新を許し、間の19層は方法に応じて変化を抑える。
例えばスラブ語族の文章を使う場合、層の固定では中間層を更新しない。L2正則化では、元の重みから離れるほど学習時の負担を大きくする。別の方法では学習後に中間層を元の重みに戻すほか、五つの専門モデルの重みを平均して一つにする。出力は各方式で調整したモデルである。
新規性
著者らは、共通モデルから言語族ごとに専門モデルを学習し、層の重みを元のモデルに近づける手法を比較した。学習中に中間層を固定する方法と、元の重みから離れるほど負担を加える方法を含む。
学習後に中間層の重みを戻す方法は、全言語を一緒に学習したモデルにも言語族別モデルにも適用した。さらに、五つの専門モデルの重みの平均と、層の重みの変化が読解・翻訳に与える影響を調べた。
従来手法との違い
基準は、32言語を一つのモデルで追加学習するDense CPTと、言語族別に学習するが重みを制約しないFamily Expertである。学習言語の検証用文章では、文章の予測しにくさを示すパープレキシティの平均がそれぞれ7.20と7.30で、低いほどよい。
言語族別の学習はDense CPTより読解力を保つ傾向があったが、学習から除いた近縁言語では性能低下が残った。層の固定や重みへの制約は読解の保持に役立ち、翻訳ではDense CPTの中間層を学習後に戻した方式が平均で最も高い結果だった。
実験結果
著者らはMADLAD-400の文章を五つの言語族、計32の学習言語に分け、言語族ごとに50億トークンの学習枠を設けた。Belebeleの読解正答率、Global-PIQAの物理推論正答率、FLORES-200の翻訳ChrF、検証用文章のパープレキシティを評価した。下流課題は回答例を二つ示す2-shot設定である。
学習言語のBelebele平均正答率は元のモデル0.699、Dense CPT 0.602、層の固定0.716だった。両翻訳方向を平均したFLORES-200のChrFは元のモデル33.4、Dense CPT 53.8、Dense CPTの中間層を戻した方式54.0だった。著者らによると、学習から除いた近縁言語のパープレキシティは、L2正則化で五つの言語族すべてが元のモデルと同等以上だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：多言語の社内手順書について、質問に回答し、根拠となる箇所も示す仕組みを試す。入力は対象言語の質問と手順書、出力は回答と参照箇所とする。追加学習には、利用できる手順書の文章を言語別に集め、言語族ごとに整理する必要がある。
評価用には、担当者が正答と参照箇所を付けた質問を別に用意する。センサー入力は使わない。手順書の専門語や質問形式に合わせて学習文を調整し、層の固定を読解重視の候補として試す。この業務での改善は論文の結果からは確定できない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの言語族を選び、利用できる手順書の文章を言語別に集め、学習用と評価用に分ける。担当者が正答と参照箇所を付けた質問を用意し、追加学習に使わない近縁言語の質問も含める。必要なのは文章と評価用ラベルで、センサーは使わない。
同じ初期モデルから、制約のない言語族別学習と層の固定を試し、元のモデルも基準にする。言語別の正答率、参照箇所の一致率、元は正答した質問の誤答数を比べる。手順書の表記や専門語に合わせた学習文の調整を記録し、結果を言語ごとに確認する。
限界と課題
著者らは、追加学習から除いた言語が元のGemmaモデルの事前学習に含まれていたか確認できないと述べる。また、読解では中間層の変化が大きく影響した一方、翻訳は別の層への感度を示した。どの層を制約するかは、対象課題に応じて選ぶ必要がある。
編集上の検証事項：短い手順書や専門用語の多い文章でも読解力が保たれるか、言語別に確かめたい。参照箇所を正しく示せるかは論文の評価対象ではないため、別途検証が必要だ。学習文が少ない言語と学習から除いた近縁言語も分けて調べる。
出典
元のタイトル・要旨を確認する（英語）
Parameter Alignment Mitigates Catastrophic Forgetting in Multilingual Expert Language Models
While continual pretraining~(CPT) is a practical way to extend large language models to new languages, naïve finetuning on targeted data erodes existing capabilities through catastrophic forgetting. Organizing training around language families reduces cross-language interference but cannot alone prevent forgetting of the general knowledge needed for downstream tasks. We link this forgetting to parameter drift in multilingual CPT and present a suite of five layer-aware parameter alignment strategies: hard layer freezing, soft regularization, post-hoc weight reversion, and model merging. We systematically compare our alignment strategies against two unregularized CPT baselines on benchmarks spanning 32 training languages from five language families, plus held-out languages, across four evaluation axes: perplexity, reading comprehension, physical reasoning, and translation. Parameter alignment substantially reduces forgetting at minimal cost to language acquisition: layer freezing and regularization best preserve comprehension, whereas post-hoc reversion yields the strongest translation gains. Together, these results map the acquisition--forgetting frontier for family-expert CPT and offer practical deployment guidelines pairing each strategy to the tasks it best serves.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01