アーカイブ / LLM
1000万語で小型言語モデルを育てるとき、読む文章の種類は規模でどう変わるか
Sample-Efficient Data Composition
Sample-Efficient Data Compositionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Train loss when training GPT2-18M on various datasets
概要
- ４種類の英語資料を各1000万語にそろえ、学習資料とモデル規模の組み合わせを比較した。
- 表２の平均ではGPT2-18M・44MはMix、GPT2-97M・705MはGutenbergが優勢だった。
- GLUEでは別の資料が上位になり、資料の選択は使う評価課題に応じて確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Sample-Efficient Data Compositionの仕組み
- 01４種類の英語資料
- 02文書整形と語片化
- 03128単位に分割
- 04４周の事前学習
- 05学習済みモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
限られた文章で言語モデルを事前学習するなら、何を読ませるかが重要になる。事前学習とは、個別の仕事に使う前に文章から言葉の並びを学ぶ工程である。子ども向けの会話や平易な物語は学びやすそうだが、その選択が評価成績につながるとは限らない。
著者らは資料を各1000万語に制限し、文章の種類とモデルの規模を変えて調べた。少ないデータで学習する際に、読みやすさだけを資料選びの基準にしてよいかを考える材料になる。
手法
著者らはCHILDES、Gutenberg、Mix、TinyStoriesを各1000万語で用意した。たとえばGutenbergは、BabyLMの書籍部分から先頭の1000万語を取る。正規表現という文字列の規則で文書を整え、BPEという頻出する文字の並びをまとめる方法で、資料ごとに文章をモデルが扱える語片へ変換する仕組みを学習した。
学習用と開発用の文章は128トークンずつに区切る。トークンはモデルが扱う語片などの単位で、学習時には区切った文章の提示順を毎周入れ替える。異なる規模のGPT2とLlamaを共通の設定で４周学習し、各周の終わりに開発用文章の固定した一部で予測のずれを測った。出力は資料と規模の組み合わせごとの学習済みモデルである。
新規性
著者らは学習資料を各1000万語にそろえ、文章の種類とモデルの規模を組み合わせて比較した。読みやすい文章が小型モデルに有利かを、文法や知識を問う課題で確かめている。
GPT2の1800万・4400万パラメータではMix、9700万以上ではGutenbergが表２の平均で優勢だった。ただし、別の評価課題では順位が変わるため、特定の資料が常に最適とはいえない。
従来手法との違い
MixはBabyLMの1000万語コーパスで、子ども向け会話、書籍、字幕、百科事典風の文章などを含む。比較対象のCHILDESは子どもの言語獲得に関わる会話、Gutenbergは英語の書籍、TinyStoriesは子どもにも分かる語彙で作られた短編である。
各資料の語数をそろえ、同じ学習設定で４周学習させた。表２にはGPT2の３規模とLlama-20Mで４資料の結果がある一方、GPT2-705MとLlama-360MにはGutenbergとMixだけが載る。大きなモデルで４資料すべての順位を確認した結果ではない。
実験結果
著者らはBabyLMのBLiMP、EWoK、GLUEで評価した。BLiMPは英文の文法的な適切さ、EWoKは文脈と知識に照らしたもっともらしさを問う。表２のBLiMP２種とEWoKのMacroaverageは、GPT2-18MでMixが56.43、Gutenbergが56.13、GPT2-44Mでは58.07対56.87だった。
同じ平均でGPT2-97MはGutenbergが58.47、Mixが58.20、GPT2-705Mは59.10対57.80と報告される。追加学習なしで評価したGLUEの表３では、GPT2-18Mと44MのMacro AverageはTinyStories、97MはCHILDESが最上位だった。著者らもGLUEの個別課題には明確な傾向を見いだしていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の問い合わせに対し、担当者が確認する回答の下書きを作る小型モデルで、学習文書の構成を比べる。入力には利用を認められた手順書と過去の問い合わせ文を使い、出力は回答案とする。
単一種類の文書と混合文書を同じ語数で用意し、社内用語に合わせて追加学習する。評価用の質問には担当者が正解回答と根拠文書を付ける。センサーは不要である。これは研究で検証された業務用途ではなく、資料構成の効果を調べるための案である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた社内手順書だけの集合と、問い合わせ文を加えた混合集合を作る。文章の整形、語数、学習回数をそろえて小型モデルを追加学習し、既存の検索と定型文による回答下書きを比較基準に置く。
実際の質問を評価入力とし、担当者が正解回答と根拠文書を付ける。必要な資料は手順書と問い合わせ文で、センサーは不要。社内用語への適応方法も確認する。根拠との一致率、事実誤り、担当者の修正量を測り、資料構成ごとの違いを判断する。
限界と課題
著者らは、全条件で共通の学習設定を使ったため各組み合わせには最適でない可能性と、計算上の制約から学習を４周に限った点を挙げる。また、BLiMPとEWoKの出題内容がCHILDESやTinyStoriesの学習内容と合わず、評価が偏り得ると述べている。
編集上の検証事項は、語数や資料の抽出箇所、学習期間を変えても順位が保たれるかである。読みやすさの指標と成績は示されているが、文章の複雑さだけを成績差の原因とは断定できない。社内文書への適用結果も、この実験からは分からない。
出典
元のタイトル・要旨を確認する（英語）
What Should Baby Models Read? Exploring Sample-Efficient Data Composition on Model Performance
We explore the impact of pre-training data composition on the performance of small language models in a sample-efficient setting. Using datasets limited to 10 million words, we evaluate several dataset sources, including child-directed speech (CHILDES), classic books (Gutenberg), synthetic data (TinyStories), and a mix of these (Mix) across different model sizes ranging from 18 million to 705 million parameters. Our experiments show that smaller models (e.g., GPT2-97M, GPT2-705M, Llama-360M) perform better when trained on more complex and rich datasets like Gutenberg. Models trained on the CHILDES and TinyStories datasets underperformed across all model sizes. These findings suggest that the optimal dataset for sample efficient training depends on the model size, and that neither child-directed speech nor simplified stories are optimal for language models of all sizes. We highlight the importance of considering both dataset composition and model capacity for effective sample efficient language model training.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01