アーカイブ / LLM
小さめの言語モデルを多くの文章で鍛える、初期LLaMAの検証結果
LLaMA
概要
- LLaMAは、7Bから65Bのモデルを大量の公開文章で学習させた系列である。
- 13Bは、論文の多くの評価項目でGPT-3 175Bを上回った。
- MMLUなどでは優位でなく、日本語業務への適用は別途評価が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLaMAの仕組み
- 01公開された文章群
- 02文章の選別と分割
- 03次の語を予測して学習
- 04質問への回答を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルは文章の続きを予測する学習から、質問応答や文章作成にも使われる。ただし、モデルの数値を増やすほど、利用時にも計算負担が増える。研究や実務で使うには、学習データの入手可能性と、求める性能に対するモデルの大きさが重要になる。
LLaMAは、公開されている文章群を用い、モデルを十分な量の文章で学習させたときの性能を調べた一連の基盤言語モデルである。
手法
著者らは、CommonCrawl、C4、GitHub、Wikipedia、書籍、arXiv、Stack Exchangeを組み合わせ、重複や品質に関する処理を施した。文章はトークンという予測用の小さな単位に分ける。7Bと13Bは約1兆、より大きいモデルは約1.4兆トークンで学習した。入力の続きに来る単位を予測する訓練により、文章の規則性を身に付ける。
中核にはTransformerという、文中の離れた語の関係を捉える構造を使う。入力側を正規化するRMSNorm、語の位置を表す回転埋め込みなどを採用した。たとえば利用者が質問と選択肢を入力すると、各候補の続きやすさを比べて回答を選ぶ評価を行う。これは学習済みモデルの使い方の一例である。
新規性
著者らの主張する進展は、公開されているデータを中心に使い、7Bから65Bまでの言語モデルを長く学習して、モデル規模に対する性能を高めた点にある。Bは十億個のパラメータを意味し、パラメータは学習で調整される数値である。
13BモデルがGPT-3の175Bモデルを多くの評価項目で上回り、65Bモデルはさらに大きな比較対象と競合したと報告する。これは論文の評価条件での比較である。
従来手法との違い
比較の軸は、モデルを大きくすることに加え、比較的小さいモデルを多くの文で学習させることだ。論文は、提供時の計算量も考えると、同じ目標性能なら推論の負担が小さいモデルに利点があると説明する。7Bでも、1兆トークンを超える学習中に性能が改善し続けたという。
ただし、すべての課題で優位ではない。MMLUという幅広い知識の多肢選択評価では、65Bの平均63.4％に対し、Chinchilla 70Bは67.5％、PaLM 540Bは69.3％だった。
実験結果
著者らは常識推論、質問応答、読解、数学、コード生成など計20の評価課題を用いた。ゼロショットは例題なし、数ショットは少数の例題付きの条件を指す。常識推論では13BがGPT-3 175Bを多くの項目で上回り、Natural Questionsの64例付き評価では31.9％対29.9％だったと報告する。
一方、MMLUの5例付き平均正答率はLLaMA 65Bが63.4％で、Chinchilla 70Bの67.5％より低い。HumanEvalの一回生成でテストを通る割合はLLaMA 65Bが23.7％だった。これらは日本語の業務課題の成績を示さない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書を読む担当者向けに、定型文の下書きを作る補助機能の候補としてLLaMAを評価する。入力は担当者が選んだ公開可能な文書と文章作成の指示、出力は見出し付きの草案と、人が確認すべき記述の一覧とする。
担当者が原文と照合して修正し、採用可否を決める。論文の結果は主に英語の標準課題であり、この日本語の業務文書作成に有効という実証ではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず対象文書と作業を一種類に絞り、担当者が過去に作った草案を評価例としてそろえる。文書の要点を人が抜き出して下書きを作る手順を基準とし、モデルが作った草案との差を同じ確認者が記録する。
確認項目は、原文にない事実の追加、重要事項の抜け、修正に要する時間、表現の偏りとする。日本語の指示を変えた場合も同じ項目で測り、利用者が原文に戻って判断できる運用にする。
限界と課題
著者らは、MMLUでは65BがChinchillaやPaLMの大きなモデルに及ばないと報告する。また、生成文の有害さ、宗教や職業と結び付いた偏りを測り、提示した評価だけで危険を十分に把握できるわけではないと述べる。
編集上の確認点は、日本語の理解と生成、業務文書中の根拠の扱い、誤った断定、差別的な表現である。学習資料に公開データを用いたという説明は、個々の業務利用に必要な権利確認の代わりにはならない。
出典
元のタイトル・要旨を確認する（英語）
LLaMA: Open and Efficient Foundation Language Models
We introduce LLaMA, a collection of foundation language models ranging from 7B to 65B parameters. We train our models on trillions of tokens, and show that it is possible to train state-of-the-art models using publicly available datasets exclusively, without resorting to proprietary and inaccessible datasets. In particular, LLaMA-13B outperforms GPT-3 (175B) on most benchmarks, and LLaMA-65B is competitive with the best models, Chinchilla-70B and PaLM-540B. We release all our models to the research community.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29