アーカイブ / LLM
2Bと7Bを公開した言語モデルGemmaの性能と導入時の確認点
Gemma
概要
- Gemmaは2Bと7Bの規模で、事前学習済みと指示調整済みのモデルを公開した。
- 著者らは18の文章課題のうち11課題で同規模の公開モデルを上回ったと報告するが、課題ごとに優劣がある。
- 主に英語のデータで学習されており、日本語業務での正確さと安全性は用途別に確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Gemmaの仕組み
- 01入力テキスト
- 02トークン分割
- 03文脈の処理
- 04応答テキスト
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
業務向けの文章生成には、質問への応答だけでなく、求める計算規模に合うモデルを選び、誤回答や不適切な出力を確かめる必要がある。大きなモデルの一般的な成績だけでは、個々の業務での使いやすさは分からない。
Gemmaは異なる規模の公開モデルを提示する。モデルの選択肢と評価結果を一緒に読むことで、試行する課題と追加検証が必要な点を整理できる。
手法
Gemmaは文章をトークンという処理単位に分け、Transformerのデコーダーで前後の関係を捉えながら、続く文章を生成する。用意された規模は約20億パラメータの2Bと約70億パラメータの7Bで、パラメータは学習で調整する数値を指す。学習時に扱う文脈の長さは8,192トークンである。
事前学習には主に英語のウェブ文書、数学、コードを使い、その後、質問と回答の組による教師あり調整と、人の好みを利用する追加調整を行った。例えば質問文を入力すると、指示調整済みモデルは回答文を出す。報告書は指示調整済みモデルで指定の会話形式を使うよう説明している。
新規性
Gemmaの特徴は、Geminiの研究と技術を基にした2Bと7Bのモデルについて、事前学習済みと指示調整済みの重みをそれぞれ公開した点にある。推論と配信のためのコードも示している。
技術報告はモデル構成、学習方法、能力評価に加え、安全性に関する評価と公開時の対策を扱う。ただし、公開された規模や評価値だけで、個別業務に適合すると結論付けることはできない。
従来手法との違い
著者らは、同程度の規模の公開モデルとの比較で、文章に関する18課題のうち11課題でGemmaが上回ったと述べる。比較表にはMistral 7Bなどが含まれ、課題によって優劣は異なる。
例えば表中のMMLUではGemma 7Bが64.3、Mistral 7Bが62.5である。一方、PIQAではGemma 7Bが81.2、Mistral 7Bが82.2であり、全課題で優位という結果ではない。
実験結果
著者らは言語理解、推論、数学、コード、安全性などを評価した。Gemma 7BはMMLUで64.3％、HumanEvalで32.3％、GSM8Kで46.4％と報告する。指示調整済み7Bは、約1,000件の指示遂行用質問でMistral v0.2 7B Instructと比較し、引き分けを半分ずつ数えた勝率が51.7％だった。
安全性向けの約400件では同じ比較方法で58％だった。これらは異なる課題と条件の数値であり、一つの総合点にはできない。著者ら自身も、用途に応じた安全性試験を利用者に求めている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定型的な技術問い合わせに対し、担当者が用意した短い説明文を基に回答案を作る。入力は質問と確認済みの説明文、出力は根拠となる箇所を示した回答案である。
担当者が内容を照合してから利用者へ渡し、根拠が足りない質問は保留する。この用途は論文で実証された社内運用ではなく、文章生成能力を試すための案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：回答が確認しやすい社内質問を少数選び、正解に必要な説明文を添える。現在の回答作成手順を基準に、Gemma 2Bと7Bの指示調整済みモデルで回答案を作り、人が正確さと根拠の有無を採点する。
誤った断定、質問の取り違え、機密情報を含む出力の件数も記録する。日本語の質問と専門語を含む質問を分けて集計し、回答の修正時間まで含めて使う価値を判断する。
限界と課題
著者らは、試験を行ってもすべての用途や状況を覆えないと明記している。また、誤った内容の生成、偏り、個人情報の漏出、有害な出力などを下流利用のリスクに挙げる。事前学習データは主に英語で、モデルはマルチモーダル用ではない。
編集上の確認点は、日本語の業務文での正確さ、指示への従い方、機密情報を含む入力と出力の扱いである。公開モデルであること自体は、これらの問題が解消済みであることを意味しない。
出典
元のタイトル・要旨を確認する（英語）
Gemma: Open Models Based on Gemini Research and Technology
This work introduces Gemma, a family of lightweight, state-of-the art open models built from the research and technology used to create Gemini models. Gemma models demonstrate strong performance across academic benchmarks for language understanding, reasoning, and safety. We release two sizes of models (2 billion and 7 billion parameters), and provide both pretrained and fine-tuned checkpoints. Gemma outperforms similarly sized open models on 11 out of 18 text-based tasks, and we present comprehensive evaluations of safety and responsibility aspects of the models, alongside a detailed description of model development. We believe the responsible release of LLMs is critical for improving the safety of frontier models, and for enabling the next wave of LLM innovations.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29