アーカイブ / LLM
70億パラメータで性能と推論効率を両立するMistral 7B
Mistral 7B
Mistral 7Bの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Sliding Window Attention. The number of operations in vanilla attention is quadratic in the sequence length, and the memory increases linearly with the number of tokens. At inference time, this incurs higher latency and smaller throughput due to reduced cache availability. To alleviate this issue, we use sliding window attention: each token can attend to at most W W tokens from the previous layer (here, W = 3 W=3 ). Note that tokens outside the sliding window still influence next word prediction. At each attention layer, information can move forward by W W tokens. Hence, after k k attention layers, information can move forward by up to k × W k\times W tokens.
概要
- GQA、SWA、固定長の循環キャッシュを組み合わせ、回答生成時の処理負荷を抑える設計。
- 著者らの比較表ではMMLUが60.1％、GSM8Kが52.2％で、Llama 2 13Bの値を上回った。
- 知識課題には個別の例外があり、実務では日本語の正確さと長い履歴の扱いを別途測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Mistral 7Bの仕組み
- 01質問文と履歴
- 02注意情報を共有
- 03直近の語を参照
- 04回答文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大規模言語モデルは、規模を増すほど計算資源と応答時間が実用上の負担になりやすい。問い合わせ対応や開発支援では、回答の質だけでなく、入力が長くなったときの処理負荷も導入判断に関わる。
Mistral 7Bは、約70億のパラメータを持つモデルで、この両面を狙った。パラメータとは学習で調整される内部の数値で、単に数が多ければ運用しやすいわけではない。
手法
Mistral 7Bは、入力中の語がどの語を参照するかを決める「注意機構」に二つの工夫を加える。GQAは複数の問い合わせ側のまとまりで参照用の情報を共有し、回答を一語ずつ作る際に保持する情報量を減らす。SWAは各層で主に直近4096語相当の範囲を見る方式で、全履歴を毎回直接調べる計算を抑える。
層を重ねることで、窓より前の情報も間接的に伝わり得る。長い入力は小分けにして事前処理し、生成時の参照情報は固定長の領域で古い部分を上書きする。例えば長い対話履歴と新しい質問を与えると、これらの処理を経て次の語を順に出力し、回答文を組み立てる。
新規性
著者らの主張する進歩は、70億パラメータの言語モデルにGQAとSWAを組み合わせ、長い入力を扱う際の推論負荷を抑えながら、幅広い課題で大きなモデルと競える性能を示した点にある。
固定長の循環キャッシュを使い、古い情報を順に上書きする実装も示した。指示に従うよう追加調整したMistral 7B Instructは、基盤モデルとは分けて評価されている。
従来手法との違い
比較対象は主にLlama 2の70億・130億パラメータ版、Llama 1の340億パラメータ版である。著者らは同じ評価手順で再測定し、Mistral 7Bが推論、数学、コード生成などで強い結果を得たと報告する。
ただし表の個別値まで見ると、NaturalQuestionsではMistral 7Bが28.8％、Llama 2 13Bが29.0％である。「全指標で上回る」という本文の総括を、すべての数値に例外がない意味で受け取るべきではない。指示調整版の比較相手はLlama 2 13B Chatである。
実験結果
著者らは常識推論、知識、読解、数学、コード生成を含む課題で比較した。表ではMMLUがMistral 7Bの60.1％に対しLlama 2 13Bは55.6％、GSM8Kは52.2％対34.3％、HumanEvalは30.5％対18.9％だった。課題ごとに例題を与える数などの条件は異なる。
効率面では、長さ1万6000語相当の入力で通常の注意機構に対して2倍の速度、長さ3万2000語相当でキャッシュのメモリ使用量を8分の1にしたと著者らは報告する。Instruct版のMT-Benchは6.84±0.07、Llama 2 13B Chatは6.65だった。これらは条件付きの測定値である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定型的な技術問い合わせに対し、質問文と必要な短い手順書を入力して回答案を作る。担当者は回答の根拠と手順の正しさを確認してから送信し、誤答の種類を記録する。
長い会話履歴を含む問い合わせも別枠で試し、履歴が増えたときの応答時間と内容の取り違えを測る。論文のベンチマーク結果だけで、社内文書への適合性や日本語の回答品質を推定しない運用にする。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の問い合わせから、短文、長い履歴、数値確認を含む例を選び、正解または担当者の判断基準を先に作る。Mistral 7B Instructと現在の回答作成手順を同じ入力で比べる。
測定項目は、担当者が修正せず使える回答の割合、事実誤認、回答までの時間とする。長い履歴では、冒頭にある重要事項を回答が拾えるかも確認する。基盤モデルとInstruct版を混同せず、使用した指示文と入力長を記録する。
限界と課題
著者らは、知識を問う課題ではモデルサイズによる情報保持量の制約があり得ると述べる。安全性についても、示された拒否率は175件の有害な質問と指定のシステム指示を使った条件での結果である。
編集上の確認課題は、日本語の専門用語、長い入力での情報保持、回答の事実性、実際の応答時間である。窓の外の語も層を通じて影響し得るという仕組み上の説明は、遠くの情報を常に正確に使える保証を意味しない。
出典
元のタイトル・要旨を確認する（英語）
Mistral 7B
We introduce Mistral 7B v0.1, a 7-billion-parameter language model engineered for superior performance and efficiency. Mistral 7B outperforms Llama 2 13B across all evaluated benchmarks, and Llama 1 34B in reasoning, mathematics, and code generation. Our model leverages grouped-query attention (GQA) for faster inference, coupled with sliding window attention (SWA) to effectively handle sequences of arbitrary length with a reduced inference cost. We also provide a model fine-tuned to follow instructions, Mistral 7B -- Instruct, that surpasses the Llama 2 13B -- Chat model both on human and automated benchmarks. Our models are released under the Apache 2.0 license.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29