アーカイブ / LLM
各単語で二つの専門部品を選ぶ言語モデルMixtral 8x7B
Mixtral 8x7B
Mixtral 8x7Bの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Mixture of Experts Layer. Each input vector is assigned to 2 of the 8 experts by a router. The layer’s output is the weighted sum of the outputs of the two selected experts. In Mixtral, an expert is a standard feedforward block as in a vanilla transformer architecture.
概要
- 各層の八つの専門部品からトークンごとに二つを選び、約130億のパラメータを稼働させる。
- 著者らの評価ではHumanEvalが40.2%で、Llama 2 70Bの29.3%を上回った。
- 全体の重みは約470億パラメータ分あり、稼働数だけでは必要メモリや実速度は分からない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Mixtral 8x7Bの仕組み
- 01入力文の単語片
- 02ルーターが二つ選択
- 03専門部品の出力を合成
- 04続きの文章
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
大きな言語モデルは多くの知識や処理能力を持てる一方、各回答で全体を計算すると負担が増える。実務で利用を考える際は、回答の質だけでなく、入力できる長さや処理の重さも判断材料となる。
Mixtral 8x7Bは、モデル内に複数の処理部品を置き、入力の一部分ごとに使う部品を選ぶ設計を採る。限られた稼働パラメータ数で幅広い課題へ対応できるかを検証した研究である。
手法
入力文はトークンという単語や文字列の小片に分けて処理する。Mixtralの各層には、通常の言語モデルで文章情報を変換する部分に相当する八つの「専門家」がある。ルーターと呼ぶ選択部が、トークンごとに八つから二つを選び、それぞれの出力を重み付きで足し合わせる。たとえば関数の説明を続けて書く際も、次の小片を予測するたびに、層ごとに選ばれる組み合わせが変わり得る。
この方式を疎な専門家混合という。「疎」は、毎回すべての専門家を動かさない意味だ。モデルは32,768トークンの文脈長で学習され、文章の続きを順に生成する。指示に沿った会話用には、教師あり追加学習と、人の選好に近い回答を選びやすくする追加学習を施したMixtral 8x7B Instructも示されている。
新規性
Mixtral 8x7Bは、各層に八つの専門部品を置き、単語片ごとに二つを選ぶ疎な専門家混合を採用する。全体で約470億のパラメータを持ちながら、一つの単語片の計算に使うのは約130億である。
著者らの主張は、全パラメータを毎回計算せずにモデル容量を増やし、数学、コード、多言語などの課題で競争力を得た点にある。専門部品が分野別に明確に分かれたという主張ではない。
従来手法との違い
比較対象のLlama 2 70Bは、各単語片の処理に約700億のパラメータを使う。Mixtral 8x7Bは各層で選ばれた二つの専門部品だけを計算するため、稼働するパラメータ数は約130億となる。
ただし、全体の重み約470億分を保持する必要があり、稼働数だけで必要メモリや実際の処理速度は決まらない。著者らも、振り分け処理とメモリ読み出しの負担に触れ、速度面の評価には処理条件が関わるとしている。
実験結果
著者らは自分たちの評価手順でMixtralとLlamaを再評価した。表にあるMixtral 8x7BとLlama 2 70Bの比較では、知識問題MMLUが70.6%対69.9%、コード課題HumanEvalが40.2%対29.3%、数学課題MATHが28.4%対13.8%だった。
一方、HellaSwagは84.4%対85.4%、WinoGrandeは77.2%対80.4%で、全項目で上回るわけではない。長文中に埋めた合言葉を探す人工課題では、著者らは入力長と配置にかかわらず100%の検索精度を報告する。これは実務文書全体の理解率を測った値ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：開発部門の多言語コード説明案を作る。入力は短い関数、既存の説明、説明を求める言語で、出力は処理内容と注意点を記した草案とする。
担当者が草案を元コードと照合し、誤った動作説明を修正してから共有する。論文にはコード生成や欧州四言語の評価があるが、日本語の業務文書品質を直接示す結果はないため、日本語を使う場合は別に測定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の開発文書から、短いコードと正解が確認できる説明課題を選ぶ。現在使うモデルの出力を基準に、同じ指示と入力長でMixtralの草案を得る。
担当者が処理内容の一致率、重要な条件の抜け、修正に要した時間を記録する。同時利用数を変えたときの応答時間と必要メモリも測り、約130億の稼働パラメータという数値だけで運用負担を判断しない。日本語の課題は独立に集計する。
限界と課題
著者らは、稼働パラメータ数による計算量の比較が、メモリ費用と装置の利用効率を含まないと明記している。専門部品への振り分けには追加の負担があり、専門部品への処理集中も起こり得る。
編集上の確認課題は、自社の入力長と同時利用数での応答時間、必要メモリ、説明文の事実一致率である。論文の言語別ベンチマークはフランス語、ドイツ語、スペイン語、イタリア語を示すため、日本語で同じ傾向が出るとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Mixtral of Experts
We introduce Mixtral 8x7B, a Sparse Mixture of Experts (SMoE) language model. Mixtral has the same architecture as Mistral 7B, with the difference that each layer is composed of 8 feedforward blocks (i.e. experts). For every token, at each layer, a router network selects two experts to process the current state and combine their outputs. Even though each token only sees two experts, the selected experts can be different at each timestep. As a result, each token has access to 47B parameters, but only uses 13B active parameters during inference. Mixtral was trained with a context size of 32k tokens and it outperforms or matches Llama 2 70B and GPT-3.5 across all evaluated benchmarks. In particular, Mixtral vastly outperforms Llama 2 70B on mathematics, code generation, and multilingual benchmarks. We also provide a model fine-tuned to follow instructions, Mixtral 8x7B - Instruct, that surpasses GPT-3.5 Turbo, Claude-2.1, Gemini Pro, and Llama 2 70B - chat model on human benchmarks. Both the base and instruct models are released under the Apache 2.0 license.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29