アーカイブ / LLM
学習言語を段階的に増やす多言語エンコーダーmmBERT――検索性能と低資源言語の検証点
mmBERT
概要
- mmBERTは約3兆トークンで学習し、対象言語を60、110、1833へ段階的に増やす多言語エンコーダー。
- 著者らの多言語MTEB v2評価では、Baseのカテゴリ平均が54.1で、XLM-R Baseの52.4を上回った。
- 終盤に加えた二言語では質問応答のF1が改善したが、対象言語や業務文書での性能は個別に検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、mmBERTの仕組み
- 01多言語の学習文
- 0260言語で事前学習
- 03110言語で継続学習
- 041833言語で終盤学習
- 05統合したエンコーダー
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
mmBERTは、文章を分類や検索に使える内部表現へ変換する多言語エンコーダーである。エンコーダーは入力を読み取って特徴を取り出すモデルで、回答文そのものを作る用途とは役割が異なる。多言語の問い合わせ整理では、言語による精度差が実務上の問題になる。
著者らは、分類や検索で使われる多言語エンコーダーに近年の研究が少なく、XLM-Rなどが長く比較対象になってきたと指摘する。特に文章量の少ない言語では、十分な学習データを集めにくい。
手法
mmBERTは、約3兆トークンの文章で学習する。トークンはモデルが文章を処理する単位で、学習では一部を隠し、周囲から予測させる。Baseモデルは最初の60言語で30％、中盤の110言語で15％、終盤の1833言語で5％を隠す。例えばフェロー語は終盤に加わる言語の一つである。
言語の抽出比率は、文章が豊富な言語に偏った状態から、より均等な状態へ変える。中盤には一度に扱う長さを最大8192トークンへ拡張する。終盤には異なる言語構成で学習した版があり、Baseの最終モデルでは各版から選んだ学習途中の状態を統合する。得られたモデルを分類や検索の課題に合わせて使う。
新規性
著者らが提案するのは、学習を進めながら言語数を60、110、1833へ増やし、言語ごとの文章の抽出比率も変える方法である。文章量が少ない言語を終盤に加え、同じデータを繰り返し使いすぎることを避ける狙いがある。
隠す語の割合もBaseモデルでは30％、15％、5％へ段階的に下げる。ただし、語を隠す割合の変更は終盤以外で個別に効果を検証できなかったと著者らは記す。各工夫が全体の性能差にどれだけ寄与したかは、この結果だけでは分からない。
従来手法との違い
比較対象のXLM-R Baseも、文章の分類や検索に使う多言語エンコーダーである。著者らの評価では、英語GLUEの平均がmmBERT Baseの86.3に対して83.3、多言語XTREMEの平均が72.8に対して70.4だった。
多言語MTEB v2では、両モデルを英語のMS MARCOで学習させた後、カテゴリ平均で54.1対52.4だった。ただしXTREMEの単語単位の予測ではmmBERTが下回る項目もある。これらは掲載された課題と条件での比較であり、業務データでの差を示すものではない。
実験結果
著者らは英語GLUE、多言語XTREME、検索などを含む多言語MTEB v2で評価した。mmBERT BaseとXLM-R Baseの平均は、GLUEで86.3対83.3、XTREMEで72.8対70.4だった。多言語MTEB v2は、英語MS MARCOで学習させたモデルを比べたカテゴリ平均で、54.1対52.4だった。
終盤に追加した言語は、英語SQuADから学習内容を転用する条件で、ティグライ語のTiQuaDとフェロー語のFoQAを評価した。著者らは110言語版から1833言語版への変更で、BaseのF1がそれぞれ絶対値で12.1点、15.4点上がったと報告する。評価された低資源言語はこの二つである。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数言語で書かれた社内FAQから、問い合わせに近い項目を探す窓口を想定する。入力は承認済みFAQの本文と質問文、出力は関連度順に並べたFAQ候補と文書IDとし、担当者が本文を確認して回答する。
必要な元データは検索対象のFAQと対象言語の問い合わせ記録である。調整する場合は、質問と正しいFAQの対応を人手でラベル付けする。センサーは使わず、社内用語と文書の区切り方に合わせて検索用の索引を整える。精度向上はこの用途で検証する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：数言語のFAQ検索に対象を絞り、版を固定したFAQ本文と実際の問い合わせ文を用意する。質問と正しいFAQの対応を人手でラベル付けし、学習用と評価用に分ける。センサーは不要で、各モデルに同じ文書分割と検索用の索引を適用する。
mmBERT BaseとXLM-R Baseを基準比較とし、必要な追加学習には同じ対応データを使う。言語別に、上位候補へ正解が入る割合と応答時間を測る。同一文面の重複を除き、担当者が誤検索を確認する。社内用語や文書分割を調整した後も差が続くか確かめる。
限界と課題
著者らが明記する制約は、学習に使える文章が極めて少ない、または存在しない言語が残ることだ。また、XTREMEの品詞付けなど一部の単語単位の予測ではXLM-Rを下回り、著者らは事前学習時の語頭の空白処理を原因の一つと推測している。
編集上の検証事項は、対象言語や社内用語が実データでどの程度扱えるか、長いFAQを分割したときに正解を取り逃さないかである。二つの低資源言語で報告された改善やベンチマークの平均値から、個々の言語や社内文書での検索精度は判断できない。
出典
元のタイトル・要旨を確認する（英語）
mmBERT: A Modern Multilingual Encoder with Annealed Language Learning
Encoder-only languages models are frequently used for a variety of standard machine learning tasks, including classification and retrieval. However, there has been a lack of recent research for encoder models, especially with respect to multilingual models. We introduce mmBERT, an encoder-only language model pretrained on 3T tokens of multilingual text in over 1800 languages. To build mmBERT we introduce several novel elements, including an inverse mask ratio schedule and an inverse temperature sampling ratio. We add over 1700 low-resource languages to the data mix only during the decay phase, showing that it boosts performance dramatically and maximizes the gains from the relatively small amount of training data. Despite only including these low-resource languages in the short decay phase we achieve similar classification performance to models like OpenAI's o3 and Google's Gemini 2.5 Pro. Overall, we show that mmBERT significantly outperforms the previous generation of models on classification and retrieval tasks -- on both high and low-resource languages.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01