アーカイブ / RAG
22層を4層に減らした多言語検索モデル、Bekko Embeddingの学習法と実測結果
Bekko Embedding
Bekko Embeddingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Parameter efficiency of multilingual embedding models: retrieval quality (HAKARI-Bench Overall, a lightweight benchmark created by the author; § 4.1 ) versus Active Parameters (log scale). The staircase shows the best observed score attainable under a given AP budget; it does not interpolate between measured models. a8m and a25m extend the efficiency frontier of the unified comparison set ( § 4.2 ) into a band one to two orders of magnitude smaller in AP. The same picture is confirmed on the primary evaluation, official MMTEB Multilingual v2 ( § 5.1 , Figure 4 ).
概要
- mmBERT-smallの22層を4層または13層に減らし、多言語の文章対と難しい負例を使って二段階で学習する。
- 著者の報告では、公式MMTEB Multilingual v2検索のnDCG@10はa8mが56.2、a25mが57.5。
- 同一条件の速度比較で、a8mはx86 CPU上でmultilingual-e5-smallの約1.6倍。実際の文書での品質と速度は導入前に測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Bekko Embeddingの仕組み
- 01多言語の質問・文書
- 02短縮した符号化器
- 03384次元ベクトル
- 04類似文書候補
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Bekko Embeddingは、質問と文書を数値列に変え、近い文書を探す多言語検索モデルである。この数値列を「埋め込み」と呼ぶ。大量の文書を登録するときやCPUで質問を処理するときは、変換にかかる時間が運用上の負担になる。
多言語モデルでは語彙表が大きくなり、配布ファイルも重くなりやすい。本研究は、文章の文脈を読む処理層を減らし、検索品質を測りながら、推論速度と配布サイズを検討している。
手法
著者は、文脈を考慮して文章を数値化する符号化器mmBERT-smallの22層から、a8mでは4層、a25mでは13層を残す。層は文章の表現を順に更新する処理段階で、残した重みを学習の初期値にする。まず約11億組の多言語テキスト対を使い、関連する文章の数値列を近づける「対照学習」を行う。
次に、正解と紛らわしい「難しい負例」を使って調整する。この段階には8192トークンの長文文書の負例も含む。両段階で対の種類に応じて比較の向きを変え、数値列を途中で切っても使えるようにするMatryoshka学習を併用する。利用時は質問と各文書を384次元の数値列に変え、近さで候補を選ぶ。
新規性
著者が示す中心的な成果は、mmBERT-smallの22層から4層または13層を残し、教師モデルの出力をまねる「蒸留」を使わずに多言語検索モデルを学習した点にある。a8mのActive Parametersは約767万で、検索に使う文脈依存の符号化器を小さくした。
語彙表を除くパラメータ数を比較の軸に据えているが、著者はこの数え方自体を新しい発明とはしていない。層の削減、対照学習、語彙表の圧縮を組み合わせて、検索品質と実行時の負荷を調べている。
従来手法との違い
比較表ではmultilingual-e5-smallのActive Parametersは約2160万、最大入力長は512トークンである。Bekko a8mは約767万で8192トークンまで扱い、著者が同じ作業と機器で測ったx86 CPU上の速度は約1.6倍だった。
著者の比較では、a8mの公式MMTEB Multilingual v2検索スコアはmultilingual-e5系列とBGE-M3を上回る。比較対象、課題、実行条件を限定した結果であり、個々の言語や社内文書でも同じ順位になるとは示されていない。
実験結果
著者によると、公式MMTEB Multilingual v2の検索課題で、上位10件の順位を考慮するnDCG@10はa8mが56.2、a25mが57.5だった。14言語のMultilingual NanoBEIRでも同様の傾向を報告し、長文検索のNanoLongEmbedではa25mが比較対象中で最も強い密ベクトルモデルだったとしている。
同じ作業と機器で測った比較では、a8mは対象モデル中でCPU・GPUとも最速で、x86 CPUではmultilingual-e5-smallの約1.6倍だった。語彙表を8ビットに圧縮したa8mの配布ファイルは124 MiB。確認できた本文の範囲では、課題別の数値や速度測定の詳細設定までは追えない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：日本語と英語が混在する社内手順書から、担当者の質問に関連する文書を探す。入力は質問文と、版や部署を記録した文書本文とし、出力は類似度順の候補と原文への参照にする。
必要な元データは検索対象の手順書で、質問と正解文書の組を評価用ラベルとして人手で作る。センサーは不要。まず文書の区切り方と検索索引を業務に合わせ、略語への対応が不足する場合だけ追加学習用の質問・文書対を集める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象部署の日本語・英語の手順書を集め、見出しと本文を検索単位に分けて登録する。必要な元データは文書と実際の質問で、センサーは使わない。初回はモデルを追加学習せず、文書の区切り方だけを業務に合わせる。
担当者が質問ごとに正解文書をラベル付けし、現在の検索方式を基準に、上位10件に正解が入る割合と質問1件当たりの応答時間を比べる。略語や長文で失敗が多ければ、区切り方を調整して再測定する。追加学習を試す場合は、失敗した質問と正解文書の対を別途集める。
限界と課題
著者は、Active Parametersだけで推論時間は決まらず、入力長や注意機構、実行環境にも左右されると説明する。また、残す層を変えた実験から、検索に必要な知識が特定の層にあると因果的には断定していない。
編集上の検証事項は、自社文書の言語、略語、長さでの検索品質と処理時間である。124 MiBという配布ファイルの容量や著者の比較環境での速度から、自社端末の読み込み時間、メモリ使用量、文書更新時の再索引時間までは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Bekko Embedding: Parameter-Efficient Multilingual Retrieval with Ultra-Compact Encoders
How small can a competitive multilingual retrieval model be? We present Bekko Embedding: its smallest model, bekko-embedding-v1-a8m, has just under 8M Active Parameters (AP) -- the non-embedding parameters that dominate inference compute -- yet on official MMTEB Multilingual v2 Retrieval (nDCG@10) it scores 56.2, above the multilingual-e5 family and BGE-M3 (40x the AP) in our comparison. The higher-quality bekko-embedding-v1-a25m (just under 25M AP) reaches 57.5, on par with gte-multilingual-base, and Multilingual NanoBEIR (14 languages) confirms the trend. Both models handle inputs of up to 8192 tokens, and on long-input retrieval (NanoLongEmbed) a25m is the strongest dense model in our comparison. The recipe is deliberately simple. We prune the 22-layer multilingual encoder mmBERT-small to 4 / 13 layers and train the pruned models in two stages -- large-scale contrastive learning on about 1.1 billion multilingual pairs from our public corpus, followed by hard-negative fine-tuning with 8192-token long-document negatives -- with a masked contrastive loss whose direction depends on pair type, plus the Matryoshka objective. No teacher distillation is used, and all training completes on a single GPU in about 3 days for a8m. Small AP pays off directly in speed: among the compared models measured under identical conditions, a8m is the fastest on both CPU and GPU -- 1.6x multilingual-e5-small on x86 CPU -- and the fastest on a Raspberry Pi 5. The 384-dimensional output (truncatable to 256/128/64) keeps similarity search and indexing cheap, and row-wise int8 quantization of the vocabulary embedding shrinks the a8m ONNX / OpenVINO build to 124 MiB, which runs in the browser via Transformers.js. To support reproducible research, we release the model weights, the complete stage-1 corpus, and the independently mined stage-2 hard negatives.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01