アーカイブ / RAG
17M・32Mの語別検索モデル、長文検索の精度と保存量を検証
mxbai-edge-colbert-v0
mxbai-edge-colbert-v0の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An overview of the full training process
概要
- 17M版と32M版をEttin系エンコーダーから作り、語別ベクトルによる文書検索に用いた。
- BEIR平均NDCG@10は17M版0.490、32M版0.521、ColBERTv2が0.488。
- NanoBEIRの効率比較では、17M版のCPU時間は487秒、ColBERTv2は1540秒だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、mxbai-edge-colbert-v0の仕組み
- 01質問と候補文書
- 02語別ベクトル化
- 03語別表現を照合
- 04文書を順位付け
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
mxbai-edge-colbert-v0は、質問に合う文書を順位付けする小型の検索モデルである。検索した文書を文章生成の参考情報として渡すRAGでは、先に見つける文書が後続の回答に関わるため、検索の精度が重要になる。
ColBERT型は文書を語ごとの数値表現で保持し、質問と細かく照合する方式である。その分、文書を登録する際の保存量が増える。従来の小型モデルには入力長の制約もあり、著者らは長い文書を扱える小型モデルを検討した。
手法
検索時は質問と候補文書を入力し、Ettin系エンコーダーでトークンごとのベクトルに変える。トークンは文章を処理する際の語などの単位、ベクトルは特徴を表す数値列である。各表現を小さい次元へ変換して保持し、検索時に質問と文書の表現を照合して順位を出す。この後段の照合を「遅延相互作用」と呼ぶ。例えば設備点検の質問と複数のマニュアルを照合し、関連度順に並べる。
作成時はEttinを出発点に、関連する質問と文書の対を使う学習、似ていても正解ではない文書を交えた調整、教師モデルのベクトルへ近づける蒸留を行う。最後のColBERT学習にはMSMARCOを使い、質問ごとに正例1件と負例15件を与えた。蒸留は、大きな教師モデルの出力を小さなモデルの学習目標に使う方法である。
新規性
著者らは、長い入力を扱うEttin系エンコーダーを基に、17Mと32Mパラメータの小型ColBERTモデルを作った。17M版は語別ベクトルを48次元、32M版は64次元にしている。
元のエンコーダーの入力長は8kだが、LongEmbedでは32kの入力も評価し、4kより高い平均値を報告した。小型モデルを今後の学習手法の比較基盤にすることも研究目的としている。
従来手法との違い
ColBERTv2は130Mパラメータ、語別ベクトルは128次元。17M版は48次元で、BEIR平均NDCG@10が0.490、ColBERTv2は0.488だった。NDCG@10は上位10件の順位と関連性を評価する指標で、ここでの差は小さい。
一方、BEIR平均では32M版が0.521、既存の小型モデルanswerai-colbert-small-v1が0.534だった。長文評価でも、大型のGTE-ModernColBERT-v1の32k条件が両モデルを上回る。優位性は比較する課題と条件によって変わる。
実験結果
著者らのBEIR評価では、平均NDCG@10は17M版0.490、32M版0.521、ColBERTv2が0.488だった。LongEmbedの32k入力条件では平均値が順に0.847、0.849。ColBERTv2の0.428は最大入力長512の条件であり、同じ入力長での比較ではない。LongEmbedのNeedleとPasskeyはNDCG@1を用いる。
NanoBEIRの効率比較は、約6.7万文書の符号化と約650質問の検索・採点を含む10回の平均である。著者らの報告ではCPU時間が17M版487秒、ColBERTv2が1540秒。300トークンの文書1万件を16ビット表現で保存する条件では、それぞれ275MBと732MBだった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の長い設備保全マニュアルから、点検担当者の質問に関係する文書を探す。入力は質問文と登録済みのマニュアル、出力は関連度順の文書一覧とし、担当者が該当箇所を原文で確認する。
試行には検索対象の原文、実際の質問、正解に当たる文書のラベルが必要になる。追加学習をするなら、その質問と文書の対応を学習用にも整える。専用センサーは不要だが、社内用語の表記と長文の登録単位は対象業務に合わせて調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務のマニュアル原文を小規模に集め、実際の質問と正解文書のラベルを用意する。同じ文書登録単位と質問群で、現行の検索方法を基準に17M版と32M版の上位10件の順位を比較する。
専用センサーは不要。まず追加学習なしで試し、必要なら社内用語の表記や文書の分割を調整する。追加学習を検討する場合は、質問と関連文書の対など、対象業務のラベル付き学習データを別に準備する。NDCG@10、検索時間、登録文書の保存量を測り、調整に使わなかった質問でも確かめる。
限界と課題
著者らは、17M版で小文字化が効いた理由を詳しく調べていない。また、射影層の比較では評価したチェックポイントが少なく、有意差検定を行っていないと記す。これらは著者が示した結果解釈上の留保である。
編集上の検証事項は、日本語の社内文書でも順位が保たれるか、登録文書の保存量と更新時間が許容範囲か、長文をどう区切ると必要箇所を見つけやすいかである。掲載されたCPU時間は特定のNanoBEIR評価条件の値であり、個別の業務環境での所要時間を示さない。
出典
元のタイトル・要旨を確認する（英語）
Fantastic (small) Retrievers and How to Train Them: mxbai-edge-colbert-v0 Tech Report
In this work, we introduce mxbai-edge-colbert-v0 models, at two different parameter counts: 17M and 32M. As part of our research, we conduct numerous experiments to improve retrieval and late-interaction models, which we intend to distill into smaller models as proof-of-concepts. Our ultimate aim is to support retrieval at all scales, from large-scale retrieval which lives in the cloud to models that can run locally, on any device. mxbai-edge-colbert-v0 is a model that we hope will serve as a solid foundation backbone for all future experiments, representing the first version of a long series of small proof-of-concepts. As part of the development of mxbai-edge-colbert-v0, we conducted multiple ablation studies, of which we report the results. In terms of downstream performance, mxbai-edge-colbert-v0 is a particularly capable small model, outperforming ColBERTv2 on common short-text benchmarks (BEIR) and representing a large step forward in long-context tasks, with unprecedented efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01