アーカイブ / LLM
検索順位の蒸留で、評価データの混入は生徒モデルに伝わるか
Training on the Test Model: Contamination in Ranking Distillation
Training on the Test Model: Contamination in Ranking Distillationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Table 1. Measuring the effect of training data contamination through distillation, rows denoted LCE are teacher models, with all other models being distilled from semi-supervised signals. denotes contamination of training data either by inclusion of test data or use of a contaminated teacher. Significance is denoted with respect to the standard teacher with ∗ (paired t-test p < 0.05 p<0.05 ).
概要
- 評価用の関連度判定から教師の学習例を作り、混入の影響が知識蒸留後の生徒にも伝わるかを調べた。
- DL2019のnDCG@10は、混入なし・ありの順に教師が0.701・0.740、MarginMSEの生徒が0.712・0.728だった。
- 文書の順序を学ぶRankNetでも混入の影響を確認した一方、DL2020では混入教師のnDCG@10が低下した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Training on the Test Model: Contamination in Ranking Distillationの仕組み
- 01検索語・文書・関連度判定
- 02教師の学習
- 03教師の順位を蒸留
- 04生徒の検索順位
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索順位モデルは、検索語に合う文書を上位へ並べる。大きなモデルの計算負担を抑える方法として、その判断を小さなモデルに学ばせる「知識蒸留」が使われる。
教師モデルが評価用の質問や正解を学習していた場合、生徒の評価結果にも影響し得る。教師の学習資料が分からないと、測定された順位品質のうち、手法による改善と評価データの混入による影響を切り分けにくい。
手法
著者らは評価用の検索語、文書、人が付けた関連度判定から、関連文書と非関連文書の学習例を作った。判定が0～3のデータでは、2以上を関連ありとする。評価用データを加えた教師と加えない教師を同じ構成で学習し、それぞれを生徒の学習に使う。例えばCOVID-19関連の記事を探す質問では、記事の判定を教師の学習に加えた場合の影響を調べる。
教師は検索語と文書を一緒に読んで関連度を付けるモデルである。生徒には同じ型と、検索語と文書を別々の数値表現に変えて近さを測る型を使った。教師の点数差、点数分布、または文書の前後関係を生徒に学ばせ、BM25という検索手法で得た候補の並べ替えを評価した。
新規性
著者らは、評価用データを教師の学習に直接混ぜる「データ混入」を再現し、その教師から学ぶ生徒の検索順位を調べた。混入の有無を管理できるため、教師の評価だけでなく、蒸留後の生徒への影響も追える。
教師の関連度点数を使う方法に加え、文書の前後関係だけを使うRankNetでも混入の影響を確認した。点数を取得できない教師を使う場面にも関わる知見だが、実験の教師は商用APIモデルではない。
従来手法との違い
基準は、評価用データを学習に加えていない教師と、その教師から学んだ生徒である。同じ構成で評価用データを加えた教師と生徒を作り、検索順位の差を比較した。
蒸留には、関連文書と非関連文書の点数差を合わせるMarginMSE、候補間の点数分布を合わせるKLダイバージェンス、文書の前後関係を学ぶRankNetを使った。比較が示すのは、この実験条件での混入の影響である。
実験結果
著者らは約880万件のMSMARCO文書を用い、TREC Deep Learning 2019の43件、2020の52件の検索語で評価した。COVID-19関連の質問と記事からなるTREC COVIDも使った。指標は上位10件の順位品質を表すnDCG@10、平均適合率のMAP、上位100件の再現率R@100である。
表1では、DL2019のnDCG@10は教師が混入なし0.701、あり0.740、MarginMSEで学んだ生徒がそれぞれ0.712、0.728だった。一方、DL2020の教師は0.700から0.688へ低下した。著者らは、評価用データが教師の学習例の0.1％未満でも、生徒に混入の影響が生じたと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書検索の順位付けを小さなモデルへ移す際、教師の学習資料と評価用の質問が重なるかを調べる。入力は社員の検索語と候補文書、出力は関連度順に並べた検索結果とする。
社内の検索語・文書と、人が付けた関連度ラベルを用意し、教師と生徒を社内の語彙に合わせて調整する。テキスト検索なのでセンサーは不要である。評価用データとの重複を記録し、蒸留後の順位への影響を検証する案であり、論文が社内検索での改善を実証したわけではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内の検索語と候補文書を集め、人が関連度ラベルを付ける。学習用と最後まで伏せる評価用を分け、質問や文書の重複を記録する。必要な入力はテキストとラベルで、センサーは不要である。
社内の語彙に合わせて教師と生徒を調整し、同じ評価用質問で、教師を使わない基準と出所を確認できる教師から学んだ生徒を比べる。nDCG@10、MAP、応答時間を測り、順位に差が出た場合は評価用データの混入を点検する。
限界と課題
著者らが調べたのは、評価用の関連度判定から学習例を作り、教師を直接学習させる最悪条件である。実験ではDL2020の混入教師のnDCG@10が低下し、混入の影響は指標やデータセットによって異なった。
編集上の検証事項は、実際に使う教師の学習資料と評価用データの重複をどこまで確認できるかである。非公開モデルでの混入量は、この実験の数値から推定できない。質問の言い換えによる重複や、別時期の質問での順位品質も確認が必要になる。
出典
元のタイトル・要旨を確認する（英語）
Training on the Test Model: Contamination in Ranking Distillation
Neural approaches to ranking based on pre-trained language models are highly effective in ad-hoc search. However, the computational expense of these models can limit their application. As such, a process known as knowledge distillation is frequently applied to allow a smaller, efficient model to learn from an effective but expensive model. A key example of this is the distillation of expensive API-based commercial Large Language Models into smaller production-ready models. However, due to the opacity of training data and processes of most commercial models, one cannot ensure that a chosen test collection has not been observed previously, creating the potential for inadvertent data contamination. We, therefore, investigate the effect of a contaminated teacher model in a distillation setting. We evaluate several distillation techniques to assess the degree to which contamination occurs during distillation. By simulating a ``worst-case'' setting where the degree of contamination is known, we find that contamination occurs even when the test data represents a small fraction of the teacher's training samples. We, therefore, encourage caution when training using black-box teacher models where data provenance is ambiguous.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01