表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

文書に一文を足して検索順位を動かすCRAFT:順位だけを使った学習と検証

CRAFT

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

CRAFTの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1. Overview of the CRAFT framework, which consists of three stages: (a) adversarial dataset generation, (b) supervised fine-tuning, and (c) direct preference optimization. The dataset produced in Stage 1 is used for supervised fine-tuning in Stage 2, after which the model is further optimized in Stage 3 via querying the neural ranking model as the policy model.

出典:CRAFT / arXiv ↗

概要

  • CRAFTは、検索モデルが返す順位を学習信号にし、対象文書へ挿入する文章を生成する。
  • 著者らはMS MARCO V1とTREC Deep Learning 2019・2020で比較手法を上回ると報告するが、確認できた本文には条件別の数値表がない。
  • 社内検索の点検に使うなら、順位の変化に加え、文書が検索語に実際に答えるかを人が判定する。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、CRAFTの仕組み

左から右へ読む
  1. 01検索語・対象文書
  2. 02候補文と順位を収集
  3. 03教師あり追加学習
  4. 04順位による選好調整
  5. 05挿入文を生成

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

CRAFTは、検索対象の文書に文章を挿入し、その文書の検索順位を上げる方法を学習する。対象はニューラル順位付けモデル、つまり検索語と文書の関係を学習済みモデルで評価して結果を並べる仕組みである。

編集できる文書に自然な一文を足すだけで順位が上がれば、利用者は文書の内容が検索語に十分答えていると誤認しかねない。著者らは、元の文書の意図を保ったまま順位を動かせるかを、検索システムの信頼性に関わる問題として調べる。

手法

まず検索語に対する上位文書を参照し、言語モデルで対象文書に足す候補文を作る。検索結果を生成の材料に使う手法をRAGと呼ぶ。候補文を文書内の複数の位置に挿入して対象モデルで順位を付け直し、順位の変化を記録する。効果の乏しい文は生成モデルが結果を参考に直し、成功例と失敗例を学習用に整理する。

次に候補例を使って言語モデルを追加学習し、同じ検索語と文書で順位をより上げた候補を好むよう調整する。例えば検証用の社内文書では、検索語とその文書を入力し、挿入する一文を出力する。対象モデルの内部を見ず、返された順位だけを使う設定をブラックボックス方式と呼ぶ。対象モデルへの問い合わせは学習の準備段階に行い、学習後の生成時には行わない。

新規性

CRAFTは、対象の検索モデルが返した文書の順位を、挿入文の効果を示す学習信号に使う。モデルの構造、内部の重み、関連度スコアを知る必要はない。

上位文書を参照した候補生成、結果を見て候補を直す工程、成功例による追加学習、順位差に基づく選好調整をつなぐ。著者らは、学習後は対象モデルへ問い合わせずに挿入文を生成できるとしている。

従来手法との違い

著者らが挙げる従来法には、単語の置換、短い語句や文の挿入、文書の広い範囲の書き換えがある。代理の順位付けモデルを使う方法と、対象モデルへ繰り返し問い合わせる方法も説明している。

CRAFTでは準備段階に対象モデルの順位を観測して学習し、利用時には検索語と対象文書から挿入文を生成する。問い合わせの時点と学習方法が主な違いであり、個々の従来法に対する数値上の差は確認できた本文の範囲では分からない。

実験結果

著者らはMS MARCO V1の文章集合、TREC Deep Learning 2019、同2020で評価したと報告する。対象には、検索語と文書を組で評価するモデル、文書を数値表現に変えるモデル、言語モデルを使う順位付けモデルを含めた。

著者らは比較手法より多くの対象文書を上位10件・50件へ押し上げ、順位の上昇、文章の流暢さ、元の意味の維持でも良好だったと述べる。確認できた本文の範囲では、各条件の成功率や平均順位変化、比較表の数値がないため、改善幅や条件別の優劣は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内文書検索の公開前点検で、順位が不自然に動く文書を探す。入力は実際の検索語、編集可能な検証用文書、検索結果の上位文書とし、一文を追加した前後の順位と、追加文を点検記録として出力する。

学習を試す場合は、自社の検索語と文書の組、候補文、変更前後の順位を集めて手法を適合させる。文書が検索語に実際に答えるかは担当者がラベル付けする。必要なのは検索結果へのアクセスで、追加のセンサーは想定しない。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:社内検索の検証環境で、実際の検索語と編集可能な文書を集め、上位文書を参照して候補文を作る。学習を試すなら、候補文と挿入前後の順位を記録して自社データに合わせる。関連性と意味の維持は担当者がラベル付けし、追加のセンサーは用いない。

無変更の文書を基準に、挿入後の順位差と上位10件・50件への移動を数える。担当者は追加文の自然さと、文書が検索語に本当に答えるかを確認する。順位だけが上がり関連性の判定が伴わない事例を、検索システムの点検対象として残す。

限界と課題

著者らの設定は、対象文書を編集でき、準備段階に検索モデルへ問い合わせて順位を観測できることを前提とする。元の文章は書き換えず、文を挿入する範囲に変更を限るため、文書を編集できない環境への適用は示されていない。

編集上の検証事項は、学習に要する問い合わせ回数、検索結果が更新された場合の有効性、人による自然さと関連性の判定である。著者らは流暢さや元の意味の維持を報告するが、確認できた本文の範囲では判定手順と数値を照合できない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Led to Mislead: Adversarial Content Injection for Attacks on Neural Ranking Models

Neural Ranking Models (NRMs) are central to modern information retrieval but remain highly vulnerable to adversarial manipulation. Existing attacks often rely on heuristics or surrogate models, limiting effectiveness and transferability. We propose CRAFT, a supervised framework for black-box adversarial rank attacks powered by large language models (LLMs). CRAFT operates in three stages: adversarial dataset generation via retrieval-augmented generation and self-refinement, supervised fine-tuning on curated adversarial examples, and preference-guided optimization to align generations with rank-promotion objectives. Extensive experiments on the MS MARCO passage dataset, TREC Deep Learning 2019, and TREC Deep Learning 2020 benchmarks show that CRAFT significantly outperforms state-of-the-art baselines, achieving higher promotion rates and rank boosts while preserving fluency and semantic fidelity. Moreover, CRAFT transfers effectively across diverse ranking architectures, including cross-encoder, embedding-based, and LLM-based rankers, underscoring vulnerabilities in real-world retrieval systems. This work provides a principled framework for studying adversarial threats in NRMs, underscores the risks of generative AI in rank manipulation, and provides a foundation for developing more robust retrieval systems. To support reproducibility, we publicly release our source code, trained models, and prompt templates.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01