アーカイブ / LLM / RAG
検索語の言い換えを同じ条件で試すLLMツールキット
QueryGym
QueryGymの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1. Inheritance hierarchy for the main classes in the QueryGym Python package.
概要
- 複数のLLM検索語書き換え方式を共通の流れで実行できる。
- プロンプトの版や設定を記録し、Pyseriniなどの検索基盤へ接続できる。
- 本文の例は実行手順の提示であり、検索精度の改善値は報告していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、QueryGymの仕組み
- 01元の検索語
- 02指示文を選択
- 03LLMで書き換え
- 04検索用の文を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
QueryGymは、大規模言語モデル（LLM）で検索語を書き換える実験を揃える。短い質問には対象や文脈が欠けることがあり、言い換えや語句の追加が検索結果を変える。ただし方式ごとにコード、プロンプト、検索基盤の扱いが違うと、結果の差が書き換え方法によるものか実験条件によるものか判別しにくい。
手法
質問データを読み込み、使う書き換え方式、LLM、プロンプトを設定する。プロンプトはモデルへの指示文で、Prompt Bankが版と付随情報を管理する。例えば「申請の期限」という質問に対し、選んだ方式が関連語を含む検索文を生成し、元の質問と書き換え文を対応付けて出力する。
検索結果を文脈として使う方式では、Pyseriniなどに接続し、先に得た文書の一部を入力へ加えられる。複数質問の一括処理、結果の保存、設定や生成過程の記録も共通の流れに含まれる。書き換え文は検索基盤に渡せる形式で保存され、検索結果の評価に使える。
新規性
QueryGymは、複数のLLMによる検索語の書き換え方式を共通の呼び出し方で実行できるツールキットだ。プロンプトの版、モデル設定、検索設定と出力を一緒に管理し、検索エンジンとの接続部分も独立させている。著者らが主張する進歩は、個別の実装をつなぎ直さずに方式間の実験条件を揃えられる点にある。
従来手法との違い
論文が比較対象として挙げるのは、特定のデータやプロンプト、検索基盤に結び付いた個別実装である。QueryGymでは共通のデータ読み込み、書き換え処理、出力形式を使い、PyseriniやPyTerrierには接続用の部品を介してつなぐ。検索方式そのものの優劣を示す数値比較ではなく、実験を組み立てる手順の違いを示している。
実験結果
本文はツールの利用例として、単一方式による一括書き換え、検索結果を文脈に使う例、六つの方式を三つのMS MARCOデータ群で動かす設定例を示す。BEIRとMS MARCO向けの読み込み機能、PyseriniとPyTerrierへの接続も説明している。
ただし、これらは処理の実演であり、正解文書が上位に入る割合や処理時間について方式間の測定値は示されていない。著者らが示したのは、同じモデル設定で出力を揃え、後から検索評価へ渡せる構成である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書検索で「申請の期限」のような短い質問が目的の文書に届くかを調べる。入力は社員の質問と、正解文書を人が確認した小さな質問集。QueryGymで原文と複数の書き換え文を作り、同じ検索基盤へ渡して上位の検索結果を保存する。出力には採用候補の書き換え方式と、検索結果が改善・悪化した質問の一覧を含める。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解文書を確認済みの質問を少数用意し、まず元の質問をそのまま検索した結果を基準にする。同じ検索基盤と文書集合で、QueryGymの書き換え方式を二つ選び、モデル、プロンプトの版、生成設定を記録して実行する。
質問ごとに正解文書の順位、上位結果への出現、意味が変わった書き換えの件数、処理時間を比べる。改善した質問だけでなく悪化した質問も確認し、採用する方式と適用しない質問の条件を決める。
限界と課題
著者らが示すのはツールの構成と利用例であり、検索精度の改善幅や処理時間の数値は本文にない。したがって、導入先の文書で検索品質が上がるとは、この論文の例だけでは判断できない。
編集上は、生成文が元の質問の意味を変えないか、接続する検索基盤で同じ設定を再現できるかを確認したい。モデルやプロンプトの版を記録できても、質問集の正解文書や評価手順が変われば結果の比較は難しくなる。
出典
元のタイトル・要旨を確認する（英語）
QueryGym: A Toolkit for Reproducible LLM-Based Query Reformulation
We present QueryGym, a lightweight, extensible Python toolkit that supports large language model (LLM)-based query reformulation. This is an important tool development since recent work on llm-based query reformulation has shown notable increase in retrieval effectiveness. However, while different authors have sporadically shared the implementation of their methods, there is no unified toolkit that provides a consistent implementation of such methods, which hinders fair comparison, rapid experimentation, consistent benchmarking and reliable deployment. QueryGym addresses this gap by providing a unified framework for implementing, executing, and comparing llm-based reformulation methods. The toolkit offers: (1) a Python API for applying diverse LLM-based methods, (2) a retrieval-agnostic interface supporting integration with backends such as Pyserini and PyTerrier, (3) a centralized prompt management system with versioning and metadata tracking, (4) built-in support for benchmarks like BEIR and MS MARCO, and (5) a completely open-source extensible implementation available to all researchers. QueryGym is publicly available at https://github.com/radinhamidi/QueryGym.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29