アーカイブ / RAG
検索の順位品質は時間とともにどう変わるか――Webと論文を対象にしたLongEval 2025
LongEval 2025
LongEval 2025の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Sample result from CORE for a search for “open science”
概要
- LongEval 2025は、学習後の異なる時点のデータで検索順位の品質と変化を測る共同評価課題である。
- Web検索の学習用データは約1800万文書と9000件の質問を含み、2025年版では論文検索も対象に加わる。
- 著者らが示す2024年版の結果では、順位品質が高いシステムと時間変化に強いシステムは必ずしも一致しなかった。2025年版の測定結果は示されていない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LongEval 2025の仕組み
- 01時点別の文書と質問
- 02学習期のデータで構築
- 03後の時点で順位付け
- 04文書の順位一覧
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
検索システムは、学習後に文書が増え、利用者の質問や「役立つ文書」の判断が変わる環境で使われる。情報検索とは、質問に合う文書を探して順位を付ける処理である。一時点の試験結果だけでは、その順位品質が後の時点でも続くか判断しにくい。
LongEval 2025は、学習用データから時間が離れた試験用データで同じ検索システムを測る共同評価課題である。Web検索と論文検索を扱い、時間に伴う品質の変化を調べる。
手法
Web課題では、Qwantの検索に由来する文書、質問、関連性の判定を学習に使う。参加者は学習用データだけでシステムを作り、後の月ごとの文書と質問について順位一覧を提出する。「ラグ」は収集時点の異なるデータ間の時間差を指す。
論文課題では、COREの検索ログから質問、表示結果、クリックを取り出し、ボットの操作を除く。例えば「inclusive codesign」という質問と、表示された論文、クリックされた位置を対応付ける。順位品質は上位の結果を重く評価するnDCG、時点間の変化はnDCGの低下を表すRnDで測る設計である。
新規性
LongEval 2025は、検索システムを時点の異なるデータで繰り返し測る共同評価課題の第3回である。Web検索では学習用データに時点別の集合を追加し、試験用にも連続する時点の集合を設けて、変化を細かく追えるようにする。
従来の対象はWeb文書だったが、今回は論文検索を加える。著者らは、検索語の長さや結果の見方が異なる二つの場面で、時間経過に伴う順位品質を調べる設計を提示している。
従来手法との違い
通常の一時点の検索評価では、その時点で関連文書を上位に置けるかは測れるが、後に質問や文書が変わったときの品質は分からない。LongEvalでは、学習時期の後に収集した複数時点のデータで同じシステムを測り、各時点の品質と時点間の変化を確認する。
2024年までのLongEvalはWeb検索を対象としていた。2025年版は論文検索を追加するが、どちらの分野で性能が保たれやすいかという2025年版の比較結果は、確認できた本文の範囲では示されていない。
実験結果
著者らによると、Web課題の学習用データは2022年6月～2023年2月の約1800万文書と9000件の質問を含む。文書の多くはフランス語で英訳もあり、関連性判定にはクリック行動を推定するsDBNというモデルを用いる。試験用データは2023年3～8月の時点別集合で、参加者は同じシステムの順位一覧を各時点に提出する。
著者らが報告する2024年版では、14チームが73件の検索実験を提出した。学習から6か月後と8か月後の試験で、nDCGによるシステム順位の相関は高く、RnDによる順位の相関は低かった。2025年版の参加システムの数値結果は、確認できた本文の範囲では示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内文書検索の品質を月ごとに点検する。入力は公開時点が分かる文書、時点付きの検索語、質問と文書の関連性ラベルとし、出力は月別の検索順位と品質の推移表にする。専用センサーは想定しない。
過去の文書とラベルだけで検索設定を決め、その後の月の文書と質問に同じ設定を適用する。品質低下が見つかった質問群について、社内用語の追加や文書更新を反映する適応策を別に試す。効果は実測で確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内文書と検索ログを時点別に分け、文書の公開日時、質問、検索結果をそろえる。過去の期間の文書と関連性ラベルで設定した現行検索を基準にし、後の各期間では設定を固定して順位を出す。ラベルは担当者が質問ごとに判定し、専用センサーは使わない。
期間ごとのnDCGと時点間の低下を測り、質問の種類別にも確認する。低下した質問群には、用語の追加や更新文書の反映を適応策として試し、同じ期間の基準と比べる。評価に使う判定は、適応策の設定に流用しない。
限界と課題
著者らは、過去の課題で文書や質問が時点間で大きく重複し、公開された識別子からは重複を見つけにくかったと述べる。2025年版では識別子と説明を改善する計画だが、その効果や参加システムの測定結果は、確認できた本文の範囲では分からない。
編集上の検証事項は、クリックに基づく関連性判定が実際の有用性をどこまで表すか、重複をどう扱うかである。Web課題の試験期間は「7か月」と記される一方、併記された2023年3～8月は暦上6か月であり、期間の数え方にも確認が要る。
出典
元のタイトル・要旨を確認する（英語）
LongEval at CLEF 2025: Longitudinal Evaluation of IR Model Performance
This paper presents the third edition of the LongEval Lab, part of the CLEF 2025 conference, which continues to explore the challenges of temporal persistence in Information Retrieval (IR). The lab features two tasks designed to provide researchers with test data that reflect the evolving nature of user queries and document relevance over time. By evaluating how model performance degrades as test data diverge temporally from training data, LongEval seeks to advance the understanding of temporal dynamics in IR systems. The 2025 edition aims to engage the IR and NLP communities in addressing the development of adaptive models that can maintain retrieval quality over time in the domains of web search and scientific retrieval.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01