アーカイブ / LLM / RAG
Wikidataの更新履歴から質問を作り、検索が新しい事実に追いつくか測る
LiveSearchBench
LiveSearchBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: A timeline of major QA benchmarks and model releases. The figure illustrates the historical reliance on static benchmarks, motivating the need for dynamic evaluation resources.
概要
- Wikidataの２時点間で追加・更新された事実から、正解を検証できる質問を自動生成する。
- 2021年版と2025年版を各300問作り、検索なし・検索ありの回答をExact Matchで評価した。
- 著者らは2025年版での得点低下を報告する一方、問題の難度差も解釈上の注意点として挙げている。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LiveSearchBenchの仕組み
- 01Wikidataの２時点
- 02事実の差分と選別
- 03３段階の質問作成
- 04正解１件の検証
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LiveSearchBenchは、新しく登録・更新された事実について、質問応答システムが検索して答えられるかを測る。固定された古い問題では、モデルが学習中に覚えた答えと、外部情報から得た答えを区別しにくい。
規程や製品情報のように内容が変わる分野では、古い知識で正答できる評価だけでは運用上の課題を見逃す。著者らはWikidataの更新を利用し、時期の分かる評価問題を繰り返し作る方法を提案した。
手法
Wikidataの古い版と新しい版を、対象・関係・値から成る「三つ組」として比較し、追加または更新された事実を抽出する。関係の種類、対象名の分かりやすさ、記述の有効性などで候補を選別する。論文中の例では、会議と開催国の関係から「どの国で開催されるか」という質問を作る。
候補から、１つの関係をたどるL1、複数の条件を組み合わせるL2、条件を広い表現にして関係を追加するL3を作る。SPARQLはWikidataを条件で検索するための言語で、生成途中と質問文の完成後に新版で答えが１件か検証する。出力は質問と正解で、元の版を追跡する時刻と識別情報も記録する。
新規性
LiveSearchBenchは、Wikidataの２時点間で追加・更新された事実を起点に、時期を特定できる質問集を自動生成する。知識の更新に合わせて評価問題を作り直せる設計が、著者らの主張する新しさである。
質問を３段階の難度で構成し、新しい時点のデータに対するSPARQL検索で正解が１件になることを確認する。各問題の元になった版の時刻と識別情報も記録する。
従来手法との違い
著者らは、外部情報を使わない直接回答とCoT、検索を使う標準RAG、Search-o1、Search-R1、SSRLを比較した。CoTは回答までの考え方を文章化させる方法、RAGは検索結果を回答時に参照させる方法を指す。
同じ生成工程で2021年版と2025年版の問題を作り、時期による成績差も調べた。ただし著者らは、抽出された質問の偶然の難度差も得点差に影響し得ると述べている。
実験結果
著者らは2021年９月・12月、2025年５月・８月のWikidataをそれぞれ比較し、各版でL1を150件、L2を100件、L3を50件選んだ。５人の博士課程研究者が計600問の元の事実と推論経路を点検した。評価指標のExact Matchは、回答文字列が正解と完全に一致した割合である。
著者らの表では、Qwen2.5-14B-Instructの標準RAGのAvg.は2021年版52.8％、2025年版26.6％。直接回答は同順に20.9％、7.0％だった。検索を使う方式では取得文を最大33件に制限した。これらは選定された問題と実験条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程の改定後、質問応答システムが新版を参照できるか評価する。入力は日付付きの旧版・新版、変更履歴、条項間の関係で、出力は変更事項を問う質問、版に結び付いた正解、参照条項とする。
適用には条項を対象・関係・値に整理し、担当者が正解ラベルと有効日を確認する。新版を検索可能にしてからシステムに回答させる。必要な情報源は版管理された文書で、センサーは不要。社内規程での効果は本研究では検証されていない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：日付付きの旧版・新版の規程と変更履歴を集め、条項の対象・関係・値、適用日を整理する。変更点から少数の質問を作り、担当者が正解ラベルと参照条項を確認する。必要な入力は版管理された文書と変更情報で、センサーは不要である。
同じ質問を検索なしの回答と、新版を検索する回答に与える。正解との完全一致率、正しい版の条項を引用した割合、更新から検索可能になるまでの時間を測る。社内文書に合わせて差分抽出と質問文を調整し、正解が曖昧な質問は評価から除く。
限界と課題
著者らは、2021年版と2025年版の得点差に、抽出問題の難度差が影響し得ると認めている。また2025年版では、珍しい対象が検索先で見つかりにくく、単一の事実を問うL1が複数条件を使うL2より低得点になる場合を報告した。
編集上の検証事項：自動生成した質問が実際の利用者の問いを代表するか、検索先への更新反映の遅れが得点にどう響くかは別途確かめる必要がある。データ上で正解が１件でも、元の登録内容と質問文の妥当性は標本を人手で点検したい。
出典
元のタイトル・要旨を確認する（英語）
LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge
Evaluating large language models (LLMs) on question answering often relies on static benchmarks that reward memorization and understate the role of retrieval, failing to capture the dynamic nature of world knowledge. We present LiveSearchBench, an automated pipeline for constructing retrieval-dependent benchmarks from recent knowledge updates. Our method computes deltas between successive Wikidata snapshots, filters candidate triples for quality, and synthesizes natural-language questions at three levels of reasoning difficulty, each guaranteed to admit a unique, verifiable answer through SPARQL validation. The pipeline is fully automated, scalable across time, and minimizes human intervention, enabling continual regeneration of temporally grounded benchmarks. Experiments show a pronounced performance drop when models confront facts that post-date pretraining, with the gap most salient on multi-hop queries. Retrieval augmented methods and larger, instruction-tuned models provide partial gains but fail to close this recency gap. By design, LiveSearchBench shifts evaluation from static memorization toward tasks that require up-to-date retrieval and reasoning, offering a foundation for systematic, long-term assessment of LLMs under evolving knowledge.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01