アーカイブ / RAG
巡回URLの重なりからWeb収集の到達率を推定する
Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections
Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersectionsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Heatmap displays the containment between pairs of crawls.
概要
- 同じアーカイブの複数回のURL集合から、外部の正解URL一覧を使わずに巡回の到達率を推定する方法を提案した。
- ドイツの大学サイトを対象とする15回の巡回で、著者らは巡回設定が安定した期間の到達率を約46％と推定した。
- 一様な抽出や対象規模に関する仮定が解釈を左右し、URLの重なりから本文内容の変化は測れない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersectionsの仕組み
- 01時期別URL集合
- 02共通URL率
- 03時間差で回帰
- 04到達率と残存率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この方法は、同じ範囲を繰り返し巡回したURL記録から、各回の収集が対象全体の何割に届いたかを推定する。Webアーカイブでは収集したURL数は分かっても、設定上収集できるURLの総数は通常分からないため、件数だけでは保存範囲を説明しにくい。
著者らが扱うドイツの大学サイトの巡回は、約150の大学ドメインを起点とし、約1億件の記録を集めた時点で終了する。収集済みの件数と未収集分を含む対象規模の関係を知ることは、このアーカイブを情報源として使う際の判断材料になる。
手法
各巡回のURLを集合にし、先の巡回で見つけたURLのうち後の巡回にも現れた割合を求める。たとえば春と秋の集合を比べ、春のURLを分母にして共通URLを数える。これを複数の巡回の組で繰り返し、時間差が長いほど重なりがどう変わるかを調べる。
著者らは、巡回可能なURLが一定数あり、巡回の間に一部が入れ替わる「つぼモデル」で重なりを表す。各回にURLを一様に選ぶと仮定し、重なりの割合の対数に直線を当てはめる。直線を当てはめる計算が線形回帰で、時間差がゼロの位置から仮想的な同時点の独立した二巡回の重なり、つまり到達率を推定する。傾きからはURLが残る割合を求める。
新規性
著者らの提案は、一つのアーカイブが時期を変えて収集したURL集合だけから、巡回可能なURL全体に対する収集割合を推定することだ。巡回間の重なりを時間差に沿って分析し、同時点で独立に収集した場合の重なりを推定する。
その推定値を到達率として読むには、巡回対象の規模や抽出方法に関するモデルの仮定が必要になる。外部の正解URL一覧を使わない点と、時間によるURLの入れ替わりを同時に扱う点が主張の中心である。
従来手法との違い
BharatとBroderの方法は複数の検索エンジンのURL集合を比べ、エンジン間の相対的な規模を求める。既知の対象と照合する方法は、その対象群に限った再現率を測るため、外部の一覧が必要になる。
本手法は同じアーカイブの複数時点の巡回結果を使い、巡回可能なURL集合に対する割合を推定する。比較対象と必要データが異なるという整理であり、著者らはこれらの方法に対する到達率推定の精度比較を報告していない。
実験結果
著者らは、ドイツの大学サイトを対象に2013～2021年に行われた15回の約半年間隔の巡回を分析した。各回は約150の大学ドメインを起点とし、約1億件の記録を集めて終了する。巡回間の共通URL率を時間差ごとに求め、その対数に直線を当てはめた。
著者らの報告では、この回帰の決定係数R²は0.95で、巡回設定が安定した期間の推定到達率は約46％だった。年間のURL残存率は約0.73、入れ替わりは約27％と推定した。つぼモデルのシミュレーションは導出した関係との一致を示すが、外部の正解値と照合した到達率の誤差評価ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の公開文書サイトを定期収集し、検索拡張生成（RAG：検索した文書を回答の根拠に使う方式）の情報源にする。入力は同じ対象範囲で複数回収集したURL一覧と日時で、運用者には推定到達率と巡回間の重なりを示す。
推定値が変化した時期を巡回設定の点検候補にする。必要なのは過去の巡回記録で、手法の計算に学習用データ、正解ラベル、追加センサーは要らない。導入先ではURL表記と対象範囲をそろえる必要があり、回答品質の改善は別に確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ対象範囲を複数回巡回したURLと日時を集め、URL表記を統一して各回の集合を作る。計算自体に学習用データ、正解ラベル、追加センサーは不要で、導入先への適応は対象範囲と巡回設定をそろえ、変更履歴を残す作業となる。
まず共通URL率を時間差ごとに表示する基準を作り、次に回帰による到達率推定を加える。直線への当てはまり、対象期間を変えた際の推定値の安定性、設定変更の前後差を確認する。既知URL一覧が別にあれば、その収集率も併記して違いを調べる。
限界と課題
著者らは、巡回が対象URLをおおむね一様に抽出する仮定を挙げる。実際の幅優先巡回はリンクの多いページに偏り得るため、推定値は巡回設定の下で解釈する必要がある。複数回の巡回が必要で、巡回中に対象規模が大きく変わる場合は解釈が難しい。URLが残っても本文の変更は測れない。
編集上の検証事項は、時期ごとの対象範囲、URL表記、収集件数の変化を記録し、回帰から外れる巡回の有無を調べることだ。著者らは偏りを回帰の残差で調べるが、それによって偏りが取り除かれ、推定値が正解になるとは示していない。
出典
元のタイトル・要旨を確認する（英語）
Estimating Absolute Web Crawl Coverage From Longitudinal Set Intersections
Web archives preserve portions of the web, but quantifying their completeness remains challenging. Prior approaches have estimated the coverage of a crawl by either comparing the outcomes of multiple crawlers, or by comparing the results of a single crawl to external ground truth datasets. We propose a method to estimate the absolute coverage of a crawl using only the archive's own longitudinal data, i.e., the data collected by multiple subsequent crawls. Our key insight is that coverage can be estimated from the empirical URL overlaps between subsequent crawls, which are in turn well described by a simple urn process. The parameters of the urn model can then be inferred from longitudinal crawl data using linear regression. Applied to our focused crawl configuration of the German Academic Web, with 15 semi-annual crawls between 2013-2021, we find a coverage of approximately 46 percent of the crawlable URL space for the stable crawl configuration regime. Our method is extremely simple, requires no external ground truth, and generalizes to any longitudinal focused crawl.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01