アーカイブ / LLM
３ページのHTMLから複数項目の抽出プログラムを作るCo-Scraper
Co-Scraper
Co-Scraperの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Two stage framework of Co-Scraper: DOM pruning and scraper generation.
概要
- 指定項目に関係するDOM要素を残し、同一サイトの見本３ページから複数項目用の抽出プログラムを生成する。
- 著者のSWDE評価では、大学以外の区分で抽出F1が94.78％、項目単位の完全抽出割合が90.39％だった。
- 掲載表では、同区分のGemini-3.5-Flashが抽出F1と項目単位の完全抽出割合でCo-Scraperを上回る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Co-Scraperの仕組み
- 01３件の見本HTML
- 02関連DOMの選別
- 03XPath規則の生成
- 04別ページのJSON
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Co-Scraperは、同じサイトの多数のページから指定した項目を取り出すプログラムを作る。価格や書誌情報を継続して集める場合、ページごとに抽出規則を作り直す手間が課題になる。長いHTMLには装飾やスクリプトも含まれ、全文を言語モデルに読ませる負担も大きい。
DOMとは、HTMLの要素を親子関係で表した構造である。必要な値の周辺とその構造を残し、少数の見本から別ページにも使える規則を作ることが、この研究の狙いだ。
手法
まずHTMLから表示に不要な要素を除き、内容を小さなまとまりに分ける。Qwen-HTMLは求める項目に関係するまとまりを選び、元の要素との対応を使って内容と親子構造を残す。たとえば書名と価格を求める場合、その値に関係するHTMLを次の段階に渡す。
次に、同一サイトの見本３ページと出力項目の定義から、XPathというHTML内の要素を指定する経路を考える。要素固有の属性や意味のあるクラス名を優先し、必要に応じて親要素からの相対的な経路などを使って、実行可能な抽出プログラムを生成する。そのプログラムは別ページのHTMLを受け取り、項目別のJSONを返す。
新規性
Co-Scraperの特徴は、求める項目に関係するHTMLを選んでから、同一サイトの複数ページに使える抽出プログラムを生成する二段階の設計にある。両段階に、Qwen3-8Bを追加学習したQwen-HTMLを使う。
３件の見本ページから複数項目を同時に取り出す規則を作る。著者は最高性能を主張するが、掲載表のすべての比較で首位という意味には取れない。
従来手法との違い
手作業の抽出規則は、HTMLの構造が変わると修正が必要になる。Co-Scraperは見本ページと項目定義から規則を生成する。本文によると、再利用可能な抽出器を作るAutoScraperは単一項目の抽出に限られ、Co-Scraperは複数項目を扱う。
SWDEの大学以外の区分では抽出F1がCo-Scraperで94.78％、AutoScraperで88.69％だった。ただしAutoScraperは単一項目の結果で、条件は同じではない。同じ表のGemini-3.5-Flashは95.23％でCo-Scraperを上回る。
実験結果
著者はSWDEのテスト用約２万１千ページで評価し、学習に使わない大学分野と、それ以外の区分を分けて報告した。二段階を通した抽出F1は大学で96.36％、大学以外で94.78％だった。
再利用時に各項目を完全抽出できた割合は順に89.54％、90.39％。全項目を完全抽出できたページの割合は66.99％、70.73％だった。大学以外ではGemini-3.5-Flashの抽出F1が95.23％、項目単位の完全抽出割合が92.63％で、いずれもCo-Scraperを上回った。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：書籍販売サイトの商品ページから、書名と価格を一覧化する。同一サイトの見本HTML３件と項目定義を入力し、生成されたプログラムを別の商品ページに適用してJSONを得る。これは導入先での精度を保証する案ではない。
生成時に正解値のラベルは不要だが、結果の確認には人が正解を記録したページが要る。追加学習はこの案の前提にせず、必要な元データは対象サイトのHTMLと検証用ラベルとする。センサーは不要で、サイトを替える際は見本を選び直して規則を再生成する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の書籍サイトから規則生成用のHTMLを３ページ集め、書名と価格の項目定義をそろえる。別のページには人が正解値のラベルを付ける。追加学習は前提とせず、必要な元データはこれらのHTMLと検証用ラベルで、センサーは不要だ。
人手で作った規則を比較基準にし、同じ確認用ページで項目別の抽出F1と、全項目が正しいページの割合を測る。規則生成にかかる時間も記録する。失敗したHTMLを調べて見本や項目定義を調整し、構造の異なるページでも再測定する。
限界と課題
著者の切り分け実験では、追加学習前のQwen3-8BによるHTMLの絞り込みは、安定した精度向上につながらなかった。正解の要素を残したHTMLでは改善しており、絞り込みの質が後段に影響するという結果である。
編集上の検証事項は、サイトの構造変更後に規則が通用するか、絞り込みで必要な値を落とさないか、誤った値を検出できるかだ。SWDEの結果から導入先の精度は決められない。また、要旨の最高性能という記述は、掲載表でGemini-3.5-Flashが上回る項目と整合しない。
出典
元のタイトル・要旨を確認する（英語）
Co-Scraper: query-aware DOM Pruning and Reusable Scraper Synthesis for Lightweight Web Data Extraction
The abundant and heterogeneous nature of web content necessitates automated information extraction, and generating scrapers that can be reused across similar web pages offers an effective solution for scalable data extraction. In this work, we propose Co-Scraper, a two-stage framework capable of handling the hierarchical complexity of long HTML documents. By integrating a query-aware DOM pruning mechanism with stable extraction strategy induction, Co-Scraper can effectively transforms web content into executable programmatic wrappers using a fine-tuned Qwen3-8B model. On the test set of SWDE, Co-Scraper achieves state-of-the-art performance with an F1 score of 94.78% and a reuse success rate of 90.39%. This framework significantly enhances the accuracy and resilience of data extraction, providing a highly efficient approach for web data acquisition tasks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01