アーカイブ / LLM / Generative AI
生成AIでWeb収集コードを作る：2種類の指示文と2モデルを調べた研究
Prompt Engineering for AI-Generated Web Scraping
概要
- Claude AI（Sonnet 3.5）とChatGPT-4.0に、2種類の指示文でWeb収集コードを生成させた。
- Yahoo NewsとCoupons.comで手動試験を行い、3人が機能性、可読性、モジュール性、堅牢性を採点した。
- 著者らはClaude AIの優位を報告するが、項目別の点数や試行回数は確認できず、指示文だけの効果も切り分けられない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prompt Engineering for AI-Generated Web Scrapingの仕組み
- 01対象サイトと指示文
- 022モデルへ入力
- 03収集コード生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Webクローリングは、Webページを巡回して情報を集める作業である。サイトごとにページの作りが異なり、自動的な収集を妨げる仕組みもあるため、収集用コードの作成や修正には手間がかかる。
この研究は、生成AIに指示文を渡して収集コードを作る方法を調べた。指示文の書き方と使用するモデルに着目し、生成したコードが動くか、読みやすく修正しやすいかを評価している。
手法
著者らは、指示文を工夫して望む出力を得る「プロンプトエンジニアリング」を用い、Claude AI（Sonnet 3.5）とChatGPT-4.0にWeb収集コードを作らせた。PROMPT Iは取得対象をモデルに広く推測させる一般的な指示で、Yahoo Newsで試した。PROMPT IIはページ上の取得要素を具体的に指定する指示で、Coupons.comで試した。
出力は収集用のスクリプトである。著者らは手動試験と評価者による採点でその品質を調べた。また、Web操作などに使うSeleniumと、自動収集への対策に関わるundetected_chromedriver、fake_useragentを取り入れたと述べる。例えば見出しを取得したい場合、どの要素を指すかを指示文に書くことが、要素指定の考え方に当たる。各ツールの使い分けや実行順は、この情報からは分からない。
新規性
著者らは、一般的な指示と取得要素を指定する指示を用い、生成AIが作ったWeb収集コードを実際のサイトで試した。動作だけでなく、読みやすさや処理の分け方も評価対象に含めている。
確認できた本文の範囲では、新しい収集アルゴリズムの提案は示されていない。前進として述べられているのは、指示文の設計と生成AIを組み合わせたコード作成・評価の手順である。
従来手法との違い
比較されたのは、Claude AI（Sonnet 3.5）とChatGPT-4.0が生成した収集用スクリプトである。著者らは、機能性、可読性、モジュール性、堅牢性について、Claude AIのコードが一貫して優れ、適応性も高かったと報告する。
一般的な指示はYahoo News、要素指定の指示はCoupons.comで試された。指示文と対象サイトが同時に変わるため、この情報だけで指示文の具体性による効果を切り分けることはできない。
実験結果
著者らはYahoo NewsでPROMPT I、Coupons.comでPROMPT IIを試し、生成コードの動作を手動で確認した。3人の評価者が、機能性、可読性、モジュール性、堅牢性を構造化して採点した。モジュール性は処理を部品に分けて扱えること、堅牢性は想定外の状況でも動作を保てることを指す。
著者らは、この評価でClaude AIがChatGPT-4.0を一貫して上回り、適応性でも優れたと報告する。確認できた本文の範囲では、項目別の点数、試行回数、抽出成功率、差の大きさは分からない。対象サイトと指示文の組み合わせも異なるため、指示文だけの効果を示す結果とは読めない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自社が管理するニュース一覧ページから、見出し、日付、URLを表にまとめる。入力は対象ページと取得項目を記した指示文、出力は担当者が確認する一覧表とする。担当者が生成コードを確認し、ページに合わせて取得要素の指定を調整する。
この案ではモデルの追加学習を想定せず、学習用データやセンサーは要らない。検証には対象ページのサンプルと、各項目の正解ラベルが必要になる。論文で扱ったサイトから自社ページへの適用は、別途確かめるべき仮説である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：自社ニュース一覧の数ページを選び、見出し、日付、URLに正解ラベルを付ける。追加学習用データやセンサーは用意せず、ページのサンプルと取得項目を指示文に使う。一般的な指示で作ったコードを基準とし、要素を指定した指示で作ったコードと比べる。
担当者がコードを確認して実行し、正解ラベルとの一致件数、取得漏れ、誤取得、実行失敗を記録する。同じページ群で指示文だけを変え、必要な要素指定の修正量も残す。ページ構造が異なる一覧にも適用し、このサイトで得た測定結果を導入判断に使う。
限界と課題
著者らは、ページ構造の多様さと自動収集を妨げる仕組みを課題に挙げている。対策として複数のツールを取り入れたと述べるが、確認できた本文の範囲では、各ツールを使った条件や効果の内訳は分からない。
編集上の検証事項は、ページ構造が変わった後の抽出結果、誤取得、実行失敗からの復旧である。対象サイトの利用条件やアクセス方法も確認が必要になる。報告された比較結果だけでは、別のサイトでの品質や継続運用の安定性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
The Synergy of Automated Pipelines with Prompt Engineering and Generative AI in Web Crawling
Web crawling is a critical technique for extracting online data, yet it poses challenges due to webpage diversity and anti-scraping mechanisms. This study investigates the integration of generative AI tools Claude AI (Sonnet 3.5) and ChatGPT4.0 with prompt engineering to automate web scraping. Using two prompts, PROMPT I (general inference, tested on Yahoo News) and PROMPT II (element-specific, tested on Coupons.com), we evaluate the code quality and performance of AI-generated scripts. Claude AI consistently outperformed ChatGPT-4.0 in script quality and adaptability, as confirmed by predefined evaluation metrics, including functionality, readability, modularity, and robustness. Performance data were collected through manual testing and structured scoring by three evaluators. Visualizations further illustrate Claude AI's superiority. Anti-scraping solutions, including undetected_chromedriver, Selenium, and fake_useragent, were incorporated to enhance performance. This paper demonstrates how generative AI combined with prompt engineering can simplify and improve web scraping workflows.
論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01