アーカイブ / LLM / AI Agent / RAG
調査論文の構成・本文・引用を段階的に見直すSciSage
SciSage
SciSageの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the SciSage framework.
概要
- SciSageは構成案、各節、全文を批評し、必要に応じて検索と執筆をやり直す。
- 著者らは46編・11領域のSurveyScopeで評価し、引用F1の32％改善を報告する。ただし、比較対象別の内訳は確認できない。
- 文書の一貫性と人手評価の数値は要旨と序論で食い違う。導入時には引用の裏付けと修正時間を別途測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SciSageの仕組み
- 01調査テーマ
- 02構成案と批評
- 03節別検索・執筆・批評
- 04全文批評と整形
- 05調査草稿
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SciSageは、研究テーマから関連論文を探し、調査論文の草稿を作る手法である。調査論文には、研究を列挙するだけでなく、論点の関係や未解決の課題を整理し、記述を適切な出典で支える作業が要る。
著者らは、既存の大規模言語モデル（大量の文章を学習して文章を生成するモデル）による方法では、分析の浅さ、節同士のつながり、引用の信頼性が課題だと述べる。出典を追えない草稿は、研究上の判断にも使いにくい。
手法
利用者の問いと検索対象の研究資料を入力する。Interpreterは問いの言語と意図を読み取り、必要なら英語への翻訳や検索向けの書き換えを行う。Organizerは構成のひな型を選び、複数のモデルが作った案をまとめて構成案と節ごとの検索語を作る。例えば「大規模言語モデルによるコード生成の進展」を、節ごとの調査項目に分ける。
Collectorは検索語に合う論文を集め、関連性などを見て並べ替える。Composerは論文の題名、要旨、本文を基に引用付きの節を書き、Reflectorは構成案、各節、全文を点検する。指摘に応じて検索や執筆を繰り返し、Refinerが重複した参考文献、引用番号、表記を整えて草稿を出す。
新規性
SciSageの特徴は、文章を作りながらReflectorという批評役が構成案、各節、全文を順に点検し、担当役へ修正を戻す仕組みにある。構成案では論点と順序、各節では正確さと根拠、全文では章をまたぐ流れを確認する。
全文の点検では、複数の批評役の多数決で修正対象を選び、必要に応じて検索と執筆をやり直す。著者らは評価用に、2020～2025年に発表された調査論文46編を11の研究領域から集めたSurveyScopeも作成した。
従来手法との違い
論文が比較対象に挙げるのはLLM×MapReduce-V2とAutoSurveyである。AutoSurveyは検索、構成案作成、小節の生成、評価を進める方式として説明されている。SciSageでは、構成案と各節を作る途中にも批評と修正を挟む。
各節の検索語を作って論文を集め、節の記述に根拠が足りなければ再検索につなぐ点も処理の違いである。ただし、確認できた本文の範囲では、比較方式ごとの処理時間や修正回数は分からない。
実験結果
著者らは、2020～2025年の調査論文46編、11の研究領域を含むSurveyScopeで、LLM×MapReduce-V2とAutoSurveyを比較対象に挙げる。自動評価は内容の質、文書構造、参考文献の正確さを扱い、得点を0～100に換算する。文章の流暢さなどには10段階、話題との適合には5段階の基準を用いる。
要旨と序論はともに、引用F1の32％改善を報告する。F1は引用の適切さを適合率と再現率からまとめる指標である。どの比較対象に対する数値かなど、内訳は確認できた本文の範囲では分からない。文書の一貫性と人手評価の数値は要旨と序論で食い違うため、数値比較には用いない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研究開発部門で、一つの技術テーマについて引用付きの調査メモを作る。担当者が対象期間と問いを指定し、利用可能な論文本文と書誌情報を検索対象にする。出力した章立てと草稿を、担当者が引用元までたどって確認する。
追加学習用データやセンサーは想定しない。検証に使うラベルとして、担当者が草稿中の主張と参照先の対応に「裏付けあり・なし」を付ける。社内用語と調査範囲は依頼文と構成案の確認時に調整する。効果は実測して判断する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの調査テーマを選び、利用可能な論文本文と書誌情報、対象期間を固定する。同じ資料から担当者が通常の手順で作るメモを比較基準とし、SciSage型の草稿と並べる。追加学習用データやセンサーは使わず、社内用語は依頼文で指定する。
担当者が両方の文と引用を抽出し、原文に裏付けがあるかのラベルを付ける。引用の妥当率、重要論文の欠落、章間の重複、修正に要した時間を記録する。結果を見て検索範囲や構成案を調整し、再度同じ基準で確認する。
限界と課題
著者らの要旨は、人が書いた調査論文との比較結果が一様ではないと報告する。ただし、勝敗数は要旨と序論で逆転し、文書の一貫性の改善点数も両者で異なるため、ここでは数値を採用しない。
編集上の検証事項は、引用が実際に主張を支えるか、引用数を重視する論文選定で新しく重要な研究を見落とさないか、専門家の修正時間が許容範囲かである。評価表の続きや実施条件は確認できた本文の範囲に含まれず、実務上の効果は判断できない。
出典
元のタイトル・要旨を確認する（英語）
SciSage: A Multi-Agent Framework for High-Quality Scientific Survey Generation
The rapid growth of scientific literature demands robust tools for automated survey-generation. However, current large language model (LLM)-based methods often lack in-depth analysis, structural coherence, and reliable citations. To address these limitations, we introduce SciSage, a multi-agent framework employing a reflect-when-you-write paradigm. SciSage features a hierarchical Reflector agent that critically evaluates drafts at outline, section, and document levels, collaborating with specialized agents for query interpretation, content retrieval, and refinement. We also release SurveyScope, a rigorously curated benchmark of 46 high-impact papers (2020-2025) across 11 computer science domains, with strict recency and citation-based quality controls. Evaluations demonstrate that SciSage outperforms state-of-the-art baselines (LLM x MapReduce-V2, AutoSurvey), achieving +1.73 points in document coherence and +32% in citation F1 scores. Human evaluations reveal mixed outcomes (3 wins vs. 7 losses against human-written surveys), but highlight SciSage's strengths in topical breadth and retrieval efficiency. Overall, SciSage offers a promising foundation for research-assistive writing tools.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01