アーカイブ / LLM / AI Agent / RAG
論文レビューの根拠を補うReviewGrounder、草稿と検証を分担する
ReviewGrounder
ReviewGrounderの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the ReviewBench construction pipeline. For each paper, paper-specific rubrics are instantiated by an aggregated reference review, the submission PDF, and meta-rubrics.
概要
- ReviewGrounderはレビュー草稿を作った後、関連文献、手法、実験結果の確認を分担して根拠付きの文に整える。
- 著者らのReviewBench評価で内容得点は10.7699となり、同表の比較方式を上回った。
- 結果はICLR投稿を基にした評価であり、生成された指摘の引用元と妥当性は利用者が確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ReviewGrounderの仕組み
- 01論文本文
- 02レビュー草稿
- 03文献・手法・結果を確認
- 04根拠付きレビュー
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ReviewGrounderは、論文を読んで改善点を示すレビュー文の下書きを支援する仕組みだ。従来の言語モデルによるレビューには、一般的な助言にとどまり、論文中の根拠や先行研究との違いを具体的に示せない問題があると著者らは指摘する。
書き手に役立つレビューには、どの主張や実験結果に基づく指摘かが分かることが重要だ。著者らは、確認作業を分担し、その材料からレビューを作り直す方法を提案した。
手法
まず、レビュー文で追加学習した草稿作成モデルが論文本文から初稿を作る。続いて３つの担当処理が、関連研究の検索、手法と新規性の読み取り、実験条件と数値の確認を行う。ここでの「ルーブリック」は、何を満たせばよいレビューかを示す採点観点を指す。
最後の統合処理は初稿と確認結果を受け、事実関係や指摘の根拠を整えてレビューにする。例えば「比較実験が不足」とだけ書かれた初稿なら、論文に載る比較表と関連研究を調べ、どの比較が不足するのか、著者が追加で説明できる点は何かを具体化する。論文専用の評価用ルーブリックは、この生成過程へ渡さない。
新規性
ReviewGrounderは、論文を一度読ませてレビューを完成させる構成ではなく、草稿作成と根拠の確認を分ける。関連研究の検索、手法の読み取り、実験結果の確認を担当する処理から材料を集め、最後に指摘と提案を組み立てる。
評価用のReviewBenchも提案し、論文ごとの観点を８項目で採点する。レビュー生成時には、その論文専用の採点表を見せず、評価項目の答えが生成側へ漏れないようにしている。
従来手法との違い
著者らは、単体の言語モデル、複数の処理を使う既存のレビュー支援方式、レビュー文で追加学習したモデルと比較した。ReviewBenchの内容得点ではReviewGrounderが10.7699、同表のDeepReviewer Phi-4-14Bが7.9004、GPT-4.1が7.6616だった。
比較の中心は、論文の主張を正しく捉え、実験結果や先行研究に結び付けて批評できるかである。ただし内容得点は論文専用の採点表を言語モデルが評価した値であり、人の査読者の評価をそのまま置き換える数値ではない。
実験結果
著者らはICLRの2024～2025年の投稿・レビューを基に、約1,300論文を抽出したReviewBenchで評価した。内容評価は主張の正確さ、結果の解釈、根拠に基づく批評など８項目の合計である。ReviewGrounderは草稿にPhi-4-14B、後段の確認にGPT-OSS-120Bを用い、得点10.7699を報告した。
人手の評点との差を示す平均絶対誤差は0.8597、採否予測のF1は0.6699だった。担当処理を一つずつ外す検証では、いずれも全構成より内容得点が下がったと著者らは述べる。これは当該評価セット上の結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の研究報告を公開前に点検する担当者の補助に使う。入力は報告書本文と参照文献、出力は「主張の根拠が示された箇所」「比較対象の説明が不足する箇所」「著者へ確認したい質問」を、該当箇所付きでまとめた下書きとする。
担当者は下書きを受け取り、引用元と実験表を自分で照合してからコメントを確定する。報告書の採否を自動で決める用途ではなく、見落としを減らし、修正可能な指摘を早く集める作業に絞る。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内報告書から少数を選び、担当者が実際に付けたコメントと、レビュー生成、根拠確認、統合を経た下書きを比べる。基準は単純な一回のレビュー生成とし、本文の場所を示した正しい指摘数、根拠のない指摘数、担当者が採用した提案数を記録する。
各指摘を担当者が原文と照合し、確認に要した時間も測る。改善点が増えても誤引用の確認に時間がかかるなら、対象を実験結果の照合など範囲の狭い補助作業に限定する。
限界と課題
著者らは、人の査読者を支援する目的を明示している。評価用の論文はICLRの投稿とレビューから抽出され、少なくとも３件の完全な人手レビューがあるものに絞られた。別分野の報告書や、参照文献が乏しい文書で同じ成績になるとは示されていない。
編集上は、検索された関連研究が本当に比較対象として適切か、引用箇所と指摘内容が一致するかを確認したい。数値評価では決定予測の正解率について表と説明文に異なる値があり、表２は0.6939と記載する。
出典
元のタイトル・要旨を確認する（英語）
ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents
The rapid rise in AI conference submissions has driven increasing exploration of large language models (LLMs) for peer review support. However, LLM-based reviewers often generate superficial, formulaic comments lacking substantive, evidence-grounded feedback. We attribute this to the underutilization of two key components of human reviewing: explicit rubrics and contextual grounding in existing work. To address this, we introduce REVIEWBENCH, a benchmark evaluating review text according to paper-specific rubrics derived from official guidelines, the paper's content, and human-written reviews. We further propose REVIEWGROUNDER, a rubric-guided, tool-integrated multi-agent framework that decomposes reviewing into drafting and grounding stages, enriching shallow drafts via targeted evidence consolidation. Experiments on REVIEWBENCH show that REVIEWGROUNDER, using a Phi-4-14B-based drafter and a GPT-OSS-120B-based grounding stage, consistently outperforms baselines with substantially stronger/larger backbones (e.g., GPT-4.1 and DeepSeek-R1-670B) in both alignment with human judgments and rubric-based review quality across 8 dimensions. The code is available \href{https://github.com/EigenTom/ReviewGrounder}{here}.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30