アーカイブ / LLM
科学論文の段落改稿を具体的な指示で導くParaRev
ParaRev
ParaRevの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Definitions of the traditional sentence revision task and the proposed paragraph revision task.
概要
- ParaRevは科学論文の改稿前後の段落48,203組を収録し、うち641組に人手の注釈を付けた。
- 二つの指示が付いた258組の評価では、段落別の具体的な指示が一般的な指示より、試した全モデルの三つの指標で高得点だった。
- 著者らは、評価対象の小ささと、単一の正解段落に依存する自動評価の限界を指摘している。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ParaRevの仕組み
- 01改稿前の段落
- 02段落別の指示
- 03改稿モデル
- 04改稿案
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ParaRevは、科学論文の段落を具体的な指示に沿って改稿する課題を扱う。論文では文法だけでなく、説明の順序や重複を直し、研究内容を明確に伝える必要がある。一文だけを入力する方法では、前後の文を踏まえた結合や並べ替えを扱いにくい。
著者らは改稿の対象を段落に広げ、直したい箇所と修正の程度を文章で伝える設定を提案した。段落全体を見せることで、変更する文の周囲もモデルに示せる。
手法
ParaRevは、科学論文の改稿前後の段落を対応付けたデータセットだ。著者らは、文ごとの対応情報と段落IDを持つCASIMIRから段落対を取り出し、主張を保ちつつ、細かな文法修正を超える変更がある例を選んだ。元の1,889,810段落対から48,203組を残している。
人手の注釈では、一つの段落対に修正意図のラベルを最大二つ付ける。ラベルは「簡潔化」など段落全体の変更の種類を示す分類名だ。改稿後に新情報が加わらない段落には、変更箇所や強さを伝える具体的な指示も書く。例えば重複する説明を短くする指示と元の段落をモデルに渡し、改稿案を得る。
新規性
著者らは、科学論文の改稿を段落単位の課題として定義し、改稿前後の段落対を集めたParaRevを提案した。評価用の一部には、段落全体の修正意図を示すラベルと、どこをどの程度直すかを伝える指示を人手で付けている。
収録した段落対は48,203組で、うち641組に人手の注釈がある。従来の短い分類名より具体的な指示を使い、文の結合や順序変更も含む改稿を検討できる課題設定が新しい点だ。
従来手法との違い
従来の文単位の改稿では、一文と「文体」などの一般的なラベルや指示をモデルに渡す。ParaRevの段落単位の設定では、前後の文を文脈として示し、段落内の特定箇所や修正の強さを指示できる。
実験では同じ258段落について、修正意図ラベルを一般的な指示に置き換えた場合と、段落に合わせた指示を与えた場合を比較した。著者らは、試した全モデルで後者のROUGE-L、SARI、BERTScoreが高かったと報告する。無編集のCopyInputも別の基準として評価している。
実験結果
著者らは、641組の注釈済み段落のうち、二つの指示が付いた258組で比較した。CoEdit、Mistral-7B-Instruct-v0.2、Meta-Llama-3-8B-Instruct、GPT-4oを、追加の例を示さないゼロショット設定で評価した。
正解の改稿段落との比較にROUGE-L、SARI、BERTScoreを用いた。GPT-4oでは一般的な指示から段落別の指示に変えると、順に57.99から66.17、33.33から41.39、92.89から94.11になったと著者らは報告する。一方、無編集のCopyInputのROUGE-Lは78.49で、指標の得点だけでは改稿の良さを判断しにくい。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：研究室で英語論文の草稿を段落ごとに見直す画面を試す。著者が段落と「第2文と第3文の重複を減らす」などの指示を入力し、モデルが改稿案と元文との差分を返す。著者が主張や専門用語を確認して採否を決める。
ゼロショットで試す段階なら追加の学習データは不要だが、評価には著者による改稿前後の段落対と指示を集める。比較用には修正意図ラベルも付ける。必要な入力はテキストで、センサーは使わない。対象分野の表現に合わせた指示の書き方は、試用結果を見て調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：英語論文草稿の一節に対象を絞り、著者が実際に直した前後の段落と、その変更を説明する指示を集める。追加学習はせず、同じ元段落に段落別の指示を与える方法と、修正意図ラベルから作る一般的な指示を与える方法を比べる。
修正意図ラベルは人が付け、元文をそのまま返す方法も基準に置く。採用率、意味を保てた割合、著者の確認時間を記録する。必要なのは段落のテキスト、指示、比較用ラベルで、センサーは不要だ。分野特有の表現と指示の書き方は著者の確認結果に合わせて調整する。
限界と課題
著者らが主な限界として挙げるのは、人手で注釈した評価対象の小ささだ。似た修正意図の境界も判定しにくく、注釈者間の一致度は細かな分類で0.499、近い分類をまとめると0.693だった。
著者らは、単一の正解段落との類似度で測る評価では、妥当な別の改稿が低く採点され得ると指摘する。編集上の検証事項は、元の意味や事実が保たれるか、著者が採用したい改稿かを人が確かめることだ。自動指標の上昇だけから実務での有効性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
ParaRev: Building a dataset for Scientific Paragraph Revision annotated with revision instruction
Revision is a crucial step in scientific writing, where authors refine their work to improve clarity, structure, and academic quality. Existing approaches to automated writing assistance often focus on sentence-level revisions, which fail to capture the broader context needed for effective modification. In this paper, we explore the impact of shifting from sentence-level to paragraph-level scope for the task of scientific text revision. The paragraph level definition of the task allows for more meaningful changes, and is guided by detailed revision instructions rather than general ones. To support this task, we introduce ParaRev, the first dataset of revised scientific paragraphs with an evaluation subset manually annotated with revision instructions. Our experiments demonstrate that using detailed instructions significantly improves the quality of automated revisions compared to general approaches, no matter the model or the metric considered.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01