アーカイブ / LLM
査読前に論文を比較し、採択境界付近へ追加査読を配分する
LLM Comparative Ranking
LLM Comparative Rankingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 4: Toy Example of Acceptance Probability as a function of Underlying Quality: The black dotted line represents the switch from 0 probability to 1 probability of acceptance when the quality exceeds a certain threshold (target quantile). This is the first best behavior that could only be achieved when the underlying quality is known to us. Reviewer feedback is a noisy signal of the quality, leading to the black curve. Although having quality exceeding the threshold may no longer guarantee acceptance, higher quality leads to higher acceptance probability. The red curve represents the acceptance probability under our scheme when LLM has extremely high fidelity: if an author has an option to reduce one’s quality, they could intentionally reduce their quality to increase the acceptance probability. However, we can see that, when an LLM has moderate noise, the acceptance probability follows the blue curve, which is monotone, rendering gaming impossible.
概要
- 査読開始前にLLMで投稿論文を二者比較し、推定順位から選んだ採択境界付近へ追加査読枠を配る提案。
- ICLR 2025の投稿1,000件を用いた過去データ分析では、幅30%の境界帯の重なり率は0.41だった。
- 無作為配分より約24件の判断が改善するという値は、仮定と代理指標による概算であり、実際の追加査読で確認した効果ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LLM Comparative Rankingの仕組み
- 01投稿原稿
- 02LLMで二者比較
- 03比較結果から順位推定
- 04境界帯へ追加査読
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
学会が各論文に必要な査読数を確保しても、査読者に追加の担当余力が残る場合がある。その枠をどこへ配るかで、人間の査読時間の使い方が変わる。
著者らは、採択と不採択の境界付近では査読点のばらつきが判断に影響しやすいと考える。ただし、その論文を査読開始前に見分けるのは難しい。そこで原稿同士の比較を、追加枠を配るための事前情報にする。
手法
二つの投稿原稿からタイトル、要旨、図表の説明、本文をLLMに示し、一方を選ばせる。実験ではPDFを先頭10ページまでに切り詰め、無作為な組み合わせで比較を重ねた。各回の出力は選ばれた論文である。
比較結果からブラッドリー・テリー模型で全論文の相対的な順位を推定する。これは二者の勝敗をまとめて順位に直す統計手法である。想定採択割合に対応する位置を中心に、余剰枠数に見合う幅の「境界帯」を選び、各論文へ査読を一件追加する。LLMの順位は査読数の配分に使い、採否判断には使わない。
新規性
著者らの提案は、人間の査読が始まる前に大規模言語モデル（LLM）で投稿論文を比較し、採択境界に近い候補へ追加の査読枠を配る点にある。LLMは採否を決めず、その順位も採否の判断者には見せない。
さらに、予測した境界帯が事後に定めた境界帯とどれだけ重なるか、その付近で査読を一件増やす価値がどれほどあるかを分け、固定された追加枠の効果を概算する。
従来手法との違い
著者らが効果を計算する際の基準は、同数の追加査読枠を論文に無作為に配る方法である。提案法は、会議が定める最低査読数を各論文に確保したうえで、LLMの比較順位から選んだ境界帯へ各一件を配る。
本文は、初回の人間の査読後に境界付近へ資源を移す既存の方法にも触れる。提案法の違いは配分の時期であり、査読者の割り当て時点で追加件数を決める。実測値として比較しているのは無作為配分を基準にした過去データ上の指標である。
実験結果
著者らはICLR 2025の投稿から無作為に選んだ1,000件を過去データで分析した。GPT-5-miniによる40巡、計20,000回の二者比較から順位を推定した。採択割合25%に対応する位置を中心とした幅30%の境界帯では、採否区分と平均査読点から事後に定めた帯との重なり率は0.41だった。
査読が4件以上の論文で、査読を一件ずつ除く予測変化から求めた追加査読価値の代理指標は0.024、95%信頼区間は0.003～0.045。著者らは投稿30,000件、論文当たりの余剰枠0.3件を仮定し、無作為配分との差を約24件と計算した。実際に改善した件数ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：投稿数の多い学会で、各論文の最低査読数を満たした後の追加枠について、候補一覧を作る。入力は投稿原稿、予定する採択割合、最低査読数、余剰枠数で、出力は追加査読の候補論文とする。
この方式自体に学会固有の追加学習データは要らないが、適用を確かめるには過去の原稿と、採否区分・査読点のラベルが必要になる。センサーは不要。原稿の抽出範囲を会議に合わせ、利益相反や査読者の負荷を確認してから人間が割り当てを決める。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の投稿原稿を集め、当時の採否区分と査読点を検証用ラベルにする。学会固有の追加学習データはこの手法には要らない。センサーも不要で、原稿の抽出範囲と想定採択割合を対象会議に合わせて境界帯を再現する。
同数の追加枠を無作為に配る場合を基準に、境界帯の重なり率、分野別の偏り、比較にかかる費用を測る。割り当て前には利益相反と査読者の負荷を確認する。実施時の判断への効果は、代理指標の計算とは分けて検証する。
限界と課題
著者らは、査読を一件ずつ除いて予測の変化を調べる指標を、追加査読の因果効果とは区別している。改善件数の計算も、論文ごとの差、査読者間の採点差、分野によるばらつきを単一の値にまとめた概算である。
編集上の検証事項は、分野ごとの候補選定の偏りと、原稿を先頭10ページに限ることによる順位の変化である。実際に査読を追加したとき採否判断が安定するかは、追加枠を使う試行で別途測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Allocate Marginal Reviews to Borderline Papers Using LLM Comparative Ranking
This paper argues that large ML conferences should allocate marginal review capacity primarily to papers near the acceptance boundary, rather than spreading extra reviews via random or affinity-driven heuristics. We propose using LLM-based comparative ranking (via pairwise comparisons and a Bradley--Terry model) to identify a borderline band \emph{before} human reviewing and to allocate \emph{marginal} reviewer capacity at assignment time. Concretely, given a venue-specific minimum review target (e.g., 3 or 4), we use this signal to decide which papers receive one additional review (e.g., a 4th or 5th), without conditioning on any human reviews and without using LLM outputs for accept/reject. We provide a simple expected-impact calculation in terms of (i) the overlap between the predicted and true borderline sets ($ρ$) and (ii) the incremental value of an extra review near the boundary ($Δ$), and we provide retrospective proxies to estimate these quantities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01