新着研究 / LLM
長文調査レポートの自動評価を比較、指示遵守と読みやすさに残る難しさ
AEOLLM-2
概要
- AEOLLM-2はLLMの長文調査レポートを評価する方式を、人の評点との一致で比較する。
- 10チームから91実行を集め、網羅性・洞察・指示遵守・読みやすさを評価した。
- 指示遵守の最高正解率は0.6350で、網羅性の0.7533より低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AEOLLM-2の仕組み
- 01長文調査レポート
- 02自動評価器の採点
- 03人手ラベルと照合
- 04評価方式を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AEOLLM-2は、言語モデルが書いた長い調査レポートの品質を自動で採点する方法を比較する評価課題だ。レポートには情報量だけでなく、問いに答えているか、読みやすいかといった複数の品質がある。
人が全件を読む費用を減らすには、自動採点が人の判断とどの程度合うかを測る必要がある。一つの総合点だけでは、網羅的だが指示を外す回答や、内容は良いが読みにくい回答の問題を見落としやすい。
手法
NTCIR-19の課題として、LLMが生成した長文の調査レポートを対象にするDeep Research Evaluationを設けた。参加者はレポートの質を自動判定する方式を提出し、結果を人が注釈した正解ラベルと比較する。これは新しいレポート生成器そのものではなく、生成物を測る仕組みの比較である。
網羅性、洞察、指示遵守、読みやすさを分けて測る。順位の一致にはSpearman相関とKendall相関を使い、正解率も併記する。前者は順位の関連、後者は回答間の順序の一致を捉える。例えば二つのレポートの総合点が近くても、指示遵守の順位が人と逆なら、その軸の評価器に課題が残る。
新規性
従来のAEOLLM課題を引き継ぎ、長文の深い調査レポートに焦点を広げた点が特徴だ。短い回答に対する評価だけでは把握しにくい、情報の網羅と読みやすさの両立を独立した軸で扱う。
多様な参加方式を同じ人手ラベルで比較し、評価指標間の順位差も調べる。自動採点器の一つの数字を万能な品質判定として使わず、どの観点をうまく測れるかを分析する設計になっている。
従来手法との違い
著者らによる総括では、RSLIRが全体で最良で、網羅性・洞察・指示遵守でも最高の結果だった。一方、読みやすさではSCUNLPが最良であり、同じ方式がすべての軸で優位になるわけではない。
順位相関と正解率の傾向はおおむね一致するが、網羅性では指標によって次点の方式が変わる。方式の採用時には総合順位に加えて、実務で重視する軸と採点の使い方に合う指標を見る必要がある。
実験結果
10チームから合計91実行が提出された。指示遵守の最高正解率は0.6350で、網羅性の0.7533、洞察の0.7425より低かった。読みやすさの最高Spearman相関は0.5197、Kendall相関は0.3827だった。
著者らは指示遵守と読みやすさを相対的に難しい観点と結論付けている。ただし正解率と順位相関は異なる量なので、値の大小を直接比べて同じ意味の性能差として解釈しない。これらは当該課題での人手評価との対応を示す。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の調査支援システムで、生成レポートを人が確認する順序を付ける。入力は依頼文とレポート、出力は四つの評価軸の点数と、人の再確認が必要な候補とする。
網羅性だけが高く指示遵守が低い文書を別に拾えば、長い回答をそのまま良い回答と扱う偏りを減らせる。評価器の低得点だけで文書を破棄せず、編集者が原文を読んで採否を決める工程を想定する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内で使う短い調査依頼と長文回答の組を集め、複数の担当者が軸別に採点する。自動評価器と人の順位・判定の一致を確認し、人同士の不一致も基準として記録する。
一つの総合点による並べ替えと、軸別の並べ替えを比較する。特に指示を一部外した回答と、文章だけ読みやすくした回答を含める。テーマを分けた留保集合で再確認し、運用中の評点の偏りを点検する。
限界と課題
今回の比較は定められたレポート集合と人手ラベルに依存する。著者らも今後はデータと場面を多様化するとしており、社内文書や別言語で同じ順位になるとは限らない。
編集上の確認点は、注釈者間の一致、依頼の専門性、長さへの偏りである。読みやすさの採点が内容の正確さを保証するわけではないため、事実確認や引用確認を評価軸の点数だけで置き換えない運用が必要になる。
出典
元のタイトル・要旨を確認する（英語）
Overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) Task
In this paper, we provide an overview of the NTCIR-19 Automatic Evaluation of LLMs 2 (AEOLLM-2) task. Building on the success of the NTCIR-18 core task AEOLLM, we proposed AEOLLM-2 for NTCIR-19 to further investigate automatic evaluation methods for Large Language Models (LLMs), particularly in long-form text generation scenarios. In AEOLLM-2, we introduced a new subtask, Deep Research Evaluation, which focuses on the automatic evaluation of long-form deep research reports generated by LLMs. Participants developed evaluation methods to automatically assess the quality of these reports, and the performance of each method was measured by comparing its scores against human-annotated ground-truth labels. This year, we received 91 runs from 10 teams in total. This paper describes the background of the task, the dataset construction, the evaluation measures, the participants' methods, and the final evaluation results.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集：2026-10-09