アーカイブ / LLM
要約の誤り・情報の抜け・余分な文を調べる評価基盤「UniSumEval」
UniSumEval
UniSumEvalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: UniSumEval contains fine-grained and multi-dimensional human annotations with high IAA on various input domains, types, and lengths. We conduct AI-assisted manual evaluation on 2,025 hallucinogenic text-summary pairs with 2,509 human key-facts.
概要
- 9領域の原文を9モデルで要約し、誤りを誘発し得る原文を選んだ2,025組に人手の評価を付けた。
- 要約文の事実関係、重要事項の抜け、重要事項に対応しない文を、細かな注釈から評価する。
- 著者らの追加実験では、AIの推定ラベルと理由を示すと、文の真偽判定における注釈者間一致度が上がった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、UniSumEvalの仕組み
- 019領域の原文
- 029モデルで要約
- 03誤り候補の原文を選択
- 04人が文と重要事項を照合
- 053軸の評価値
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
UniSumEvalは、生成された要約のどの文を直すべきか調べるための評価基盤である。要約には原文にない事実、重要情報の抜け、余分な記述が生じ得る。要約全体への一つの評価だけでは、問題の箇所を特定しにくい。
従来の評価基盤には、ニュースなど単一領域や短い非対話文に対象が偏るものが多い。会議での発言者の取り違えや、長い報告書での情報の抜けも調べるには、入力の種類を広げ、文ごとの確認を可能にする必要がある。
手法
著者らは9つの元データのテスト集合から各200件の原文を抽出し、各原文を9モデルで要約した。AIによる文単位の事実判定を手掛かりに、少なくとも一つのモデルが原文にない内容を出した可能性がある原文を、各データから25件選ぶ。その要約文を人が確認し、事実上の誤りの有無を記録する。
情報の抜けと余分な文の評価には「重要事項」を使う。これは原文の大切な情報を一件ずつ短く表したもので、AIが作った候補を人が確認し、各事項を読み取れる要約文に対応付ける。たとえば会議記録の「納期を金曜に変更」が要約のどの文に含まれるかを調べる。事実に合う文の割合、要約から読み取れる重要事項の割合、重要事項に対応する要約文の割合を算出する。
新規性
著者らが新規性として挙げるのは、9領域の短文・長文、対話・非対話を一つの基盤に収め、要約文と重要事項の単位で3つの品質を評価できる点だ。個人情報を伏せた入力も扱う。
誤りを誘発し得る原文を選び、人による細かな注釈を集めた。原文の関連箇所やAIの判定理由を注釈者に示す仕組みも組み合わせている。
従来手法との違い
SummEvalはニュース1領域を要約全体の単位で評価し、TofuEvalは対話の2領域を扱う。UniSumEvalは9領域を対象に、要約文の事実関係と、原文の重要事項がどの要約文から読み取れるかを記録する。
著者らは質問応答型、自然言語推論型、LLM型の自動評価手法も人手の評価と領域別に照合した。自然言語推論とは、ある文が原文から導けるかを判定する方法を指す。比較結果では、余分な文を見つける簡潔さの評価が難しいと報告する。
実験結果
著者らは9領域の原文と要約2,025組を対象に、8,133の要約文と2,673の重要事項候補を、それぞれ3人の注釈者で確認した。候補から残った重要事項は2,509件で、重要事項と要約文の対応付けは101,013組に及ぶ。
注釈者間一致度、つまり人同士の判断がどれほど揃うかは、文の真偽でKrippendorffのαが平均0.60、重要事項の妥当性でGwetのAC1が0.88、対応付けでαが0.58だった。著者らの追加実験では、真偽判定時の一致度がAIの推定ラベル提示で0.28から0.55へ、理由も示すと0.63へ上がった。これらは要約の正答率ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内会議の要約を担当者が点検する。入力は発言者が分かる会議記録と生成済みの要約、出力は事実確認が必要な文、要約から抜けた重要事項、重要事項に対応しない文の一覧とする。
担当者は一覧から会議記録の該当箇所へ戻って修正する。追加学習をしない試行なら学習用データは不要だが、検証には会議記録、要約、人が確認した重要事項と文の真偽ラベルが要る。追加センサーは使わず、会議固有の略語と発言者表記に合わせて事項の切り出し方を調整する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：少数の会議記録と要約を集め、人が重要事項、各要約文の真偽、事項と文の対応を記録する。追加学習をしない構成なら学習用データは不要だが、この人手ラベルは検証に必要となる。入力はテキストで、追加センサーは使わない。
現行の人手点検を比較基準に、見つかった誤りと抜けの件数、確認に要した時間を測る。次に重要事項の候補、関連する原文箇所、AIの判定理由を提示し、同じ種類の文書で検出件数と作業時間を比べる。略語や発言者表記への調整内容も記録する。
限界と課題
著者らは、長文や報告書・医学文献など専門的な入力では、注釈者間一致度が下がると報告する。また、対象は少なくとも一つのモデルが誤りを出した可能性のある原文から選ばれており、通常の文書で誤りが起きる割合を表す標本ではない。
編集上の検証事項として、日本語の会議記録でも重要事項の切り出しと発言者への対応付けが安定するかを確かめる必要がある。AIが示す関連箇所や判定理由に人の判断が引きずられないかも確認したい。確認できた本文の範囲では、日本語文書での結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
UniSumEval: Towards Unified, Fine-Grained, Multi-Dimensional Summarization Evaluation for LLMs
Existing benchmarks for summarization quality evaluation often lack diverse input scenarios, focus on narrowly defined dimensions (e.g., faithfulness), and struggle with subjective and coarse-grained annotation schemes. To address these shortcomings, we create UniSumEval benchmark, which extends the range of input context (e.g., domain, length) and provides fine-grained, multi-dimensional annotations. We use AI assistance in data creation, identifying potentially hallucinogenic input texts, and also helping human annotators reduce the difficulty of fine-grained annotation tasks. With UniSumEval, we benchmark nine latest language models as summarizers, offering insights into their performance across varying input contexts and evaluation dimensions. Furthermore, we conduct a thorough comparison of SOTA automated summary evaluators. Our benchmark data will be available at https://github.com/DISL-Lab/UniSumEval-v1.0.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01