新着研究 / LLM
人とLLMの注釈の食い違いを記録付きで直す「QuanReview」
QuanReview
QuanReviewの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: The adjudication interface, showing one conflict pair. The two candidates appear under neutral, order-randomised labels; in this pair they agree on quantity, unit, and modifier but differ on event type ( EventO vs. EventP ), the disagreement the reviewer resolves below.
概要
- 二つの完成済み注釈を文字位置で照合し、相違だけを担当者へ送る。
- 担当者は片方の採用、項目別の組み合わせ、再注釈への差し戻しを選べる。
- 635文書の評価で53文書を完全自動統合し、3,131組の相違を人に提示した。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、QuanReviewの仕組み
- 01二系列の注釈
- 02文字位置で照合
- 03相違を人が裁定
- 04修正済み注釈を書き出し
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
文書内の数量や単位に印を付ける「スパン注釈」は、抽出した語句の位置と意味を記録する作業だ。人手で作った正解注釈とLLMの抽出が違うとき、モデルの誤り、参照側の見落とし、原文の曖昧さを区別する必要がある。
大量の記録を無言で上書きすると、後から変更理由を追えない。実務では食い違いだけを人に回し、誰が何を選んだかを残せる手順が求められる。
手法
同じ文書への二つの注釈を、文字の開始・終了位置の重なりで対応付け、数量、単位、修飾語、事象分類などを項目ごとに比べる。片側だけにある記録には明示した方針を適用し、参照側だけなら保持、モデル側だけなら修正版へ即時追加せず再注釈へ回す。各判断は記録される。
相反する候補はブラウザー画面で原文とともに提示する。担当者は片方を採用するほか、例えば数量は人手側、事象分類はモデル側という項目別の組み合わせを選べる。複数担当者の判断が一致した文書は統合し、最終結果を元と同じJSON形式で出力する。
新規性
完成済みの二つの注釈を文字位置で突き合わせ、一方だけにある記録への明示的な方針、項目別の組み合わせ、判断履歴、元と同じ形式での書き出しを一つのオフライン作業にまとめた点が特徴である。
著者らは複数の既存ツールとの機能表を示す一方、同一作業での直接比較は将来課題としている。
従来手法との違い
INCEpTIONは参照注釈を作る際にも使われた既存基盤であり、Label Studioなども複数人の注釈やモデル出力の確認を部分的に支える。QuanReviewは、完成した二系列の注釈を後から照合する用途に絞る。
特に文字単位の対応付け、一方だけの記録の扱い、項目別の混合判断、可逆な判断ログを組み合わせる。ただし、既存基盤に比べて作業時間や正確さが向上したという直接比較結果は示されていない。
実験結果
著者らは人道支援文書635件の数量注釈4,457記録とGPT-4.1の抽出を照合した。53文書、全体の8％を完全自動統合し、レビュー対象文書内の1,513記録には自動方針を適用した。そのうちモデル側だけの287記録は再注釈へ回し、3,131組の候補相違を人へ提示した。
八人の担当者による裁定では、最終注釈4,121件のうち項目別の組み合わせが2,604件、63.2％だった。共通して評価した78組でのFleissのκは0.624で、これは複数人の判断一致度を表す。事象分類のκは0.225と低く、項目ごとの難しさが異なった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：災害報告から被災人数や単位を抜き出した既存の人手注釈を、LLMの抽出結果と照合する。入力は同じ報告書に対する二つの注釈ファイルと、数量・単位・不確実性・事象分類の項目定義だ。
出力は修正済み注釈と判断履歴にする。担当者は自動判定された記録を確認し、食い違う候補だけを画面で裁定する。両候補とも採れない場合は旗を付け、原文からの再注釈に回す。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：同じ少数の文書について、人手版とLLM版の注釈を用意し、項目定義と片側だけの記録を扱う方針を先に固定する。照合結果から自動処理、要裁定、再注釈の件数を分けて記録する。
比較基準は全件を人が見直す現在の手順とする。担当者の確認時間、裁定後の項目一致、旗付き記録の割合、変更理由を追跡できる割合を測り、書き出したファイルが既存処理で読めるかも確かめる。
限界と課題
著者らは、生テキストから注釈を新規作成する機能がなく、現時点の実証は一つの注釈形式の系列に限られると述べる。また一致度は裁定判断の一貫性であり、独立に付けた注釈そのものの信頼性ではない。
編集上の確認課題は、別分野の項目定義でも文字位置の対応付けが機能するか、旗を付けた記録が再注釈で解決するか、担当者間の判断差をどう収束させるかだ。自動統合率だけで修正後データの正確さを評価しない。
出典
元のタイトル・要旨を確認する（英語）
QuanReview: Offline, Auditable Reconciliation of Human and LLM Span Annotations
Structured span annotations, such as quantities with their units, uncertainty modifiers, and event classes, are expensive to create and hard to keep trustworthy once language models enter the loop. We present QuanReview, an open-source system for auditing and correcting such annotation layers. QuanReview aligns two annotation streams over the same documents at character level, resolves unambiguous cases by an explicit and logged policy, and routes candidate conflicts to a browser-based adjudication interface where reviewers accept either side, build field-level hybrids, or flag items for re-annotation. A campaign manager assigns documents to multiple annotators with configurable redundancy, computes agreement at document and span level, auto-merges unanimous documents, and exports the corrected layer in the original file format, so that it can replace the original annotation files directly. Applied to a 4,457-record humanitarian benchmark and an LLM extraction stream, the system fully auto-merged 8% of documents, applied automatic policy decisions to a further 1,513 records, and concentrated human attention on 3,131 candidate conflicts, a mean of 5.4 per reviewed document.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29