アーカイブ / RAG / LLM
移植患者向け手引きの記載漏れと施設間の違いをRAGで測る
When Documents Disagree
When Documents Disagreeの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Center distribution map for the handbook corpus. The 23 contributing U.S. transplant centers are geographically dispersed across the country.
概要
- 102冊の移植患者向け手引きと1115件の質問を使い、施設別の回答を比較した。
- 両方に回答がある組の20.8%を意味のある相違と分類し、生殖に関する質問では95.1%の質問・手引き組が記載なしだった。
- 検索漏れ、表や図の未処理、判定モデルの偏りがあり、差の解釈には原文と専門家の確認が必要。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、When Documents Disagreeの仕組み
- 01患者の質問と施設別手引き
- 02関連箇所を検索
- 03施設別回答を比較
- 04記載漏れ・相違の集計
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、臓器移植を受ける患者向けの手引きに、同じ質問への答えが書かれているか、施設間で案内が違うかを測る。患者が読む説明が施設ごとに異なれば、文書を検索して回答を作る仕組みも、参照した手引きによって異なる答えを出す。
記載の欠落と案内の食い違いを分けて把握することは、手引きの改訂箇所を探すうえで役立つ。研究は正しい治療方針の決定ではなく、文書に表れた違いの測定を目的とする。
手法
手引きのPDFを見出しやページを保った文章に変え、質問に関係する部分を探す。検索拡張生成、略してRAGは、見つけた文書片を言語モデルへ渡して回答の根拠にする方法である。各施設の手引きから上位五つの文章片を渡し、答えが見つからない場合は「記載なし」を返すようにする。
次に同じ質問に対する施設別の回答を二つずつ比較し、一致、補完的、意味のある相違、正面からの矛盾に分類する。片方でも記載がなければ比較結果は「記載なし」とする。たとえば血液検査の頻度を尋ね、二施設の回答が週ごとと数か月ごとなら、差のある案内として集計対象になる。
新規性
この研究は、同じ患者の質問を施設ごとの手引きに別々に照らして回答を作り、その回答同士を五種類に分類する。分類は「記載なし」「一致」「補完的」「相違」「矛盾」で、単に文章が違うかではなく、案内内容の関係を測る。
質問、話題、臓器、施設の各単位で記載漏れと相違を集計する点も特徴である。著者らは唯一の正しい答えを決めるのではなく、参照する施設の文書によって患者向け回答がどう変わるかを可視化した。
従来手法との違い
一般的な文書検索付きの質問応答は、選んだ文書から答えを作る。元の文書同士に違いがあれば、検索が正しくても回答は参照先に左右される。本研究は施設ごとに独立した回答を作り、回答の有無と、複数施設間の一致・相違を測る。
検索にはキーワード一致と意味による検索を併用し、候補を並べ直して上位五つの文章片を渡す。ここで示された結果は施設間の記載状況の分析であり、別の検索方式より回答精度が何点高いかを示す比較ではない。
実験結果
著者らは米国23施設の手引き102冊と患者の質問1115件を分析した。施設別回答の組み合わせ177万2261件のうち、170万4242件、96.2%が「記載なし」を含む組だった。両方に回答がある6万8019組では、補完的66.0%、相違20.8%、一致13.0%、矛盾0.2%と分類された。
妊娠・避妊など生殖に関する質問では、質問と手引きの組の95.1%が「記載なし」だった。監視・経過観察の質問群は、質問ごとに計算した平均相違率が0.277で最も高いと報告される。全体の96.2%は回答同士の比較組に対する割合で、質問と手引きの組の欠落率と同一視できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：組織内の患者向け手引きを改訂する担当者が、よくある質問ごとの記載漏れと文書間の説明差を一覧にする。入力は各版の手引きと質問集、出力は根拠箇所、回答の有無、差が疑われる質問の表とする。担当者は差のある箇所を原文に戻って確かめる。
たとえば検査の頻度に関する質問を版ごとに照合し、時期や条件が違えば改訂履歴と担当部署へ確認する。ここでの目的は文書改善の候補を見つけることであり、患者に対する医療上の判断を自動で決めることではない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：改訂対象の手引きを数冊と質問集を用意し、質問ごとに関連箇所、施設別回答、記載の有無を記録する。まず担当者が原文を読んで付けた「記載あり・なし」を基準にし、検索と回答生成が正しい箇所を拾う割合を測る。
次に差が付いた回答の組を専門家が確認し、分類の一致率と、重要な相違の見逃し件数を数える。表や図だけに答えがある質問も別に集め、文字抽出の限界を調べる。結果は改訂候補の抽出に使い、原文確認の記録を残す。
限界と課題
著者らは、回答同士を判定する言語モデルに系統的な分類の偏りが残り得ると述べる。検索が関連箇所を見逃す可能性もあり、表や図を含む手引きでも本文テキストだけを処理した。対象は米国23施設の英語の手引きに限られる。
導入時には、「記載なし」とされた質問が本当に文書にないかを原文で確認したい。また、施設間の違いが対象患者や治療段階の違いによるものか、実際の方針の差かを専門家が見分ける必要がある。分類結果だけで一方の案内を誤りと判定できない。
出典
元のタイトル・要旨を確認する（英語）
When Documents Disagree: Measuring Institutional Variation in Transplant Guidance with Retrieval-Augmented Language Models
Patient education materials for solid-organ transplantation vary substantially across U.S. centers, yet no systematic method exists to quantify this heterogeneity at scale. We introduce a framework that grounds the same patient questions in different centers' handbooks using retrieval-augmented language models and compares the resulting answers using a five-label consistency taxonomy. Applied to 102 handbooks from 23 centers and 1,115 benchmark questions, the framework quantifies heterogeneity across four dimensions: question, topic, organ, and center. We find that 20.8% of non-absent pairwise comparisons exhibit clinically meaningful divergence, concentrated in condition monitoring and lifestyle topics. Coverage gaps are even more prominent: 96.2% of question-handbook pairs miss relevant content, with reproductive health at 95.1% absence. Center-level divergence profiles are stable and interpretable, where heterogeneity reflects systematic institutional differences, likely due to patient diversity. These findings expose an information gap in transplant patient education materials, with document-grounded medical question answering highlighting opportunities for content improvement.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30