アーカイブ / LLM / RAG
無関係な一文で医療LLMの正答率はどう変わるか
MedDistractQA
概要
- MedQAの設問に診断と無関係な一文を加え、医療LLMの回答への影響を測る評価データを作った。
- 著者らの評価では、追加文による正答率低下は最大17.9ポイントだった。
- 医療分野の追加学習やRAGだけでは、余計な情報への耐性が安定して改善しなかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MedDistractQAの仕組み
- 01MedQAの設問
- 02誤答の用語を抽出
- 03無関係な一文を挿入
- 04モデルの回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MedDistractQAは、診断に不要な記述が混じった医療問題で、言語モデルの答えが変わるかを調べる。臨床では患者の経過を読み、重要な事実と周辺的な話を分ける必要がある。診療中の会話から自動で記録の下書きを作る場合、その区別がさらに難しくなる。
米国医師免許試験形式の問題で高い正答率を示しても、実際の文章には家族の病歴や比喩表現が入り得る。医療向けAIを検討する際には、知識を問うだけでなく、無関係な情報を含む入力でも判断が保たれるかを見る必要がある。
手法
著者らはMedQAの各設問から誤答選択肢にある医療用語を選び、GPT-4oで診断上の価値がない短文を作る。短文を元の設問に埋め込み、元の問題と改変した問題で同じモデルの回答を比べる。例えば「Cancer」を病名ではなく星座の意味で使えば、単語は医学的でも患者の診断情報にはならない。
追加文は二種類ある。Nonliteralは医療用語を医療以外の意味で使い、Bystanderは家族やペットなど患者以外の健康情報を述べる。各設問に固有の文を用意し、正答率の差を測った。別の実験では、医学書の段落を質問との文章上の近さで一つ選び、入力に加えた。
新規性
MedDistractQAは、医療知識そのものに加え、診断に関係しない記述を見分けられるかを測る評価データである。誤答選択肢の医療用語を使い、正答の手掛かりを増やさずに紛らわしい一文を作る点が設計の要になる。
医療用語の比喩的な使用と、第三者に関する医療情報を別々に試すため、どの種類の余計な情報で正答が崩れるかを比較できる。著者らはさらに、検索で追加した文章も同様の混乱を起こし得るか調べた。
従来手法との違い
比較の基準は、余計な一文を含まない元のMedQA問題である。同じ質問形式を保ったまま一文を加え、モデルごとの正答率の差を測る。医療分野の追加学習をしたモデルと一般モデル、公開モデルと提供事業者のモデルも比較対象に含めた。
検索拡張生成（RAG）は、質問に関連する外部文章を検索して入力に加える方法を指す。著者らは医学書から選んだ段落を加える条件も評価した。検索文が関連していても、それを足すだけで成績が改善するとは限らないという結果だった。
実験結果
著者らは、元のMedQAと二種類のMedDistractQAを同じ質問形式で評価した。正答率の低下幅はNonliteralで2.2～17.8ポイント、Bystanderで1.3～17.9ポイントだった。一般の公開モデル群では、それぞれ平均10.9ポイント、10.6ポイント低下したと報告している。
医療分野の追加学習は、モデル群全体では耐性を有意に変えなかった。無関係な情報を無視するよう明示する指示にも有意な効果はなかった。医学書の段落を加えたRAG条件の変化は、10.3ポイントの低下から1.9ポイントの上昇まで及んだ。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：診療会話から作った下書きを医療者が確認する際、AIが候補となる回答と、その判断に使った患者本人の記述を並べて示す。入力は下書きと確認したい質問、出力は回答候補、参照箇所、判断から除外した記述の一覧とする。
例えば患者本人の症状に、家族やペットの病歴が混じる場面を対象にする。担当者は除外理由と元の記録を照合し、必要なら質問を修正する。この運用は論文で実証されたものではなく、混同を発見しやすくするための編集上の設計案である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：用途に近い選択式の確認問題を用意し、患者本人の情報だけを含む版を基準にする。次に、医療用語の比喩と第三者の健康情報を一文ずつ加えた版を作り、設問ごとに回答が変わった件数と正答率差を記録する。
検索文を使う設計なら、同じ問題で検索文なしとありも比べる。患者本人と第三者の取り違え、正答でも根拠の参照先が違う例を人が確認する。論文の数値を合格基準として流用せず、自分たちの入力で許容できる誤りを決める。
限界と課題
著者らが挙げる限界は、評価がMedQAの選択式問題に集中し、自由記述の診断や治療計画まで一般化できないことだ。追加文は特定のLLMで生成しており、実際の診療会話に現れる余計な情報の幅を十分に再現していない可能性もある。
編集上の確認課題は、会話から作った実際の下書きでも同じ正答率低下が起きるか、入力の順序や第三者への言及をどう扱うかである。基礎正答率と頑健さの相関についても、著者らは因果関係を示すには追加の統制実験が必要としている。
出典
元のタイトル・要旨を確認する（英語）
Medical large language models are easily distracted
Large language models (LLMs) have the potential to transform medicine, but real-world clinical scenarios contain extraneous information that can hinder performance. The rise of assistive technologies like ambient dictation, which automatically generates draft notes from live patient encounters, has the potential to introduce additional noise making it crucial to assess the ability of LLM's to filter relevant data. To investigate this, we developed MedDistractQA, a benchmark using USMLE-style questions embedded with simulated real-world distractions. Our findings show that distracting statements (polysemous words with clinical meanings used in a non-clinical context or references to unrelated health conditions) can reduce LLM accuracy by up to 17.9%. Commonly proposed solutions to improve model performance such as retrieval-augmented generation (RAG) and medical fine-tuning did not change this effect and in some cases introduced their own confounders and further degraded performance. Our findings suggest that LLMs natively lack the logical mechanisms necessary to distinguish relevant from irrelevant clinical information, posing challenges for real-world applications. MedDistractQA and our results highlights the need for robust mitigation strategies to enhance LLM resilience to extraneous information.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-30