アーカイブ / LLM
診療履歴の要約で何が失われるか：出典を追える設問で８方式を比較
ClinTraceBench
ClinTraceBenchの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: ClinTraceBench construction pipeline. 1. Cohort: MIMIC-IV 364,627 → 400 364{,}627\to 400 , 4-disease balanced + complexity-tertile stratified. 2. Events: fixed 18-lab panel, deterministic event IDs for provenance. 3. Dialogue: Sonnet 4.6 synthesis + DeepSeek/Qwen3-Max rescue; verifier v3.2 (10 HARD + 3 SOFT); 385/400 pass. 4. Tasks: Python-generated anchor+gold, Sonnet paraphrases to questions; L0–L4 deterministic + L5 human audit yields the 6,271-question set (98.92% agreement). 5. Evaluation: 8 × 4 = 32 8\times 4=32 cells, 200,672 predictions. Each panel lists its Process , Verify , Output .
概要
- ClinTraceBenchは、385件のMIMIC-IV由来の対話と、根拠となる出来事をたどれる6,271問で履歴の扱い方を評価する。
- 著者らの比較では、全設問をまとめた正答率は４回答モデルすべてで対話全文を渡す方式が最高だった。
- 所見と診断を結ぶ文を要約や記憶の作成前に加えた試験では、肯定例19問の検出は各方式で最大１問だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ClinTraceBenchの仕組み
- 01MIMIC-IV患者記録
- 02受診対話の作成
- 03根拠付き設問の作成
- 04８方式で回答
- 05正答と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
複数回の受診について答えるには、過去の検査値を見つけるだけでなく、値の変化や、同じ受診で医師が所見と診断をどう結び付けたかも追う必要がある。履歴を短い要約や検索結果にすると、そのつながりが抜ける可能性がある。
ClinTraceBenchは、こうした情報の残り方を課題別に調べる評価用の設問集だ。正答を根拠となる出来事に結び付け、回答に必要だった記録をたどれるようにしている。
手法
著者らはMIMIC-IVの複数回受診した患者記録から、日付、検査値、診断、薬などを保った患者と医療者の対話を作る。各出来事に識別用のIDを付け、元記録から正答とその根拠を定めて質問を作成し、形式・出典の確認と人手監査を経る。設問には検査値の確認、経時変化、所見と診断の結び付き、回答保留などがある。
例えば２回の受診で検査値が増えたかを問う場合、回答には両方の値が要る。回答モデルには対話全文や直近受診、検索で選んだ受診、要約など８通りの履歴を渡す。検索方式では文章を意味の近さを比べられる数値に変え、関連する受診を選ぶ。同じ設問への回答を正答と照合し、履歴の渡し方による差を調べる。
新規性
著者らが示す特徴は、複数回の受診記録から作った対話について、正答を根拠となる出来事のIDに結び付け、同じ設問で履歴の渡し方を比較できる点にある。設問は、値の確認から受診をまたぐ変化、回答保留まで９種類に分かれる。
さらに、医師が所見と診断を結び付けた文を要約や記憶の作成前に入れる試験を設けた。回答時に情報を探せるかだけでなく、履歴を短くする段階でその関係が残るかを調べる。
従来手法との違い
著者らは、質問だけ、直近の受診だけ、対話全文、関連する受診の検索、受診ごとの構造化時系列表、言語モデルによる要約、Mem0とA-Memの記憶方式を比較した。各方式に同じ質問を与え、４つの回答モデルで調べている。
全設問をまとめた正答率は、４モデルすべてで全文方式が最高で、検索方式が続いた。ただし課題別には違いがあり、記録に答えがない設問で回答を控えた割合は、直近受診だけの方式が全文方式より高かった。
実験結果
著者らは385件の対話から6,271問を作り、８方式と４回答モデルの32条件で計200,672回答を評価した。全設問をまとめた正答率は、全文方式でDeepSeek-V3が67.2％、GPT-4o-miniが63.0％、Haiku 4.5が70.6％、Sonnet 4.6が69.8％だった。
所見と診断を結ぶ文を作成前に入れた試験は、20患者の47問中、肯定例19問を対象にその検出率を測った。著者らの結果ではMem0とA-Memは最大1/19、要約は0/19だった。この試験は関係が圧縮後に残るかを測るもので、８方式すべての順位を示す結果ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：院内で複数回の受診歴を調べる質問応答支援を試す。入力は利用を認められた受診日、検査値、診断、治療の記録と質問、出力は回答、参照した受診箇所、根拠が足りない場合の表示とする。
準備には元の診療記録と、医療者が確認した質問・正答・根拠箇所のラベルが要る。受診単位に記録を整理し、要約から元記録へ戻れる形に調整する。新たなセンサーは想定しない。この用途で回答の質が上がるかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた複数回受診の記録から少数の質問を作り、医療者に正答と根拠箇所のラベルを付けてもらう。値の変化、所見と診断の関係、記録に答えがない場合を含め、同じ質問を全文入力と要約入力で試す。
必要な元データは診療記録で、新たなセンサーは想定しない。記録を受診単位に整理し、要約を作る手順を対象の記録形式に合わせる。まず追加学習なしで比較し、設問別の正答率、根拠箇所の一致率、答えがない場合に回答を控えた割合を測る。
限界と課題
著者らは、治療後の検査値を扱う課題には併用薬の注記が残っておらず、治療の因果的な効果は測れないと記す。また、所見と診断の文を作成前に入れた試験は要約、Mem0、A-Memが対象で、構造化時系列表は含まれない。
編集上の検証事項は、別の記録や質問でも傾向が続くか、回答とともに示す根拠箇所が正しいかである。答えがない設問は、常に回答を控えるだけでも正答になる設計だ。確認できた本文の範囲では、実際の診療業務での有用性や安全性は判断できない。
出典
元のタイトル・要旨を確認する（英語）
ClinTraceBench: Source-Verifiable Longitudinal Clinical Reasoning over EHR-Derived Dialogues
Clinical LLM assistants must reason over multi-visit patient trajectories, yet whether the compact history representations used to scale them---retrieval, structured timelines, LLM summaries, agentic memory---preserve the longitudinal signal clinical reasoning needs has not been measured. We introduce ClinTraceBench: 385 MIMIC-IV-derived verified dialogues with event-ID provenance, a nine-task taxonomy (T1--T9), and L0--L4 deterministic + L5 human-audit validation (98.92\% agreement). We evaluate eight history representation strategies---a no-context floor, \textit{last-visit-only}, \textit{full-context}, BGE-M3 \textit{dense-retrieval}, two compression schemes, and two agentic-memory systems (\textit{Mem0}, \textit{A-Mem})---across four backbones (DeepSeek-V3, GPT-4o-mini, Haiku~4.5, Sonnet~4.6) on 6{,}271 questions: 32 cells, 200{,}672 predictions. Four findings: (SP4) a controlled T3 injection probe isolates compression-induced \textit{relation} loss---with the attribution sentence present \textit{before} construction, \textit{Mem0}, \textit{A-Mem} and \textit{llm-summary} still recover only 0--5.3\% of the injected positives; (SP1) compressed strategies pay an aggregation tax on multi-visit trends and cross-patient comparisons; (SP2) the blind-to-full gap spans $+29.8$~pp (GPT-4o-mini) to $+62.7$~pp (Haiku); (SP3) abstention scales non-monotonically with context length. On the Pareto frontier Haiku dominates Sonnet under \textit{full-context} (\$25.76 vs.\ \$106.21), inverting the ``biggest backbone wins'' heuristic.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01