アーカイブ / LLM
有害事象報告から症状の発生順を再構成するCRAFT
CRAFT
CRAFTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3.1 : Distribution of the most frequent symptoms (left) and the symptoms that occurred after (right). Each chart displays a total of 15 unique symptoms, representing the top 10 symptoms from each vaccine type and the overall dataset combined.
概要
- CRAFTは、報告文と既存の症状一覧から段階別の症状順序を作り、検証器の指摘を受けて案を作り直す。
- 進行が確認された3,166件では、CRAFT-Fullの完全一致率がPIVOTとGUIDEを４モデルすべてで上回った。
- 症状一覧は入力として必要であり、進行のない報告の選別や因果関係の判断は主な評価の対象外である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CRAFTの仕組み
- 01報告文と症状一覧
- 02段階別の案を生成
- 03形式と順序を検証
- 04指摘に沿って再生成
- 05段階別症状列
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
有害事象報告の自由記述には、症状が現れた日付が明示されず、「翌日」などの相対的な表現だけがある。症状の言い直しや経過の説明も混ざるため、本文に登場した順をそのまま発生順とみなすと取り違えが起こりうる。
症状の進行を整理することは、安全性監視などで報告を読む際の助けになる。既存研究は出来事２件の前後関係や、日時を伴う複数回の記録を主に扱ってきた。CRAFTは単一の報告文から、症状を時期ごとのまとまりとして並べる課題に取り組む。
手法
入力は報告文と、あらかじめ与えられた症状一覧である。生成器と呼ぶ文章モデルが、各症状を発生順の「段階」に分け、JSONという決まった形式で案を出す。同じ段階には、本文から前後を区別できない症状をまとめる。例えば「発熱の翌日に頭痛」とあり、両方が一覧にあれば、発熱を先の段階、頭痛を次の段階に置く。
検証器は案の形式を整え、一覧の各症状を一度ずつ使ったか、本文に現れない症状を末尾の「none」に置いたか、まとめ方や順序が本文に合うかを採点する。基準点に達しなければ指摘を生成器へ返し、案を作り直す。所定回数で承認されなければ最後の案を返す。症状名の抽出や符号化は処理に含まれない。
新規性
CRAFTは、症状を発生時期ごとの段階に分けた案を生成し、専用の検証器からの指摘を受けて作り直す。検証器は出力形式だけでなく、症状の重複、同じ段階へのまとめ方、本文に示された前後関係も点検する。
著者らは、日付による手掛かりが乏しい単一の報告文を対象に、この反復方式と評価用データMedTempoを提示した。扱う範囲は、症状一覧があらかじめ与えられた状態での順序とまとまりの再構成である。
従来手法との違い
比較対象のPIVOTは案を毎回生成し直すが、接種日を基準点とする検証器を使う。GUIDEは前回案を部分的に編集し、同じ基準点型の検証器を使う。CRAFT-Fullは毎回案を生成し直し、複数の条件を加点する検証器を組み合わせる。
著者らは、部分編集にCRAFTの検証器を組み合わせた設定と、検証器を使わない１回生成も調べた。４モデルの全体集計で、CRAFT-Fullの完全一致率はPIVOTとGUIDEを上回った。ただし、検証器なしを含む全設定や全指標で最良だったわけではない。
実験結果
著者らは、３種類のCOVID-19ワクチンに関する報告5,347件から成るMedTempoのうち、症状の進行を示す3,166件で評価した。この対象には、医療分野の自然言語処理に経験のある２人の注釈者が確認した段階別の正解がある。EMは、症状のまとまりと段階の順序が正解に完全一致した割合を表す。
最大４回の反復、検証器の採用基準３点という条件で、全体のEMはGPT-4.1でCRAFT-Fullが35.61％、PIVOTが34.60％、GUIDEが33.97％だった。Claude Sonnet 4.5では順に37.14％、36.44％、35.68％だが、検証器なしの１回生成は37.83％だった。著者らの改善という記述は、比較対象と指標を限定して読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：ワクチン接種後の有害事象報告を読む担当者に、症状の発生順を確認するための下書きを示す。入力は自由記述の報告文と、別途整備された症状一覧。出力を段階別に表示し、担当者が本文の表現と照らして採用・修正する流れを想定する。
適用には、順序を読み取れる報告文と、報告ごとの症状名が必要になる。症状一覧の抽出・符号化は別工程であり、日本語の報告に使うなら表現に合わせた調整も要る。この出力によって接種と症状の因果関係を判定できるとは、評価結果からは言えない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の報告文と、報告ごとに整備された症状一覧を少数集める。順序の根拠を本文で確認できる事例について、担当者が段階別の正解ラベルを付け、判断が割れた箇所をすり合わせる。症状一覧がなければ、抽出・確認する工程を先に用意する。
同じ入力での１回生成を基準とし、反復検証を加えた場合の完全一致率、症状の欠落・重複、担当者の修正件数を測る。日本語の症状名と報告文に合わせて指示文と検査条件を調整し、順序が曖昧な例は別に記録する。追加の反復が修正作業を減らすかを確認する。
限界と課題
著者らの課題設定は、新たな症状の出現による進行を対象とする。同時発症、重症度の変化や消失だけの記述、期間からしか順序を推測できない記述は対象外だ。主な評価も進行の証拠がある3,166件に限られ、進行のない報告を見分ける性能は示されていない。
編集上の検証事項は、入力する症状一覧に欠落や誤りがある場合と、順序が曖昧な日本語報告での挙動である。MedTempoは英語のワクチン有害事象報告を基にしているため、別の言語や文書種別での精度は、この評価からは判断できない。
出典
元のタイトル・要旨を確認する（英語）
CRAFT: LLM-Based Iterative Refinement for Temporal Reasoning over Clinical Narratives
Understanding the temporal progression of symptoms in clinical narratives is critical for disease monitoring, safety surveillance, and causality assessment. Clinical narratives, however, rarely provide explicit temporal anchors. Current approaches to temporal information reasoning focus predominantly on pairwise relation classification across multi-visit and timestamp-rich records, leaving the reconstruction of structured symptom trajectories from individual anchor-sparse reports largely unaddressed. We propose CRAFT, an LLM framework that pairs a generator with a constraint-based verifier to iteratively produce and refine stage-wise symptom timelines through targeted feedback. We conduct evaluation on MedTempo, a new benchmark of 5,347 vaccine adverse-event narratives spanning three COVID-19 vaccine types, with expert-validated temporal stage annotations for 3,166 reports. Experiments across four LLM backbones demonstrate that CRAFT consistently improves temporal ordering accuracy, with ablation analysis isolating the contribution of generator and verifier components across model capability levels.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01