アーカイブ / LLM
外来診療記録のICDコードを、関連候補の追加と記録照合で修正する
Generate-Expand-Verify
Generate-Expand-Verifyの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: An illustration of our generate-expand-verify pipeline. In this obfuscated example, the model-predicted code has the correct description with the wrong ICD-10-CM code. The expansion step uses ICD-10-CM tabular table to lookup its siblings. The verification step then selects the correct code and description based on the clinical notes and the expansion candidates.
概要
- ICD-10-CMの階層と索引から関連コードを加え、外来診療記録に照らして選び直す。
- 著者らの試験では、Haiku-3の完全一致F1は検証の追加により41.6から47.2に上がったが、Sonnet-3.5v1は55.6から55.5になった。
- 候補を広げると紛らわしいコードも増えるため、施設での検証では正解の候補包含率と選択後の誤りを確認する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Generate-Expand-Verifyの仕組み
- 01外来診療記録
- 02コード生成
- 03関連候補の追加
- 04記録と照合
- 05選択コード
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この方法は、外来の診療記録に診断コードを付ける作業を扱う。ICD-10-CMは診断を階層的に分類する体系で、請求に使える末端コードは約7万2000種類ある。論文が扱う課題では、一つの記録に最大12件の正しいコードを選ぶ。
予測コードが正解と同じ分類にあっても、左右や合併症の有無が違えば正確な付与にはならない。著者らは、こうした近接した誤りを調べ、記録の記述に戻って候補を確かめる方法を検討した。
手法
まず言語モデルが記録からコードを生成する。次にICD-10-CMの階層表から同じ親を持つ「兄弟」と祖父母を共有する「いとこ」、索引から一段または二段のつながりを持つコードを候補に加える。例えば右膝痛のコードを予測した場合、同じ親を持つ左膝痛のコードも候補に入る。
最後に記録と候補をモデルへ渡し、記述に合うコードを選ばせる。著者らは候補をコードだけ、説明文だけ、または両方で示す形式を比較した。別に設けた独立の検証課題では、事前に割り当てた各候補が正解コードに一致するかを判定する。候補を増やす工程と、記録に照らして選ぶ工程を分けた構成である。
新規性
著者らは、既に割り当てられた診断コードが記録と合うかを判定する「コード検証」を独立した課題として定義し、コード生成後の工程にも組み込んだ。候補はICD-10-CMの階層と索引上の関係から広げる。
さらに、末端コードの完全一致に加え、上位分類での一致も測る。これにより、左右や合併症の有無を取り違えた、階層上は近い誤りを分析できる。
従来手法との違い
出発点は、診療記録からコードを直接生成する方法である。著者らは指示文の種類と、少数の正解付き記録による追加学習も比較した。Haiku-3では単文の指示が最良だった一方、Sonnet-3.5v1では詳細な指示と推論過程を組み合わせた形式が最良だった。
全工程の完全一致F1は、検証の追加によりHaiku-3で41.6から47.2、PLM-ICDで24.8から29.4に上がった。Sonnet-3.5v1は55.6から55.5となり、全モデルで改善したわけではない。F1は適合率と再現率を合わせた指標である。
実験結果
著者らはACI-Benchを基に、外来記録207件へ専門家による二重注釈と不一致の調停を行った。内訳は学習67件、開発20件、試験120件で、記録単位の完全一致F1などを評価した。「コード→説明文」形式のHaiku-3は、67件での追加学習によりF1が40.6から56.9になった。
独立の検証課題は正解コードから候補を広げるため、正解が候補内にある条件である。いとこ候補を説明文だけで示したSonnet-3.5v2の正解率は90.3％だった。一方、生成コードから始める全工程では、追加学習済みHaiku-3のF1は56.9から57.6になった。両数値は課題と指標が異なる。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：外来診療記録について、請求前に担当者が確認するICD-10-CMコード候補を示す。記録本文と既存システムの予測コードを入力し、関連候補を広げて記録に照らした選択結果を出力する。担当者が本文と候補を見比べ、採用するコードを決める運用を想定する。
施設で追加学習するなら、対象施設の外来記録と専門家が確定したコードの組が必要である。候補拡張には対象年度のコード表と索引を用意し、記録様式に合わせて入出力を調整する。追加センサーは想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：施設の外来記録と、専門家が確定したICD-10-CMコードを対応付けた評価用データを用意する。必要なら追加学習用にも同じ種類の正解付き記録を別に確保する。対象年度のコード表と索引を揃え、施設の記録様式に合わせて入力と出力を調整する。追加センサーは想定しない。
同じ評価用記録で、直接生成と候補拡張・検証後の結果を比べる。完全一致F1、適合率、再現率に加え、正解が拡張候補に入った割合を測る。左右の取り違えや記録に根拠のないコードは、担当者が個別に確認する。
限界と課題
著者らは、既存のMIMICデータについて、集中治療室の記録だけでは診療全体に付いたコードの根拠を確認しにくく、対象も入院診療に偏ると説明する。また、候補を広げると正解を含む可能性とともに、紛らわしい候補も増える。検証後も正解コードに届かなかった事例を報告している。
編集上の検証事項は、施設の記録に判断の根拠が十分あるか、対象年度のコード体系と一致するか、誤った追加や削除を担当者が見つけられるかである。生成した候補の外に正解がある場合は、候補から選ぶ工程だけでは回復できない。
出典
元のタイトル・要旨を確認する（英語）
Toward Reliable Clinical Coding with Language Models: Verification and Lightweight Adaptation
Accurate clinical coding is essential for healthcare documentation, billing, and decision-making. While prior work shows that off-the-shelf LLMs struggle with this task, evaluations based on exact match metrics often overlook errors where predicted codes are hierarchically close but incorrect. Our analysis reveals that such hierarchical misalignments account for a substantial portion of LLM failures. We show that lightweight interventions, including prompt engineering and small-scale fine-tuning, can improve accuracy without the computational overhead of search-based methods. To address hierarchically near-miss errors, we introduce clinical code verification as both a standalone task and a pipeline component. To mitigate the limitations in existing datasets, such as incomplete evidence and inpatient bias in MIMIC, we release an expert double-annotated benchmark of outpatient clinical notes with ICD-10 codes. Our results highlight verification as an effective and reliable step toward improving LLM-based medical coding.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01