アーカイブ / LLM
心理療法のSOAP記録を、記載漏れ・冗長さ・会話との一致で点検するTN-Eval
TN-Eval
TN-Evalの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Rubric annotation tool. For each rubric, a therapist would read it and annotate (1) if the section is appropriate and (2) the importance level.
概要
- ５人の療法士と作った節別の評価表を用い、SOAP記録の網羅性・簡潔さ・事実との一致を調べる。
- AnnoMIの高品質分割から選んだ50会話について、詳細な人手評価は５段階評価より評価者間の一致が高かった。
- 自動評価は網羅性と簡潔さで人手評価との相関を示したが、事実との一致の判定には課題が残った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TN-Evalの仕組み
- 01療法の会話とSOAP記録
- 02節別の項目を照合
- 03文と会話の根拠を確認
- 04３観点の評価
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TN-Evalは、心理療法の会話から作る診療記録の質を点検する方法である。心理療法では会話自体が治療の中心となるため、重要な発言や治療上の働きが記録に明示されない場合がある。
記録は患者のケアと法的な要件に関わるが、心理療法の記録の質を測る基準は十分に整っていない。生成された下書きが読みやすくても、重要事項の欠落や会話にない記述を見逃せば、記録の確認には使いにくい。
手法
入力は療法の会話記録とSOAP形式の記録である。SOAPは本人の訴え、観察、評価、計画を分けて書く形式を指す。５人の療法士と作ったルーブリック（項目別の評価表）を使い、例えば本人の症状が該当する節に書かれているかを調べる。網羅性は、節を通じて記載された評価項目の割合で表す。
簡潔さは、各文が評価項目に役立つかを付け、必要な文の割合で測る。人手評価では文を会話と照らし、根拠となる箇所を選び、会話にない内容や解釈違いも判定する。自動評価では大規模言語モデルが項目と文を照合し、事実との一致には文章間の整合性を測るAlignScoreを使う。
新規性
TN-Evalは、心理療法の記録を節ごとの評価項目と文単位の判定に分ける。網羅性では必要項目の有無、簡潔さでは各文の役割を示すため、記録全体への評点より修正箇所を特定しやすい。
著者らは、同じ評価表を使う人手のTNH-Evalと自動のTNA-Evalを設計した。事実との一致は会話中の根拠と照合し、記録に書かれた内容が会話に支えられているかを別に調べる。
従来手法との違い
比較対象は、人手と大規模言語モデルが各観点を５段階で採点する方法、および参照文との語の重なりなどを見るROUGEやBERTScoreである。５段階評価だけでは、欠けた項目や不要な文を直接示せない。
著者らの実験では、人手のTNH-Evalは５段階評価より評価者間の一致が高かった。自動のTNA-Evalも網羅性と簡潔さでは人手の詳細評価との相関を示したが、事実との一致を測るAlignScoreの相関は低く、同じ改善を主張できない。
実験結果
著者らはAnnoMIの高品質分割から先頭の50会話を選び、療法士の記録と生成記録を評価した。詳細な人手評価は別の９人の療法士が各記録を２人で独立に行い、対象の生成モデルはLlama 3.1 70BとMistral Large V2だった。
評価者間の一致を示すKrippendorffのαは、TNH-Eval対５段階評価で、網羅性0.52対0.08、簡潔さ0.49対0.16、事実との一致0.62対0.18だった。記録単位でTNH-Evalと自動評価を比べた相関は、Claude 3 Sonnetによる網羅性0.58、簡潔さ0.36、AlignScoreによる事実との一致0.34と著者らは報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：療法士が提出前のSOAP記録を確認する場面で、利用を認められた会話の文字起こしと記録案を入力し、節ごとの記載漏れ、不要と思われる文、会話中の根拠を確認すべき文を一覧で返す。修正と提出は療法士が行う。
元データには会話と対応する記録が必要で、試行時には療法士が項目の有無、文の必要性、会話中の根拠に正解ラベルを付ける。文字起こし済みのテキストを使う想定で追加センサーは不要とし、所属先の記録基準に評価項目を合わせる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用を認められた会話の文字起こしと対応するSOAP記録を少数集め、所属先の記録項目を評価表に対応付ける。追加学習用データは想定せず、療法士が項目の有無、文の必要性、会話中の根拠に判定ラベルを付ける。文字起こし済みのテキストを使い、追加センサーは置かない。
比較基準は現行の５段階評価とする。療法士２人の判定の一致、重要項目の見逃し、根拠のない文の検出、確認に要する時間を測る。事実との一致については自動判定だけで結論を出さず、療法士が会話に戻って確認する。
限界と課題
著者らは、自動評価による事実との一致の判定が難しく、生成記録には会話にない内容が入り得ると報告している。詳細な人手評価はAnnoMIの50会話に対する人の記録と２種類の生成モデルの記録が対象で、別の現場での性能は示されていない。
編集上の検証事項として、要旨と実験後段は記録の作成元を伏せた評価と述べる一方、実験節には評価者に作成元を知らせたとある。この食い違いの確認に加え、実運用では組織ごとの記録基準と会話データの取り扱いを確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes
Behavioral therapy notes are important for both legal compliance and patient care. Unlike progress notes in physical health, quality standards for behavioral therapy notes remain underdeveloped. To address this gap, we collaborated with licensed therapists to design a comprehensive rubric for evaluating therapy notes across key dimensions: completeness, conciseness, and faithfulness. Further, we extend a public dataset of behavioral health conversations with therapist-written notes and LLM-generated notes, and apply our evaluation framework to measure their quality. We find that: (1) A rubric-based manual evaluation protocol offers more reliable and interpretable results than traditional Likert-scale annotations. (2) LLMs can mimic human evaluators in assessing completeness and conciseness but struggle with faithfulness. (3) Therapist-written notes often lack completeness and conciseness, while LLM-generated notes contain hallucination. Surprisingly, in a blind test, therapists prefer and judge LLM-generated notes to be superior to therapist-written notes.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01