アーカイブ / LLM
スペイン語の投稿列からうつリスクを判定し、判断理由と投稿番号を示す手法
InterpretableLLM_Gemini
InterpretableLLM_Geminiの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: En la etapa de razonamiento de muestras, un especialista analiza las muestras de entrenamiento según los síntomas del Cuestionario BDI, obteniendo observaciones, conclusión, predicción e identificación del post donde el usuario muestra signos de depresión. En la etapa in-context learning , se construye un prompt con las muestras más relevantes y el modelo Gemini evalúa los datos de prueba. Por último, los resultados se evalúan de forma cuantitativa y cualitativa.
概要
- 専門家がBDIの症状に沿って記した説明付き事例を、Geminiへの指示文に使う。
- MentalRiskES 2023のtest 149人について、著者らはF1 0.84、ERDE30 0.105を報告した。
- 説明には誤りがあり、投稿を逐次入力する運用での性能も別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、InterpretableLLM_Geminiの仕組み
- 01ラベル付き投稿列
- 02専門家の症状観察
- 03事例入り指示文
- 04予測と投稿番号
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
対象は、スペイン語の投稿から利用者のうつリスクを早く見つける課題である。早期リスク検出では、陽性なら何件目の投稿で警告できるかが、陽性・陰性を正しく分けることとともに重要になる。
投稿には過去の経験や第三者の話も混じる。症状らしい語があるだけで判断すると文脈を取り違え得るため、著者らは判定とともに、どの投稿をどう読んだかを人が確認できる説明を求めた。
手法
心理の専門家が、正解ラベルのある利用者の投稿列をBDI質問票に挙げられたうつ症状と照らし、観察、結論、予測、判定に十分な情報が現れた投稿番号を記す。BDIはうつ症状を確認する質問票である。著者らは説明の関連性が高い事例を選び、作業手順や症状一覧とともにGeminiへの指示文に入れる。少数の例を入力文に示して応答を導く方法を文脈内学習という。
評価時には、対象利用者の投稿列を指示文の末尾に加える。Geminiは症状と関係する投稿についての観察、短い結論、陽性・陰性の予測、症状が明確になった投稿番号を返す。例えば過去の経験を語る投稿と現在の症状を述べる投稿が混在する場合、出力された観察を原文と照合できる。ただし確認できた本文の範囲では、モデルへの入力は投稿列であり、投稿が届くたびに実行する手順は示されていない。
新規性
著者らは、心理の専門家がうつ症状に照らして書いた観察、結論、判定を少数の事例としてGeminiへの指示文に組み込んだ。投稿列ごとに予測だけでなく、理由と症状が明確になった投稿番号を出す点が提案の中心である。
専門家は出力された理由の関連性と正確さも点検した。ここでいう解釈可能性は、人が説明文を原文と照合できることを指し、モデル内部の判断過程が明らかになったことは意味しない。
従来手法との違い
比較対象は、MentalRiskES 2023の主催者による順位表に載った上位5方式と、同表の全提出結果の平均値である。著者らは同じスペイン語のうつリスク早期検出課題で、分類の正しさと判定の早さを比べた。
著者らのF1は0.84で、表中のUNSL#1は0.73だった。遅れも評価するERDE30は著者らが0.105、SINAI-SELA#0が0.140である。これらは表に示された課題条件での比較であり、別の投稿先での優位性を示す値ではない。
実験結果
著者らは、Telegramの投稿に由来するMentalRiskES 2023のうつリスク検出コーパスを使用した。trainとtrialから専門家が60件を分析して指示文用の事例を選び、testの149人で評価した。使用モデルはGemini-Proで、temperatureは0.2、top_pは0.4と報告している。
著者らの表では、testのAccuracyが0.84、PrecisionとRecallが各0.85、F1が0.84、ERDE5が0.262、ERDE30が0.105、F-latencyが0.81だった。ERDEは小さいほどよい。内訳は真陽性63、真陰性62、偽陰性5、偽陽性19で、未処理の2件には陰性を割り当てた。専門家は説明の関連性と正確さも質的に調べた。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：スペイン語の相談コミュニティで、専門家が確認する投稿列の順番を決める補助画面を試す。入力には利用可能な時系列投稿、利用者単位の陽性・陰性ラベル、症状と根拠の対応を専門家が記した事例が必要で、追加センサーは想定しない。
対象コミュニティの表現に合わせて事例と指示文を見直し、モデルに観察、結論、予測、投稿番号を出させる。担当者は表示された理由を原文と照合して確認順を決める。この運用で見逃しや確認時間が減るかは未検証である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象のスペイン語投稿について、利用可能な時系列データと利用者単位の陽性・陰性ラベルを用意する。専門家が症状に結び付く投稿、理由、判定可能な時点を記した事例を作り、対象の表現に合わせて指示文を調整する。入力は投稿で、追加センサーは想定しない。
保留した利用者群で、説明例を含まないラベル判定用の指示文を基準方式として比べる。F1、判定までの投稿数、見逃し、誤警告、未処理件数を記録する。専門家が説明と原文の一致を確認し、投稿を逐次入力する条件でも同じ項目を測る。
限界と課題
著者らの質的分析では、比喩的な表現の解釈で誤りがあり、偽陽性では投稿にない症状を理由に挙げた例もあった。過去のうつ経験を語り、現在は他者を支援する利用者を取り違えた例も報告される。未処理の2件はAPIの制約が原因の可能性があるとして、陰性に割り当てられた。
編集上の検証事項は、投稿列を一度に渡す評価結果が、投稿を受け取るたびに判断する運用でも再現するかである。別の集団での精度、説明と原文の一致、専門家が選ぶ事例による結果の変動も確認が要る。
出典
元のタイトル・要旨を確認する（英語）
Hacia la interpretabilidad de la detección anticipada de riesgos de depresión utilizando grandes modelos de lenguaje
Early Detection of Risks (EDR) on the Web involves identifying at-risk users as early as possible. Although Large Language Models (LLMs) have proven to solve various linguistic tasks efficiently, assessing their reasoning ability in specific domains is crucial. In this work, we propose a method for solving depression-related EDR using LLMs on Spanish texts, with responses that can be interpreted by humans. We define a reasoning criterion to analyze users through a specialist, apply in-context learning to the Gemini model, and evaluate its performance both quantitatively and qualitatively. The results show that accurate predictions can be obtained, supported by explanatory reasoning, providing a deeper understanding of the solution. Our approach offers new perspectives for addressing EDR problems by leveraging the power of LLMs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01