アーカイブ / LLM
キシラジン関連のReddit投稿を12の話題ごとに判定するLLM手法
Automated Thematic Analyses Using LLMs
概要
- 専門家が定めた12話題について、キシラジン関連のReddit投稿を話題ごとの二択で判定した。
- 著者らの報告では、時期を分けた686件の検証で、GPT-4oに2例を示す設定が正確度90.9%、F1値0.71だった。
- 実務で試す際は、専門家の正解ラベルを用意し、話題別の成績と集計割合のずれを確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Automated Thematic Analyses Using LLMsの仕組み
- 01Reddit投稿
- 02専門家由来の12話題
- 03話題別の二択判定
- 04投稿別の分類
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この手法は、キシラジンに関するReddit投稿に、専門家が定めた話題が含まれるかをLLMで判定する。テーマ分析とは文章に現れる話題を読み取って整理する作業で、文脈の解釈や対象分野の知識を要する。
著者らが対象としたのは、専門家による分類を別の投稿にも適用できるかという課題である。投稿が増えるほど人手で一件ずつ判定する負担は増えるため、専門家の分類を基準にLLMの判定を評価した。
手法
入力はキシラジンに関するReddit投稿で、判定対象は専門家が定めた12の話題である。LLMには投稿と話題を与え、その話題を「含む／含まない」の二択で判定させる。これを話題ごとに行い、投稿にどの話題が含まれるかを出力する。例えば、ある投稿に「キシラジン使用」という話題が含まれるかを個別に判断する。
指示文に正解例を入れない方法をゼロショット、1例を入れる方法をシングルショット、少数例を入れる方法をフューショットと呼ぶ。著者らはこれらの方法を試し、時期が重ならない286件をモデルの設定調整、686件を検証に用いた。検証ではLLMの判定を専門家の分類と照らし合わせた。
新規性
著者らは、専門家が定めた12の話題を一度に選ばせる代わりに、各話題について「含む／含まない」を判定する課題に分けた。正解例を指示文に何件示すかも変え、専門家の分類との一致を調べている。
新しい話題をLLMが発見した成果としては報告されていない。ここで検証したのは、あらかじめ専門家が定めた話題を、別の投稿に適用する作業である。
従来手法との違い
比較の基準は、専門家による投稿の分類である。著者らは5種類のLLMを評価し、正解例を示さない方法、1例を示す方法、少数例を示す方法を試した。分類課題は、12話題を一度に選ぶ形ではなく、話題ごとの二択にした。
検証用データでは、GPT-4oに2例を示す設定が最良と報告された。ただし、他のモデルや例示数ごとの成績は示されておらず、どの設定との差が何ポイントあったかは判断できない。
実験結果
著者らは、時期が重ならないReddit投稿286件をモデルの設定調整に、686件を検証に用い、5種類のLLMを専門家の分類と比較した。指標は正確度、適合率、再現率、F1値である。適合率は「含む」と判定したものの当たり具合、再現率は該当する投稿を拾えた割合を示し、F1値は両者を合わせて見る指標である。
著者らの報告では、検証用データでGPT-4oに2例を示した設定が最良で、正確度は90.9%、F1値は0.71だった。話題の割合は、キシラジン使用がモデル13.6%・専門家17.8%、MOUD使用がモデル16.5%・専門家17.8%だった。確認できた本文の範囲では、話題別の成績や他の設定の数値は分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：公衆衛生の調査担当者が、キシラジンに関する公開投稿を話題別に整理する。入力は収集した投稿本文、出力は各投稿について専門家が定めた話題を含むかどうかの一覧とする。担当者は集計から気になる話題を見つけ、該当する原文を確認する。
適用先の投稿を元データとして集め、領域の専門家が話題の定義と例示用の正解ラベルを作る。文章入力なので追加のセンサーは想定しない。対象の言い回しや話題が異なる場合は、定義と例示文を見直してから試す。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象期間の投稿本文を集め、専門家が対象となる話題の定義と投稿ごとの正解ラベルを作る。一部のラベル付き投稿を指示文の例示と設定調整に使い、別の時期の投稿を評価用に残す。入力は文章であり、追加のセンサーは想定しない。
専門家の分類を基準に、2例を示す設定と例示なしの設定を同じ評価用投稿で比べる。話題別の適合率・再現率・F1値に加え、話題の集計割合のずれと人が見直す件数を測る。対象の投稿や話題が研究と異なる場合は、定義と例示文を適用先に合わせて作り直す。
限界と課題
著者らは背景として、LLMには帰納的テーマ分析、つまり投稿を読みながら話題を見いだす作業が難しいと述べる。今回の評価は専門家が先に定めた12話題の判定であり、新しい話題の発見に使えるという結果は示していない。
編集上の検証事項は、話題ごとの誤判定、専門家同士の分類の一致度、投稿時期が変わった際の成績である。全体の正確度とF1値だけでは、頻度の低い話題や判断が割れる投稿を扱えるか、集計のずれが実務上許容できるかは決められない。
出典
元のタイトル・要旨を確認する（英語）
Automated Thematic Analyses Using LLMs: Xylazine Wound Management Social Media Chatter Use Case
Background Large language models (LLMs) face challenges in inductive thematic analysis, a task requiring deep interpretive and domain-specific expertise. We evaluated the feasibility of using LLMs to replicate expert-driven thematic analysis of social media data. Methods Using two temporally non-intersecting Reddit datasets on xylazine (n=286 and n=686, for model optimization and validation, respectively) with twelve expert-derived themes, we evaluated five LLMs against expert coding. We modeled the task as a series of binary classifications, rather than a single, multi-label classification, employing zero-, single-, and few-shot prompting strategies and measuring performance via accuracy, precision, recall, and F1-score. Results On the validation set, GPT-4o with two-shot prompting performed best (accuracy: 90.9%; F1-score: 0.71). For high-prevalence themes, model-derived thematic distributions closely mirrored expert classifications (e.g., xylazine use: 13.6% vs. 17.8%; MOUD use: 16.5% vs. 17.8%). Conclusions Our findings suggest that few-shot LLM-based approaches can automate thematic analyses, offering a scalable supplement for qualitative research. Keywords: thematic analysis, large language models, natural language processing, qualitative analysis, social media, prompt engineering, public health
論文要旨に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01