アーカイブ / LLM
面接記録のテーマ抽出は繰り返しても一致するか――LLMの出力を2種類の指標で検証
Multi-LLM Thematic Analysis with Dual Reliability Metrics
Multi-LLM Thematic Analysis with Dual Reliability Metricsの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Correlation matrix showing pairwise cosine similarity scores across six independent runs for Gemini 2.5 Pro. High similarity values (green to yellow, 0.78-0.91) indicate strong inter-run agreement, with the diagonal showing perfect self-similarity (1.000). The consistent high values across off-diagonal elements demonstrate robust thematic consistency.
概要
- 同じ面接記録を各LLMで6回分析し、テーマの有無の一致と説明文の意味の近さを測る。
- 面接記録1件で、Gemini 2.5 Proのカッパ係数は0.907、コサイン類似度は95.3%と著者らは報告した。
- 測定値は同一モデル内の出力の安定性を示し、人間の解釈との一致を示すものではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Multi-LLM Thematic Analysis with Dual Reliability Metricsの仕組み
- 01面接の文字起こし
- 026回のテーマ抽出
- 03一致度と意味を比較
- 04共通テーマ一覧
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
面接記録のテーマ分析は、発言を読み、複数の箇所に通じる意味を整理する作業である。分析者によって解釈が異なるため、複数人での照合が行われるが、手間がかかる。LLMによる分析でも、一度の出力だけでは結果の安定性は分からない。
この研究は、同じ記録を繰り返し分析してテーマの一致を測る。実務では、その値をテーマの正しさと取り違えず、人が原文に戻って確認するための材料として扱うことが重要になる。
手法
面接の文字起こしと分析指示をLLMに渡し、テーマと根拠となる発言をJSON形式で出力させる。JSONは項目名と値を組にしたデータ形式で、指示文や項目は変更できる。評価では、各モデルに異なる6つのシードを指定して6回実行した。シードは実行ごとに指定する乱数の設定値である。
各回の結果について、テーマの有無が偶然の一致を差し引いてどれほど一致するかをコーエンのカッパ係数で測る。説明文は数値の並びに変換し、コサイン類似度で意味の近さを比べる。例えば「創作の妨げ」と「完璧を求めて制作が止まる」のような言い換えをまとめ、既定では6回中3回以上現れたテーマを共通テーマとして返す。
新規性
著者らの提案は、同じ記録をLLMで複数回分析し、テーマの有無の一致と、テーマ説明文の意味の近さを併せて測る枠組みにある。一致する語句だけを数える場合に見落としやすい言い換えも扱う。
分析の指示文、実行回数、出力形式を設定でき、JSON内のテーマ配列を探して複数回の結果を集約する。得られるのは出力の安定性を調べる手段であり、テーマの解釈が正しいことを証明する手段ではない。
従来手法との違い
従来の照合では、複数の人が同じ記録を読み、一致度を測る。LLMを一度だけ使う分析では、再実行した際にテーマが変わるかを測れない。著者らの方法は、同じモデルによる複数回の結果を比較し、指標と共通テーマを示す。
本文が挙げるQualITは、主に話題や重要語句の抽出を扱う。本研究は面接記録のテーマ分析を対象にするが、今回の評価で人間の分析者と同じ記録を分析し、解釈の質や作業時間を直接比較した結果は示していない。
実験結果
著者らは、ケタミン併用心理療法に芸術療法を取り入れる療法士への面接記録1件（28,377文字、173行）を評価した。Gemini 2.5 Pro、GPT-4o、Claude 3.5 Sonnetを、各モデル6つの固定シード、温度0.7で実行し、モデル内の15組を比較した。温度は出力のばらつきを調整する設定値である。
著者らの報告では、カッパ係数とコサイン類似度は順にGeminiが0.907と95.3%、GPT-4oが0.853と92.6%、Claudeが0.842と92.1%だった。共通テーマはそれぞれ6件、5件、4件。これらは同一モデルの実行間の結果で、人間による判定との一致率ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の退職者面談から、繰り返し挙がる職場の課題候補を整理する。入力は利用許可を得て匿名化した文字起こし、出力は複数回の分析で共通したテーマ、その出現回数、根拠となる発言とする。
追加学習は想定せず、学習用データは不要とする。検証用には担当者が原文から付けたテーマのラベルと根拠箇所を用意する。音声センサーは使わず、既存の文字起こしを入力する。面談に合わせて指示文とJSON項目を調整し、人が各テーマの意味を確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：利用許可を得た匿名化済みの面談記録を少数選び、同じ指示文と出力項目で各記録を複数回分析する。追加学習用データやセンサーは想定せず、文字起こしを入力に使う。比較用には、担当者が原文を読んで付けたテーマのラベルと根拠箇所を用意する。
担当者による通常の手作業の整理を基準に、候補テーマの採否、根拠箇所の適切さ、見落とし、確認に要した時間を記録する。面談の種類に合わせて指示文とJSON項目を調整し、言い換えが適切にまとまるかも人が確かめる。結果は検証した記録の範囲で判断する。
限界と課題
著者らが挙げる限界は、評価が面接記録1件に限られること、文化や専門領域に関わる偏りを仕組みだけでは除けないこと、分析の質が指示文に左右されることだ。文脈の解釈や倫理的な判断には研究者の関与が必要だとしている。
編集上の検証事項は、同一モデル内での一致が人間によるテーマ付けとも一致するか、別言語や別種の面談でも結果が安定するかである。実務への適用時には、文字起こしを外部のモデルへ送る条件と、根拠として示された発言の適切さも確認したい。
出典
元のタイトル・要旨を確認する（英語）
Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation
Qualitative research faces a critical reliability challenge: traditional inter-rater agreement methods require multiple human coders, are time-intensive, and often yield moderate consistency. We present a multi-perspective validation framework for LLM-based thematic analysis that combines ensemble validation with dual reliability metrics: Cohen's Kappa ($κ$) for inter-rater agreement and cosine similarity for semantic consistency. Our framework enables configurable analysis parameters (1-6 seeds, temperature 0.0-2.0), supports custom prompt structures with variable substitution, and provides consensus theme extraction across any JSON format. As proof-of-concept, we evaluate three leading LLMs (Gemini 2.5 Pro, GPT-4o, Claude 3.5 Sonnet) on a psychedelic art therapy interview transcript, conducting six independent runs per model. Results demonstrate Gemini achieves highest reliability ($κ= 0.907$, cosine=95.3%), followed by GPT-4o ($κ= 0.853$, cosine=92.6%) and Claude ($κ= 0.842$, cosine=92.1%). All three models achieve a high agreement ($κ> 0.80$), validating the multi-run ensemble approach. The framework successfully extracts consensus themes across runs, with Gemini identifying 6 consensus themes (50-83% consistency), GPT-4o identifying 5 themes, and Claude 4 themes. Our open-source implementation provides researchers with transparent reliability metrics, flexible configuration, and structure-agnostic consensus extraction, establishing methodological foundations for reliable AI-assisted qualitative research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01