アーカイブ / LLM
心理尺度の設問をAIはどう分類するか――意味の近さから概念の対応を測る
Pairwise Similarity Analysis
Pairwise Similarity Analysisの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Classification with pairwise similarity analysis. 1. A distance between two items from each psychological questionnaire is calculated with language models from -1 to 1. 2. Each similarity matrix was classified with hierarchical clustering with predetermined number of categories for each questionnaire. 3. The labels with unsupervised clustering were compared with true labels with to calculate classification accuracy.
概要
- 43件の英語の心理尺度について、設問間の類似度から作った分類を既存の下位分類と照合した。
- 著者らの結果本文では、GPT-4の二つの版をまとめた平均分類精度は63.9％、GPT-3.5の二つの版は56.7％だった。
- 8尺度の提示順検証では2尺度で成績に有意差があり、実務での点検でも順序を変えた確認が必要になる。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Pairwise Similarity Analysisの仕組み
- 01英語の尺度設問
- 02設問対の類似度
- 03階層的に分類
- 04元の分類と照合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
心理尺度は、不安や好奇心などを測る設問群で、設問には専門家が定めた下位分類がある。文章を自然に作れる言語モデルでも、設問同士の概念的な関係を人に近い形で扱えるかは、生成文の印象だけでは分からない。
著者らは、設問間の意味の近さから元の分類を再現できるか調べた。AIが心理に関わる言葉を扱う際、その出力を既存の尺度構造と照合するための数値的な手掛かりになる。
手法
著者らは、30設問以下で下位分類が2～6個ある英語の心理尺度43件を選んだ。各尺度内で設問を二つずつ比較し、GPT系には意味が同じなら1、反対ならマイナス1、無関係なら0を目安に、マイナス1から1の連続値で答えさせる。BERTと埋め込みモデルでは、設問を数値表現に変え、その向きの近さから類似度を計算する。
得点を設問対の表にまとめ、「階層的クラスタリング」という近いものから順に束ねる方法で、尺度ごとに決まった数の群を作る。例えば不安の尺度なら、できた群を元の下位分類と照合する。別の分析では異なる尺度間の設問対を比べ、類似度の平均または中央値を、人の回答から得られた尺度間の相関と比較した。
新規性
著者らは、心理尺度の設問を一対ずつ比べて分類を作り、専門家が定めた下位分類との一致を測る枠組みを示した。ここでの「概念整合」は、人とAIが心理概念の関係をどの程度似た形で捉えるかを指す。
さらに、異なる尺度に属する設問同士の類似度を集約し、人の回答から得られた尺度間の相関との関係も調べた。設問の分類と、尺度をまたぐ意味上の関係を、対ごとの類似度から検討している。
従来手法との違い
比較対象はBERT、OpenAIの埋め込みモデル、GPT-3.5の二つの版、GPT-4の二つの版である。埋め込みは文章を数値の並びに変える方法で、BERTと埋め込みモデルでは、その向きの近さを類似度に使う。GPT系には設問を二つ示し、類似度を回答させる。
著者らの43尺度での比較では、GPT-4の二つの版をまとめた分類成績はGPT-3.5の二つの版より高かった。一方、埋め込みモデルとGPT-4の各版の平均分類精度および調整ランド指数に、統計的に有意な差は確認されていない。
実験結果
著者らは43件の英語の心理尺度で分類精度と調整ランド指数を評価した。後者は偶然の一致を考慮して二つの分類の一致度を表す指標である。GPT-4の二つの版をまとめた平均精度は63.9％、GPT-3.5の二つの版は56.7％で、差は有意と報告された。BERTは48.1％、無作為分類の基準は31.9％だった。
8つの心理次元を使った別の分析では、AIの尺度間類似度と人の回答による相関との関連が、平均で集約した場合はr＝0.412、中央値ではr＝0.731と報告された。なお、単一のGPT-4モデルの精度は要旨で66.2％、結果本文で66.1％と食い違うため、ここでは採用しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：英語の従業員アンケートを改訂するとき、設問が意図した下位分類にまとまるかを点検する。入力は設問文と既存の分類ラベル、出力は設問間の類似度表と、元の分類と食い違う設問の一覧とする。
この点検では追加学習用の訓練データやセンサーは使わず、設問文と専門家が確認した分類ラベルを用意する。職場向けに適用する調整として分類数を先に固定し、食い違いの理由を担当者が読んで確認する。改訂の質が上がるかは別途検証が必要である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：下位分類が既に決まった英語の短い社内尺度を一つ選び、設問文と専門家が確認した正解ラベルを用意する。追加学習用の訓練データやセンサーは設けず、設問対の類似度から、元の尺度と同じ数の群を作る。導入先への調整は、対象尺度と分類数の確定から始める。
既存ラベルとの分類精度を基準に、可能なら無作為分類も比較対象に置く。同じ設問対の提示順を逆にして精度の変動を測り、分類が食い違う設問を担当者が確認する。結果は設問の見直し候補として扱い、従業員個人の判定には使わない。
限界と課題
著者らは、提示順を逆にした8尺度の検証で、WDGOIとFFMQ-24の分類成績に有意な差を報告した。GPT-4の類似度回答を連続値と段階値で比べた検証では、対象の二つの版で有意差は報告されていない。
編集上の検証事項は、英語で30設問以下、下位分類が2～6個という選定条件の外でも結果が保たれるか、既存ラベルが導入先の用途に合うかである。設問の意味の近さだけから、回答者個人の心理状態を判定できるとは示されていない。
出典
元のタイトル・要旨を確認する（英語）
Measuring How LLMs Internalize Human Psychological Concepts: A preliminary analysis
Large Language Models (LLMs) such as ChatGPT have shown remarkable abilities in producing human-like text. However, it is unclear how accurately these models internalize concepts that shape human thought and behavior. Here, we developed a quantitative framework to assess concept alignment between LLMs and human psychological dimensions using 43 standardized psychological questionnaires, selected for their established validity in measuring distinct psychological constructs. Our method evaluates how accurately language models reconstruct and classify questionnaire items through pairwise similarity analysis. We compared resulting cluster structures with the original categorical labels using hierarchical clustering. A GPT-4 model achieved superior classification accuracy (66.2\%), significantly outperforming GPT-3.5 (55.9\%) and BERT (48.1\%), all exceeding random baseline performance (31.9\%). We also demonstrated that the estimated semantic similarity from GPT-4 is associated with Pearson's correlation coefficients of human responses in multiple psychological questionnaires. This framework provides a novel approach to evaluate the alignment of the human-LLM concept and identify potential representational biases. Our findings demonstrate that modern LLMs can approximate human psychological constructs with measurable accuracy, offering insights for developing more interpretable AI systems.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01