アーカイブ / LLM
選択肢を末尾に移すとLLMの回答はどう変わるか――価値観調査62問で検証
Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses
Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responsesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The Interview Process. The figure shows an example of a bias perturbation (e.g. reversed option order) and a non-bias perturbation (e.g. typos in the question). Each model is interviewed 25 times with each combination.
概要
- 世界価値観調査Wave 7の62問を9モデルに提示し、元の設問と11種類の変更条件で計167,400件の模擬回答を集めた。
- 著者らは全9モデルで末尾の選択肢が選ばれやすい傾向を報告したが、その強さはモデルごとに異なった。
- 調査への応用では、元の設問と順序変更後の回答分布、有効回答の割合を比べ、人間向けの試験調査でも確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responsesの仕組み
- 01価値観の設問と選択肢
- 02文面・選択肢を変更
- 039モデルに反復質問
- 04回答分布を比較
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LLMに調査の設問を答えさせて模擬回答を作る場合、文面や選択肢の位置だけで集計が変わるなら、その数字の解釈は難しくなる。価値観を問う設問には一つの正解がないため、正答率だけでは回答の安定性を測れない。
著者らは、世界価値観調査の設問を少し変えたとき、同じモデルの回答分布がどれほど動くかを調べた。特に、意味が同じ選択肢でも提示位置によって選ばれやすさが変わるかに注目している。
手法
世界価値観調査Wave 7から選んだ62問について、元の設問に11種類の変更を加える。選択肢の逆順や拒否項目の削除、尺度の中間項目の追加・削除に加え、設問文の誤字、類義語への置換、言い換えなどを試す。例えば、先頭の「とても重要」を逆順の末尾に移し、選ばれる頻度を比べる。
各モデルには選択肢を一つ選び、その記号だけを返すよう指示する。同じモデル・設問・条件を25回試し、返答から記号を抽出する。回答の散らばりをエントロピー、元の条件との分布の違いをKLダイバージェンスという指標で測る。後者がゼロなら二つの回答分布は一致する。著者らはLLMで作った変更案を人手で確認している。
新規性
著者らは、価値観調査の設問文と選択肢の両方に変更を加え、LLMの回答分布と選択位置による偏りを同じ実験で調べた。変更には順序の逆転、中間項目の追加・削除、誤字、言い換え、二つの変更の組み合わせが含まれる。
先行研究に対しては、世界価値観調査を使い、開発元や規模の異なる9モデルに対象を広げた点を挙げている。末尾の選択肢への偏りは全モデルで見られたが、強さはモデルごとに異なる。
従来手法との違い
基準は、世界価値観調査の設問と選択肢を元の形で示した際の、各モデルの回答分布である。著者らは変更後の分布をこれと比べ、選択肢を逆順にした場合は、同じ意味の項目が先頭と末尾で選ばれる頻度も調べた。
元の形の回答を正解とは扱わない。著者らは大きいモデルほど分布が安定する傾向を報告する一方、言い換えや変更の組み合わせは各モデルの回答に影響したと述べる。この比較だけで、人間の意見を再現できる精度は判断できない。
実験結果
著者らは世界価値観調査Wave 7の価値観に関する62問を9モデルに提示し、元の設問を含む12条件を各25回試した。計167,400件の模擬回答となる。入力の短い要約は変更を10種類とするが、確認できた本文の方法節は11種類と記し、件数も11種類に対応する。
著者らは全9モデルで末尾の選択肢が選ばれやすい傾向を報告した。設問文などを固定して同じ意味の項目を末尾へ移した条件では、Llama-3.1-8Bの選択頻度が2000％超増えた。全回答の平均96％から有効な選択肢を抽出できたが、これは人間の回答との一致率ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内意識調査の配信前に、選択肢の順序が模擬回答を左右する設問を探す。入力は実際の設問文と全選択肢、出力は元の順序と逆順で同じ意味の項目が選ばれた頻度の確認表とする。
追加学習は行わず、学習用データと教師ラベルは必要としない。センサーも使わない。担当者が逆順でも意味の対応が保たれるよう設問を整え、差が目立つ設問を人間向けの小規模な試験調査に回す。過去の人間の回答があれば、別の比較資料として扱う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：社内調査から少数の設問と全選択肢を用意し、元の順序、逆順、人手で意味を確認した言い換えを作る。追加学習用データと教師ラベルは設けず、センサーも使わない。過去の人間の回答があれば比較用に保管する。
同じモデルと指示文で各条件を繰り返し、元の設問を基準に有効回答の割合、同じ意味の項目の選択頻度、回答分布の差を記録する。記号を抽出できない返答も別に数える。担当者が設問文を見直した後、人間向けの小規模調査で影響を確かめる。
限界と課題
著者らは、選択式の回答を強制する実験結果は自由記述の対話に広げにくいと述べる。言い換えで意味がずれる可能性、回答記号の抽出を検証した標本が全体に比べ小さいこと、変更の強さや基本モデル、温度設定の違いを調べていないことも挙げている。
編集上の検証事項は、日本語の社内設問でも同様の位置による偏りが出るか、言い換え後も意味が保たれるか、モデル更新後も結果を再現できるかである。これらは本研究で確認された結果ではない。
出典
元のタイトル・要旨を確認する（英語）
Prompt Perturbations Reveal Human-Like Biases in Large Language Model Survey Responses
Large Language Models (LLMs) are increasingly used as proxies for human subjects in social science surveys, but their reliability and susceptibility to known human-like response biases, such as central tendency, opinion floating and primacy bias are poorly understood. This work investigates the response robustness of LLMs in normative survey contexts, we test nine LLMs on questions from the World Values Survey (WVS), applying a comprehensive set of ten perturbations to both question phrasing and answer option structure, resulting in over 167,000 simulated survey interviews. In doing so, we not only reveal LLMs' vulnerabilities to perturbations but also show that all tested models exhibit a consistent recency bias, disproportionately favoring the last-presented answer option. While larger models are generally more robust, all models remain sensitive to semantic variations like paraphrasing and to combined perturbations. This underscores the critical importance of prompt design and robustness testing when using LLMs to generate synthetic survey data.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01