アーカイブ / LLM / AI Agent
LLMは同じ答えを選びやすいか――一致と分担を比べる協調実験
Strategic Algorithmic Monoculture
Strategic Algorithmic Monocultureの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Agreement rate by subject type and treatment Notes: Bars report average agreement rate across question topics for human and LLM subjects by treatment. LLM agreement rates are the average over all LLMs when facing the same model. The black cross-shaped markers indicate the median.
概要
- 著者らは、LLMの回答が元から似る傾向と、一致・不一致の条件に応じて似方を変える傾向を分けて調べた。
- 同一モデルのLLM同士の平均一致率は、一致条件で72％、不一致条件でも27％だった。対応する人同士の値は31％と3.5％だった。
- 実務でAIに分担させる場合は、有効な回答かどうかと担当間の重複を現場の問いで測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Strategic Algorithmic Monocultureの仕組み
- 01都市名などの設問
- 02選択条件を指示
- 03独立に回答
- 04一致率を算出
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
複数の担当が同じ行動を取ると、足並みをそろえたい場面では役立つ。一方、異なる対象を受け持ちたい場面では、同じ選択への集中が重複を生む。どちらが望ましいかで、回答の似方の意味は変わる。
本研究は、大規模言語モデル（LLM）の回答が指示なしでも似る度合いと、一致・不一致を求められたときに変化する度合いを調べる。複数のAIに選択を任せる際、分担の指示が回答の重複をどこまで減らすかを考える材料になる。
手法
人とLLMに、世界の都市名や色などを一つ挙げる自由回答の問いを出す。参加者には、有効な答えを選ぶ条件、別の参加者と同じ答えを狙う条件、異なる答えを狙う条件のいずれかを割り当てる。人には条件に応じた追加報酬の機会を示し、LLMには文章で条件を伝える。
回答から、独立した二者が同じものを選ぶ確率を「一致率」として計算する。例えば同じ都市名を答えた二者は一致と数える。一致条件では高いほど、不一致条件では低いほど課題に合う。LLMの各応答は文脈や記憶を共有せずに取得され、相手の回答を見てから選ぶ手順ではない。
新規性
著者らは、指示がなくても回答が似る「一次的なアルゴリズムの同質化」と、一致や不一致を求める条件に応じて回答の似方が変わる「戦略的な同質化」を区別した。選択条件を基準に、同じ設問で一致条件と不一致条件を比べる。
先行する人の選択・一致課題を参考に、不一致で報酬を得る課題とLLM参加者を加えた。回答だけでなく、LLMが出力した文章中の理由も分析対象にしている。
従来手法との違い
選択条件では有効な答えを一つ挙げればよい。一致条件では相手と同じ答え、不一致条件では異なる答えが有利になる。条件間で回答の一致率がどう動くかを調べ、元からある類似と指示に応じた変化を分ける。
人は別の人、LLMは別のLLMと組む設定で、同一モデルから独立に得た応答も比較した。人には金銭的な追加報酬の機会を示し、LLMには文章で課題を指示したため、両者に同じ報酬を与えた比較ではない。
実験結果
著者らは12種類の自由回答の問いを使い、米国在住で英語に堪能な参加者301人と16種類のLLMを調べた。LLMは各条件・各問い・各モデルで50回ずつ独立に応答し、計28,800件を収集した。評価指標は、独立した二者の回答が同じになる確率である一致率だ。
著者らの報告では、同一モデルのLLM同士の平均一致率は、一致条件で72％、人同士は31％だった。不一致条件ではLLM同士が27％、人同士が3.5％で、LLMの重複が多かった。これらは実験で用いた問いと参加者・モデルにおける結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数のAI担当に、障害報告を調査する対象の種類を分担させる。入力は共通の「調査対象の種類を一つ挙げる」という問いと重複を避ける指示、出力は各担当が選んだ種類とする。人が有効性と重複を確認してから担当を決める。
必要なのは現場の障害報告から作った対象種類の定義と、有効な種類を判定するラベルである。センサー入力や追加学習用データはこの案では使わず、問いと有効性の判定を業務向けに調整する。分担が改善するかは未検証の仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：実際の障害報告から、調査対象として有効な種類の定義と判定用ラベルを人が作る。同じ問いを独立したAI担当に渡す運用を基準とし、重複を避ける指示を加えた運用と比べる。元のモデルの学習データ、追加学習、センサー入力は必要とせず、問いと指示文を現場向けに調整する。
各回答について、有効な種類を選べた割合、担当間の重複率、必要な種類を覆えた割合を記録する。報告内容を変えた試行でも同じ指標を測り、分担の指示が安定して役立つかを判断する。最終的な割り当ては人が確認する。
限界と課題
著者らが報告した実験上の限界は、不一致が有利な条件でLLM同士の回答が人同士より重なりやすいことだ。出力のばらつきを調整する「温度」を上げると不一致条件の成績は改善した一方、一致条件の成績は下がった。極端な温度設定でも、人とLLMの成績の傾向は残った。
編集上の検証事項は、業務固有の問い、相手となるモデル、回答の有効性判定が重複率をどう変えるかである。この実験は自由回答の協調課題を扱っており、障害調査の品質、作業時間、費用への影響は示していない。
出典
元のタイトル・要旨を確認する（英語）
Strategic Algorithmic Monoculture: Experimental Evidence from Coordination Games
AI agents increasingly operate in multi-agent environments where outcomes depend on coordination. We distinguish primary algorithmic monoculture -- baseline action similarity -- from strategic algorithmic monoculture, whereby agents adjust similarity in response to incentives. We implement a simple experimental design that cleanly separates these forces, and deploy it on human and large language model (LLM) subjects. LLMs exhibit high levels of baseline similarity (primary monoculture) and, like humans, they regulate it in response to coordination incentives (strategic monoculture). While LLMs coordinate extremely well on similar actions, they lag behind humans in sustaining heterogeneity when divergence is rewarded.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01