アーカイブ / LLM / AI Agent
LLMエージェントは相手の学習をどう変えるか：ShapeLLMの反復ゲーム実験
ShapeLLM
概要
- ShapeLLMは、直前の双方の行動と過去の行動集計を文章で与え、相手が学習する間の行動を試行単位の報酬で学ぶ。
- 著者らの囚人のジレンマ実験では、学習後の１手あたり平均報酬が基準条件の双方1.00に対し、形成役3.96、相手0.10だった。
- 業務への適用には、双方の選択に対する報酬を定義し、模擬対戦で双方の結果を測る必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ShapeLLMの仕組み
- 01ゲーム説明と行動履歴
- 02直前行動と過去を集計
- 03次の行動を生成
- 04報酬を受け方針更新
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
複数のLLMエージェントが繰り返し対戦すると、一方の行動は相手が次に何を学ぶかにも影響する。各自が目先の報酬だけを追うと、たとえば囚人のジレンマでは双方が協力しない結果に落ち着きうる。この変化を考慮することが課題となる。
「相手形成」とは、自分の行動を通じて相手の学習の進み方を変えることを指す。既存手法には相手の更新規則の知識や、言語モデルにはそのまま使えない記憶機構を要するものがある。著者らはLLM同士でも相手形成が起きるかを調べた。
手法
ShapeLLMは、２体が同時に行動する反復ゲームで、一方を相手形成役として学習させる。囚人のジレンマなら、入力文に「協力」「裏切り」の行動ラベルと報酬表、直前に双方が選んだ行動、それ以前の各組み合わせの件数を載せる。モデルは次の行動を１文字で出し、双方の選択に応じた報酬を受ける。
複数ラウンドを１エピソード、複数エピソードを１試行とする。相手はエピソードごとに学習し、形成役は試行終了時に、その間の累積報酬を使って学ぶ。過去の行動をすべて文章に並べず件数へ圧縮することで、試行中に更新される相手とのやり取りを入力文に収める。
新規性
ShapeLLMは、LLMエージェントによる「相手形成」を調べるために、相手の更新規則を直接計算しない手法を文章入力へ適用した。著者らは、LLMを使った相手形成の初の検討と位置づけている。
直前の双方の行動と、それ以前の行動の集計を一つの入力文に載せる。相手が各エピソード後に更新する間、形成役は試行終了まで更新を待ち、相手の変化を含む試行全体の報酬で学ぶ。
従来手法との違い
基準条件では、２体のLLMがそれぞれ自分の報酬を最大化するよう学習する。入力はゲームの説明と直前の双方の行動で、両者とも各エピソード後にPPOという、報酬を使って行動方針を更新する手法で学ぶ。
ShapeLLM条件では、一方を相手形成役に替える。相手は各エピソード後、形成役は試行終了後に更新し、形成役の入力には過去の行動集計も加わる。著者らは追加情報だけの影響も別に調べ、情報を増やすだけでは同じ相手形成は起きなかったと報告する。
実験結果
著者らはgemma-2-2b-itを使い、囚人のジレンマ、表裏合わせ、チキンゲームなどの２択の反復ゲームで調べた。競争条件では学習後の各ペアを20ラウンドのゲームで100回対戦させ、１手あたりの平均報酬を比較した。表１の数値は無効行動を含む手を除き、原則５つの乱数条件で求めた95％信頼区間付きの結果で、チキンゲームの基準条件だけは10条件である。
表１で、囚人のジレンマの基準条件は双方1.00、形成条件は形成役3.96、相手0.10だった。表裏合わせは基準条件が−0.03と0.03、形成条件が0.99と−0.99だった。著者らは協調を促すゲームの効果も報告するが、確認できた本文の範囲ではその結果表の数値は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：複数の業務エージェントが同じ作業枠を選ぶ状況を、閉じた模擬環境で試す。入力は選べる枠、双方の直前の選択、過去の選択の組み合わせ別件数、組み合わせごとの報酬表とし、出力は次に選ぶ枠のラベルとする。
学習用には、模擬対戦で得た双方の選択と報酬の記録が要る。枠のラベルと報酬表は対象業務に合わせて定義し、対戦ログを入力文へ変換する。物理センサーは想定しない。業務での協調が改善するかは、このゲーム実験からは決まらない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象業務の選択肢を２つの行動ラベルに整理し、双方の選択ごとの報酬表を定める。模擬対戦で双方の行動と報酬を学習用に記録し、独立してエピソードごとに更新する条件と、一方を試行後に更新する条件を同じ設定で比べる。
直前の双方の行動と過去の組み合わせ別件数を対戦ログから入力文へ変換し、物理センサーは使わない。測定項目は１手あたりの双方の平均報酬、協力行動の割合、無効な行動ラベルの割合とする。報酬表やラベルを業務向けに調整した後、試行回数と入力文を変えて結果を確かめる。
限界と課題
実験は、特定の小型言語モデルと２択の反復ゲームを中心に行われた。競争ゲームの結果から、選択肢の多い業務や学習しない相手にも同じ効果があるとは判断できない。これは実験範囲からの編集上の留意点である。
編集上の検証事項は、行動を件数にまとめると順序情報が失われる影響、入力文や行動ラベルを変えた際の安定性、双方に望ましい報酬の定義である。著者らは入力文の変更も調べたと述べるが、確認できた本文の範囲では付録の条件や数値を照合できない。
出典
元のタイトル・要旨を確認する（英語）
Opponent Shaping in LLM Agents
Large Language Models (LLMs) are increasingly being deployed as autonomous agents in real-world environments. As these deployments scale, multi-agent interactions become inevitable, making it essential to understand strategic behavior in such systems. A central open question is whether LLM agents, like reinforcement learning agents, can shape the learning dynamics and influence the behavior of others through interaction alone. In this paper, we present the first investigation of opponent shaping (OS) with LLM-based agents. Existing OS algorithms cannot be directly applied to LLMs, as they require higher-order derivatives, face scalability constraints, or depend on architectural components that are absent in transformers. To address this gap, we introduce ShapeLLM, an adaptation of model-free OS methods tailored for transformer-based agents. Using ShapeLLM, we examine whether LLM agents can influence co-players' learning dynamics across diverse game-theoretic environments. We demonstrate that LLM agents can successfully guide opponents toward exploitable equilibria in competitive games (Iterated Prisoner's Dilemma, Matching Pennies, and Chicken) and promote coordination and improve collective welfare in cooperative games (Iterated Stag Hunt and a cooperative version of the Prisoner's Dilemma). Our findings show that LLM agents can both shape and be shaped through interaction, establishing opponent shaping as a key dimension of multi-agent LLM research.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01