表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

対話中の概念のつながりから、LLMに与えた人物設定を推定するPD-Agent

PD-Agent

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

PD-Agentの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Example comparison of persona inference with and without bridging inference. Without bridging, the model yields a surface-level description ( photographer ), whereas incorporating bridging relations enables deeper reasoning that captures reflective and emotional traits ( traveler ). This illustrates how bridging inference refines persona understanding beyond lexical cues.

出典:PD-Agent / arXiv ↗

概要

  • PD-Agentは、対話中の概念間にある7種類の暗黙の関係をグラフ化し、対象LLMに隠して与えた人物設定を推定する。
  • 著者らの表では、o1-miniを推論役とした6対象平均のコサイン類似度はPD-Agentが0.98、Vanillaが0.86、Frequency-Awareが0.88だった。
  • 評価は設定を与えた対象LLMとの対話が条件。日本語の業務対話への適用には、関係抽出の妥当性と推定の安定性を確かめる必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、PD-Agentの仕組み

左から右へ読む
  1. 01設定付きLLMとの対話
  2. 02暗黙の関係を抽出
  3. 03概念グラフを作成
  4. 04人物属性を推定

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

PD-Agentは、大規模言語モデル(LLM)との対話から、応答に現れる人物像の属性を推定する手法だ。ここでの属性は、役割、性格、経歴や生活背景、関心などを指す。対話AIが与えられた設定に沿って応答するかを調べる際、単語の選び方や文体だけでは、話題をまたぐ意味のつながりを捉えにくい。

著者らは、先に出た概念と後から出た概念の暗黙の関係に着目する。たとえば「エンジン」と「車」の間には、明記されなくても部分と全体の関係を読み取れる。こうしたつながりを記録して人物設定の推定に使う。

手法

評価では対象LLMに人物設定を隠して与え、PD-Agentが自由回答を促す質問を3~5往復行う。次に、先に出た概念と後から出た概念の間にある、文中には明記されない意味上の関係を探す。これが橋渡し推論で、「エンジン」と「車」なら部分と全体の関係に当たる。

抽出した関係は、部分、集団への所属、道具、話題、原因、場所、時間の7種類に分類する。概念を点、関係を種類付きの矢印で表すグラフを作り、つながりが集中する概念と関係の分布を手掛かりに、役割・性格・背景・関心を推定する。出力は推定属性で、グラフには推定過程を点検するための概念間の関係が残る。

新規性

PD-Agentは、発話をまたぐ暗黙の概念関係を7種類に分け、関係の種類を付けたグラフから人物属性を推定する。著者らが重視するのは、個々の単語に加えて、話題がどう結び付くかという対話の構造である。

質問、関係の抽出、グラフの作成、属性の推定を一連の手順にした。実験の正解は対象モデルに隠して与えた人物設定であり、モデル内部の性格を直接測定した結果ではない。

従来手法との違い

比較対象のVanillaは対話文から人物属性を直接予測し、Frequency-Awareは語の出現頻度も利用する。PD-Agentは同じ対話から暗黙の関係を抽出し、概念の結び付きと関係の種類を予測に加える。

著者らの表では、6種類の推論役と6種類の対象モデルの各組み合わせで、PD-Agentのコサイン類似度が両比較法を上回った。この比較は隠した人物設定を持つ対象モデルとの対話に限られ、通常の業務対話での優劣は示していない。

実験結果

著者らは、隠した人物設定を与えた6種類の対象LLMに、6種類の推論役が対話する条件で評価した。指標は、推定した属性と正解の設定を表す値のコサイン類似度で、表現の向きがどれほど近いかを測る。評価する属性は役割・性格・背景・関心の4区分である。

表の6対象平均では、推論役がo1-miniの場合、PD-Agentが0.98、Vanillaが0.86、Frequency-Awareが0.88だった。GPT-4oの場合は順に0.96、0.83、0.88。著者らは5回の実行で推定値の標準偏差が0.03未満とも報告する。いずれも、隠した設定を持つ対象モデルでの結果である。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内向け対話AIの人物設定を点検する。たとえば技術支援担当としての役割や応答傾向を設定文に記し、それを伏せて対象AIと短く対話する。入力は設定文とテキスト対話、出力は推定された属性と根拠となった概念関係のグラフとする。

担当者は設定と推定結果を照合し、意外な属性が出た発話まで戻って関係の解釈を確認する。必要な正解ラベルは設定文から用意し、追加センサーは使わない。日本語の語や関係の扱いは運用前に調整が必要で、効果は未検証である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象AIに与える役割・性格・背景・関心の設定文を少数用意し、各属性を正解ラベルとして保管する。設定ごとにテキスト対話を集め、対話から直接予測する方法、語の頻度を使う方法、関係グラフを使う方法を同じログで比べる。追加センサーは不要で、追加学習の要否は採用する実装に応じて確認する。

日本語への適用では、7種類の関係の説明例と属性名を日本語の発話に合わせて調整する。設定との一致度だけでなく、人手で確かめた関係抽出の妥当性、話題を変えた際の推定の揺れを測る。業務対話で有効かどうかは、この検証結果で判断する。

限界と課題

著者らは、背景属性で誤りが多く、曖昧な発話から異なる属性を推定した例を報告する。また、推論役の能力への依存、7種類に固定した関係分類、小さい対象モデルでは手掛かりが少なくなり得る点、テキスト中心の評価を限界に挙げる。

編集上の検証事項は、日本語の短い対話でも関係を安定して抽出できるか、質問が推定を誘導しないか、グラフ上の根拠を人が原文と照合できるかである。隠した設定との一致度から、実利用者の性格や意図を判定できるとは言えない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

The Pragmatic Persona: Discovering LLM Persona through Bridging Inference

Large Language Models (LLMs) reveal inherent and distinctive personas through dialogue. However, most existing persona discovery approaches rely on surface-level lexical or stylistic cues, treating dialogue as a flat sequence of tokens and failing to capture the deeper discourse-level structures that sustain persona consistency. To address this limitation, we propose a novel analytical framework that interprets LLM dialogue through bridging inference -- implicit conceptual relations that connect utterances via shared world knowledge and discourse coherence. By modeling these relations as structured knowledge graphs, our approach captures latent semantic links that govern how LLMs organize meaning across turns, enabling persona discovery at the level of discourse coherence rather than surface realizations. Experimental results across multiple reasoning backbones and target LLMs, ranging from small-scale models to 80B-parameter systems, demonstrate that bridging-inference graphs yield significantly stronger semantic coherence and more stable persona identification than frequency or style-based baselines. These results show that persona traits are consistently encoded in the structural organization of discourse rather than isolated lexical patterns. This work presents a systematic framework for probing, extracting, and visualizing latent LLM personas through the lens of Cognitive Discourse Theory, bridging computational linguistics, cognitive semantics, and persona reasoning in large language models. Codes are available at https://github.com/JiSoo-Yang/Persona_Bridging.git

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01