表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

AIエージェントは何を根拠に動いたか――履歴の場面から一文までたどる

Agentic Attribution

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

Agentic Attributionの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : Paradigm shift from failure attribution to agentic attribution. Top: Traditional failure attribution targets unsuccessful trajectories, aiming to localize the specific explicit error that caused the task failure. As shown, it identifies the “service unavailable” exception as the root cause preventing the booking confirmation. Bottom: The proposed agentic attribution framework uncovers the internal drivers behind an agent’s action. As illustrated in the customer service case, the agent directly issues an refund for a simple information inquiry, which carries no explicit error signal yet is undesirable. Our framework reveals this was driven by the memory of past ”refund action with high scores,” which overrode the user’s specific query.

出典:Agentic Attribution / arXiv ↗

概要

  • 特定の行動について、実行履歴のどの場面と文が出力を後押ししたかを調べる。
  • 履歴を順に加えた時の行動確率の変化と、文を除いた時の変化を組み合わせる。
  • 九つの実行履歴で事例分析を行ったが、実運用全般での検出率は示された本文からは確認できない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Agentic Attributionの仕組み

左から右へ読む
  1. 01行動までの実行履歴
  2. 02履歴を順に追加
  3. 03影響の大きい場面を選択
  4. 04重要な文を順位付け

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

道具や記憶を使うAIエージェントは、利用者の依頼から複数の情報を取り込み、次の操作を決める。実行エラーがなくても、過去の経験を広く当てはめすぎたり、検索結果の一語を重く見すぎたりすることがある。

結果だけを点検しても、どの情報が行動を後押ししたかは分かりにくい。この研究は、実行履歴のどの場面と文が、特定の行動に結び付いたかを後から調べる方法を提案する。

手法

入力は、利用者の発言、エージェントの途中の行動、道具の返答、取得した記憶を時間順に並べた履歴と、調べたい一つの行動である。まず履歴を一場面ずつ追加し、その行動がモデルから出る確率の変化を測る。追加した直後に確率が大きく上がる場面を候補にする。

次に候補の場面を文に分け、ある文を除くと行動の確率がどれだけ下がるかなどを調べる。これを文の寄与を調べる「摂動」と呼ぶ。例えば検索結果に含まれる国名が最終回答を強く押し上げたなら、その検索結果と該当する文が上位に示される。

新規性

著者らの狙いは、失敗箇所の特定に限らず、結果が正しく見える行動についても、その行動を後押しした履歴を探すことにある。会話、取得した記憶、道具の結果を時間順に見て、影響が大きい場面から具体的な文へ絞る。

行動の確率が履歴の追加でどう変わるかを先に測り、次に文を除いた場合の変化を調べる二段階構成が特徴である。出力は説明文そのものではなく、調査すべき履歴箇所の順位である。

従来手法との違い

従来の失敗原因の特定は、誤答や実行エラーなど明確な失敗が起きた履歴を主な対象にする。著者らの方法は、行動が実行された理由を調べるため、明白なエラーがない場合も対象にする。

例えば配送状況を聞かれて返金へ進むような行動では、処理の成否だけでは判断材料を見落としうる。この方法は過去の記憶や道具の結果のうち、対象行動を強く支持した箇所を示す。ただし、順位がそのまま唯一の原因を証明するわけではない。

実験結果

著者らはLlama-3.1-70B-Instructで作った九つの実行履歴を使った。八件は記憶や道具の影響を調べるために設計した事例、一件はGAIAの検索課題から選んだ。定性的な事例分析と、文ごとの寄与を測る複数手法の比較を行っている。

示された事例では、誤った国名への回答を後押しした初期の検索結果や、配送先変更に関係する天候の記憶項目を上位に特定したと報告する。確認できた本文の範囲では、実運用全般での検出率を示す代表的な数値は確認できない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:顧客対応エージェントが問い合わせに対して返金を選んだ事例を調査する。入力は利用者の依頼、取得した過去対応の記憶、道具の結果、実行した返金行動までの履歴。出力は、その行動に強く結び付いた履歴の場面と文の一覧とする。

担当者は上位の文が現行の返金条件を示していたのか、過去の好評価だけを示していたのかを確認する。判断を急がず、業務ルールと照らして記憶の使い方を点検する。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:道具と記憶を使った少数の対応履歴から、適切な行動と調査が必要な行動を選ぶ。担当者が、判断に使うべき情報を先に記録し、履歴を時系列で読む通常の調査を基準にする。

候補手法が示す上位の場面と文について、担当者の判断との一致、調査にかかった時間、無関係な文の混入を測る。上位文を除いて再実行した時に行動が変わるかも確認し、順位だけから原因を断定しない。

限界と課題

著者らが詳しく示したのは、設計した少数のエージェント実行例における帰属結果である。本文では九つの履歴を用い、同じモデルで生成と分析を行った。別のモデルや長い実運用履歴でも同じ精度が出るとまでは示されていない。

編集上は、上位に出た文を本当に変更すると行動が変わるか、似た文が複数ある時に順位が安定するかを確かめたい。行動確率の変化は有用な手掛かりだが、人が納得する業務上の理由と常に一致するとは限らない。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution

Large Language Model (LLM)-based agents are widely used in real-world applications such as customer service, web navigation, and software engineering. As these systems become more autonomous and are deployed at scale, understanding why an agent takes a particular action becomes increasingly important for accountability and governance. However, existing research predominantly focuses on \textit{failure attribution} to localize explicit errors in unsuccessful trajectories, which is insufficient for explaining \textbf{the reason behind agent behaviors}. To bridge this gap, we propose a novel framework for \textbf{general agentic attribution}, designed to identify the internal factors driving agent actions regardless of the task outcome. Our framework operates hierarchically to manage the complexity of agent interactions. Specifically, at the \textit{component level}, we employ temporal likelihood dynamics to identify critical interaction steps; then at the \textit{sentence level}, we refine this localization using perturbation-based analysis to isolate the specific textual evidence. We validate our framework across a diverse suite of agentic scenarios, including standard tool use and subtle reliability risks like memory-induced bias. Experimental results demonstrate that the proposed framework reliably pinpoints pivotal historical events and sentences behind the agent behavior, offering a critical step toward safer and more accountable agentic systems. Codes are available at https://github.com/AI45Lab/AgentDoG.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-09-30