アーカイブ / AI Agent / LLM
失敗を文章で振り返るAIエージェント、再試行の質をどう変えるか
Reflexion
Reflexionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Reflexion can be added to any decision-making approach. We enable ReAct agents to use self-reflection to improve their own performance.
概要
- 失敗時に行動履歴と成否から反省文を作り、次の試行で参照する。モデルの重みは更新しない。
- 本文のAlfWorld評価では、134環境で最初の試行の成功率が63％、12試行までの累積成功率が97％だった。
- 本文のHotPotQA結果節では、100問・7試行までに54％を解き、反省なしのReActを20ポイント上回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Reflexionの仕組み
- 01課題と行動履歴
- 02成否を確認
- 03反省文を保存
- 04次の行動を選択
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルが検索や外部環境で複数の行動を選ぶと、一度の失敗が後続の行動にも影響する。失敗後に同じ依頼を最初からやり直しても、同じ検索語や行動を繰り返す可能性がある。
Reflexionは、AIエージェント、つまり目標に向けて行動と観察を繰り返す仕組みに、失敗の振り返りを追加する研究である。本文では、モデルを再学習する代わりに短い反省文を次の試行へ持ち越す方法を評価した。
手法
エージェントは課題を受け、行動を選び、環境から結果を受け取る。行動履歴に同じ結果を生む繰り返しがある、または行動数の上限に達すると、言語モデルに課題、履歴、成功・失敗を渡して反省文を作る。反省文は一時的な記憶として保存され、環境をリセットした次の試行で参照する。
例えば文書検索で誤答した場合、最初に使った検索語と見つかった内容を記録し、「候補者名で検索を絞る」といった次の手順を文章にする。本文のHotPotQA実験では、検索、ページ内照会、最終回答の行動を使い、最終回答の完全一致を成否判定にした。完全一致は、予測した答えと正解の表記が一致したかを測る方法である。
新規性
Reflexionは、失敗した行動の履歴と成否を言語モデルに読ませ、次回のための反省文を作って記憶に残す。重みを更新する学習ではなく、次の試行へ渡す文章を変えることで行動を修正する点が特徴だ。
本文の実装では、同じ行動を繰り返したときや行動数が上限を超えたときに振り返りを起動する。成否の信号を単純な二値に制限しており、詳細な正解手順を与えなくても試行を改善できるかを調べた。
従来手法との違い
比較対象のReActは、言語モデルが考えを言葉にしながら行動し、環境からの観察を次の行動に使う方式である。Reflexionはこの行動方式に、失敗後の反省文を保存して再試行に使う仕組みを加える。単なる再試行との違いを調べるため、本文では反省なしでも環境をリセットして再挑戦させた。
AlfWorldの本文結果では、最初の一回で63％、反省を使う12試行までの累積で97％の課題を解いた。ただし累積成功率は、一回で97％成功するという意味ではない。
実験結果
本文ではAlfWorldの134環境で、ReActに反省を加えた場合を評価した。著者らは、最初の試行の成功率を63％、12回までの試行で解けた課題の累積割合を97％と報告する。これは一問を最大12回まで再試行できる条件の結果である。
HotPotQAは100問を使い、本文の結果節では7試行までにReflexionが54％を解き、反省なしのReActを20ポイント上回ったと記す。一方、入力された要旨にはHumanEvalで91％という別の結果があり、本文の冒頭要旨にはHotPotQAで51％という値もある。確認できた本文の範囲では、これらを同じ実験結果として統合できないため、ここでは条件が分かる本文の結果を採用した。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定型的な情報検索を行うエージェントの試行改善に使う。入力は「指定された手順書の改訂日を探す」という依頼と、検索可能な文書の範囲。出力は参照した文書、改訂日、見つからなかった場合の理由である。
検索が失敗したら、使った検索語、開いた文書、成否を記録し、次回に「文書名の別表記を試す」などの反省文を渡す。本文の実験は社内文書を対象にしていないため、文書ごとの権限や正解判定を含めた設計は別途検証する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：正解が明確な社内検索課題を少数用意し、同じ検索環境と試行回数で、反省文あり・なしのエージェントを比べる。各試行の検索語、開いた文書、最終回答、失敗時の反省文を保存し、後から担当者が確認できるようにする。
最初の一回の正答率と、決めた回数内での累積成功率を分けて集計する。加えて一問当たりの検索回数、完了までの時間、誤った根拠を引用した件数を測り、反省文が改善に結び付いた例と悪化した例を確認する。
限界と課題
本文は、振り返りを保存する数を最大三件に制限している。終了判定や反省を始める条件には、繰り返し行動と行動回数を使う簡単な規則を採った。したがって、誤答の理由を常に正しく診断できる仕組みとして示されたわけではない。
導入時の確認事項は、失敗判定が本当に信頼できるか、誤った反省文を次の試行が引き継がないかである。試行回数と検索・実行の回数も増え得るため、成功率だけでなく、完了までの手間を測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
Reflexion: Language Agents with Verbal Reinforcement Learning
Large language models (LLMs) have been increasingly used to interact with external environments (e.g., games, compilers, APIs) as goal-driven agents. However, it remains challenging for these language agents to quickly and efficiently learn from trial-and-error as traditional reinforcement learning methods require extensive training samples and expensive model fine-tuning. We propose Reflexion, a novel framework to reinforce language agents not by updating weights, but instead through linguistic feedback. Concretely, Reflexion agents verbally reflect on task feedback signals, then maintain their own reflective text in an episodic memory buffer to induce better decision-making in subsequent trials. Reflexion is flexible enough to incorporate various types (scalar values or free-form language) and sources (external or internally simulated) of feedback signals, and obtains significant improvements over a baseline agent across diverse tasks (sequential decision-making, coding, language reasoning). For example, Reflexion achieves a 91% pass@1 accuracy on the HumanEval coding benchmark, surpassing the previous state-of-the-art GPT-4 that achieves 80%. We also conduct ablation and analysis studies using different feedback signals, feedback incorporation methods, and agent types, and provide insights into how they affect performance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29