アーカイブ / LLM / AI Agent
行動ごとに思考の深さを選ぶCogRouter：対話型課題で成功率と出力トークン数を比較
CogRouter
CogRouterの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Overview of the CogRouter framework. We define four cognitive levels ℒ 1 \mathcal{L}_{1} – ℒ 4 \mathcal{L}_{4} , then introduce a two-stage training process: (1) Cognition-aware Supervised Fine-tuning ( CoSFT ) , which guides the model to learn stable cognitive patterns across levels with balanced data; (2) Cognition-aware Policy Optimization ( CoPO ) , which applies RL with confidence-aware reweighting to help the model adaptively choose suitable levels based on context complexity.
概要
- CogRouterは、エージェントが次の行動を決めるたびに四段階の思考の深さを選ぶ。
- CoPOは成功した行動を固定して四段階の思考を比べ、行動の予測確信度に応じて学習上の重みを変える。
- 著者らのQwen2.5-7B-Instructでの評価では、二つの環境の平均達成率が82.3％で、比較対象のCoSFT＋GRPOより平均出力トークン数が約62％少なかった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CogRouterの仕組み
- 01目標・観測履歴
- 02思考段階を選択
- 03段階別に検討
- 04次の実行行動
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CogRouterは、目標に向けて観測と行動を繰り返すエージェントの思考量を、手順ごとに変える。論文に挙がる温度計を使う課題では、最初に探す部屋を計画し、見つからなければ探索先を考え直す。
一方、扉を開けた直後にその部屋へ進む判断は短く済む。著者らは、常に深く考える方式は定型的な手順にも出力トークンを使い、常に即答する方式は複雑な判断に対応しにくいと指摘する。
手法
CogRouterは目標、現在の観測、過去の行動を受け、四段階の思考から一つを選んで行動を出す。最も浅い段階では明示的な推論を省き、次は現在の状態と可能な行動を確かめる。さらに過去の結果を振り返る段階、候補行動の先の展開を考える段階がある。例えば扉が開いた後に部屋へ進む判断と、温度計が見つからず探索先を変える判断に、異なる深さを割り当てる。
学習の前半はCoSFTという教師あり調整で、GPT-4oが作った成功履歴の各手順に思考段階を無作為に割り当て、対応する思考例を加える。後半のCoPOは、実行して得た成功履歴の行動を固定し、四段階それぞれの思考を生成する。その思考を条件に、同じ行動をモデルが予測する確信度を比べ、学習上の重みを変える。
新規性
CogRouterは、エージェントの一連の作業に同じ思考の深さを使うのではなく、次の行動を決めるたびに四段階から選ぶ。即答から将来の展開を見込む計画までを、一つの出力形式で扱う。
学習時のCoPOは、成功した履歴の各行動を固定して四段階の思考を生成し、その行動の予測確信度に応じて学習上の重みを配分する。著者らは、深い思考への偏りを抑える仕組みと位置づける。
従来手法との違い
比較対象のGRPOは、複数の実行履歴の結果を比べて学習し、同じ履歴の各手順に共通の学習信号を与える。CoPOは成功した履歴の各手順で四段階の思考を比べ、行動の予測確信度で信号を配分する。失敗した履歴には、この四段階への展開を行わない。
表では、同じQwen2.5-7B-InstructにCoSFTを施した後、GRPOまたはCoPOを適用した結果を比べられる。比較の範囲はALFWorldとScienceWorldであり、一般の業務環境で同じ差が出るとは示していない。
実験結果
著者らはALFWorldとScienceWorldのテスト集合で、それぞれ200件を評価した。前者は家庭内の複数手順の達成率、後者は科学課題の最終スコアと達成率を測る。効率の指標は、一課題当たりの平均出力トークン数である。
Qwen2.5-7B-InstructにCoSFTとCoPOを適用した結果は、ALFWorldの達成率92.5％、ScienceWorldの達成率72.0％、平均達成率82.3％、平均1641.4トークンだった。同じ基礎モデルでCoSFT後にGRPOを適用した結果は平均達成率68.3％、平均4367.3トークン。著者らのいう約62％のトークン削減は、このGRPOとの比較に対応する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定型申請を処理する対話型エージェントで、申請目的と現在の画面状態、直前までの操作履歴から、次の操作と思考段階を出す。通常の画面遷移と、想定した項目が見つからない場面を同じ申請手順に含めて試す。
必要なのは、対象業務で成功した操作履歴、各時点の画面状態と正しい操作の記録、完了や誤操作の判定ラベルである。画面を観測する手段を用意し、画面から得る情報と実行可能な操作を、対象業務に合わせて定義する。効果は検証を要する仮説である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：申請手順を一つ選び、申請目的、各時点の画面状態、正しい操作、最終的な成否を記録する。画面状態を取得する観測手段を定め、完了と誤操作の判定ラベルを付ける。成功した操作履歴を教師データとし、四段階に対応する思考例と、実行可能な操作の表現を対象業務に合わせて整える。
同じ記録から作った固定の思考方式を比較基準にする。学習に使わない申請例で、完了率、誤操作率、一件当たりの出力トークン数を測り、例外時の再計画を人が確認する。学習時の処理量も記録し、観測項目や操作形式の調整が必要か判断する。
限界と課題
確認できた本文の範囲では、著者らが適用上の限界として明示した記述は確認できない。結果は二つの対話型環境のテスト集合に基づく。業務画面の操作や、異なる長さの申請手順での成績を示すものではない。
編集上の検証事項は、誤操作後に計画を修正できるか、選んだ思考段階が場面に合うか、出力形式を守れるかである。CoPOは成功履歴の各手順について四段階の思考を生成するため、学習時に要する処理も測る必要がある。推論時の出力トークン数だけでは運用上の負担を判断できない。
出典
元のタイトル・要旨を確認する（英語）
Think Fast and Slow: Step-Level Cognitive Depth Adaptation for LLM Agents
Large language models (LLMs) are increasingly deployed as autonomous agents for multi-turn decision-making tasks. However, current agents typically rely on fixed cognitive patterns: non-thinking models generate immediate responses, while thinking models engage in deep reasoning uniformly. This rigidity is inefficient for long-horizon tasks, where cognitive demands vary significantly from step to step, with some requiring strategic planning and others only routine execution. In this paper, we introduce CogRouter, a framework that trains agents to dynamically adapt cognitive depth at each step. Grounded in ACT-R theory, we design four hierarchical cognitive levels ranging from instinctive responses to strategic planning. Our two-stage training approach includes Cognition-aware Supervised Fine-tuning (CoSFT) to instill stable level-specific patterns, and Cognition-aware Policy Optimization (CoPO) for step-level credit assignment via confidence-aware advantage reweighting. The key insight is that appropriate cognitive depth should maximize the confidence of the resulting action. Experiments on ALFWorld and ScienceWorld demonstrate that CogRouter achieves state-of-the-art performance with superior efficiency. With Qwen2.5-7B, it reaches an 82.3% success rate, outperforming GPT-4o (+40.3%), OpenAI-o3 (+18.3%), and GRPO (+14.0%), while using 62% fewer tokens.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01