アーカイブ / LLM
質問ごとに推論指示・生成温度・段数を選ぶAdaReasoner
AdaReasoner
AdaReasonerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : The proposed framework of using AdaReasoner for automating the reasoning configurations (instructions, steps, temperature). During training, configurations actions are sampled with Boltzmann exploration, guiding LLMs to generate answers, which are then evaluated by a reward model for policy optimization.
概要
- 質問ごとに推論指示、生成温度、推論の段数を選び、LLMに回答させる。
- 質問と参照回答を使い、生成された回答への評価を手掛かりに設定の選び方を学習する。
- 著者らの四課題・六つのLLMによる比較では、各LLMの四課題平均正答率が比較手法中で最高だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AdaReasonerの仕組み
- 01質問文
- 02質問の特徴化
- 03三設定の選択
- 04LLMの回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AdaReasonerは、大規模言語モデル（LLM）が質問に答える前に、その質問に合う推論設定を選ぶ方法だ。比喩の判定と数学の問題では、役立つ考え方や回答の作り方が異なりうる。
固定の指示や設定を多様な質問に使うと、個々の質問に合う設定を選ぶ余地が残る。対象となるのは推論を促す指示文、回答のばらつきを調整する生成温度、途中の推論の段数であり、その組み合わせを毎回人が決める負担も課題となる。
手法
AdaReasonerは質問文を数値の特徴に変え、共通の特徴から三つの経路で推論指示、生成温度、推論の段数を選ぶ。生成温度は出力のばらつきを調整する値、段数は途中の考えを何段階求めるかという設定だ。例えば、文中の語が比喩かを問う質問なら、選んだ設定を質問とともにLLMへ渡し、判定の回答を得る。
訓練には質問と参照回答の組を使う。選んだ設定で生成した回答を、事前に学習した報酬モデルが質問と参照回答に照らして点数化する。強化学習はその点数を手掛かりに選び方を更新する方法で、訓練中は有望な設定を優先しながら別の設定も試す。訓練後は、学んだ選び方を新しい質問の回答生成に使う。
新規性
AdaReasonerは、質問ごとに推論指示の形式、生成温度、推論の段数を組み合わせて選ぶ。推論指示は、考え方の基本方針と、着目点などを変える文を組み合わせて作る。
質問の共通表現から三つの設定を別々に選ぶ構造を採り、回答への評価を使って選択方針を共同で学習する。著者らは、少数の訓練例で有効な設定を学べる点も提案の特徴としている。
従来手法との違い
CoTは途中の考えを段階的に書かせ、ToTは複数の推論経路を木状に探索する。Auto-CoTは推論例を自動生成する。AdaReasonerでは、推論指示に加えて生成温度と段数も質問ごとに選び直す。
著者らの表では、六つのLLMのそれぞれで、四課題の平均正答率が比較手法中で最高だった。ただし個別課題では逆転もある。GPT-4oのTruthfulQAではAuto-CoTが83.09%、AdaReasonerが81.30%だった。
実験結果
著者らはMMLUの数学分野、Metaphor、TruthfulQA、LogiQAから各250問を無作為に抽出し、計100問を訓練、900問をテストに使ったと記す。回答の意味上の一致と説明の質はGPT-4oで判定し、表では正答率を報告している。
六つのLLMを使った比較では、GPT-4oの四課題平均正答率はAdaReasonerが80.42%、CoTが68.71%、In-context CoTが74.42%だった。これは記載された抽出条件と判定方法における著者らの結果であり、個別課題でも常に首位という意味ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内規程への問い合わせについて、担当者が確認する回答案を作る。入力を質問文、出力を回答案とし、質問に応じて推論設定を選んだ後、同じLLMに回答させる。規程本文の確認は担当者の作業に組み込む。
適応には、過去の質問文と承認済み回答の組を訓練データとして用意し、承認済み回答を参照ラベルにする。追加センサーは不要と想定する。規程の条件判断を含む質問に合う指示の候補と、回答の評価基準は業務に合わせて定める必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の問い合わせ文と承認済み回答を組にし、訓練用と未使用の評価用に分ける。承認済み回答を参照ラベルとし、追加センサーは設けない。質問の種類に合わせて推論指示と段数の候補を定め、回答をどう採点するか担当者と確認する。
同じLLMに固定の推論指示を与える方法を比較基準とする。未使用の質問について担当者が回答の正確さを判定し、誤答の種類、回答までの時間、質問の種類ごとの成績を記録する。設定の選択によって実務の判断が改善するかを確かめる。
限界と課題
確認できた本文の範囲では、著者らが社内文書を使う運用の限界を明示した記述はない。報告された結果は四つの公開課題から抽出した問題での評価であり、規程への問い合わせでも同じ成績になるとは示していない。
編集上の検証事項は、訓練時に参照回答との適合を点数化する報酬モデルが、業務上許容できる回答を適切に評価するかである。評価に使ったGPT-4oの判定と担当者の判断が食い違う例、設定選択に伴う所要時間も確認したい。
出典
元のタイトル・要旨を確認する（英語）
AdaReasoner: Adaptive Reasoning Enables More Flexible Thinking in Large Language Models
LLMs often need effective configurations, like temperature and reasoning steps, to handle tasks requiring sophisticated reasoning and problem-solving, ranging from joke generation to mathematical reasoning. Existing prompting approaches usually adopt general-purpose, fixed configurations that work 'well enough' across tasks but seldom achieve task-specific optimality. To address this gap, we introduce AdaReasoner, an LLM-agnostic plugin designed for any LLM to automate adaptive reasoning configurations for tasks requiring different types of thinking. AdaReasoner is trained using a reinforcement learning (RL) framework, combining a factorized action space with a targeted exploration strategy, along with a pretrained reward model to optimize the policy model for reasoning configurations with only a few-shot guide. AdaReasoner is backed by theoretical guarantees and experiments of fast convergence and a sublinear policy gap. Across six different LLMs and a variety of reasoning tasks, it consistently outperforms standard baselines, preserves out-of-distribution robustness, and yield gains on knowledge-intensive tasks through tailored prompts.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01