アーカイブ / LLM / AI Agent
関数の引数を選んだ理由を記録するTAFC――複数条件の設定精度を検証
Think-Augmented Function Calling
概要
- TAFCは関数全体と複雑な個別引数に理由欄を設け、実行前にその欄を除いて元の関数へ値を渡す。
- ToolBenchの全課題平均Pass Rateは、Llama-3.1-8Bで27.3%から29.7%、GPT-4oで57.5%から59.2%になったと著者らは報告する。
- 引数品質の比較では、単純な一引数の関数で理由付けが過剰になり、通常方式が勝る事例も報告されている。
補足:編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Think-Augmented Function Callingの仕組み
- 01依頼文と関数定義
- 02引数の複雑さを判定
- 03理由と値を生成
- 04理由を除いて実行
- 05関数の結果
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
TAFCが扱うのは、言語モデルが外部の関数を呼ぶとき、複数の引数を適切に設定する問題である。引数とは、検索する表や絞り込み条件のように関数へ渡す値をいう。値同士が関係すると、一つの誤設定が別の値にも影響しうる。
著者らは、従来の段階的な推論は操作全体を扱えても、個々の引数を選んだ理由を明示しにくいと指摘する。理由が残らなければ、失敗した呼び出しの調査や修正が難しくなる。
手法
TAFCは、依頼文と関数の説明を受け、関数全体の判断を記す任意のthink引数を定義に加える。さらに、引数間の依存関係、値の型、入力制約から複雑さを採点し、閾値を超えた引数では理由と値を対で生成する。例えばデータベース検索なら、表の選択と絞り込み条件に、それぞれの選択理由を添えられる。
実行時には理由欄を取り除き、値だけを元の関数へ渡す。値の中に別の引数が入る入れ子構造でも、理由欄を順に除く設計である。著者らは、実行履歴による理由欄の説明文の調整と、人が付けた理由や正しい引数を用いるツール説明文の調整も提案している。
新規性
TAFCは、関数を呼ぶ判断を記す共通のthink引数と、複雑な個別引数に付ける理由欄を組み合わせる。個別の理由欄は、引数間の依存関係、値の型、入力制約から算出した複雑さが閾値を超える場合に設ける。
著者らは、理由を促す説明文を実行履歴から調整し、人が付けた理由に近づける方法も提案する。理由欄を実行前に除く設計により、元の関数へ渡す値を維持する。
従来手法との違い
比較対象は、通常の関数呼び出しをReActに組み込んだ構成である。ReActは、判断とツール操作を交互に進める方式を指す。実験では両方式の基本的な指示文をそろえ、TAFC側に理由を記す引数を追加した。
通常方式では引数値を生成し、TAFCでは関数全体と必要な個別引数について理由も生成する。実行時には理由を除いた値を元の関数へ渡す。報告された差は、このToolBench上の構成と条件に対する結果である。
実験結果
著者らは、49分野・1万6000超のREST APIを含むToolBenchで、単一ツールと複数ツールの課題を評価した。Pass Rateは制限内に課題を完了した割合で、最大10回のツール呼び出し、API呼び出しごとに30秒の制限を設けた。結果は温度0.1での独立した3回の実行に基づく。
全課題平均のPass Rateは、Llama-3.1-8Bで通常方式27.3%からTAFC 29.7%、GPT-4oで57.5%から59.2%になったと著者らは報告する。別の引数品質評価では、各モデル1000件をGPT-4oが関数定義とともに比較し、全モデル平均でTAFC勝利69.6%、通常方式勝利18.2%、同点12.2%だった。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案:社内の発注履歴を検索する業務で、依頼文と既存の検索関数の定義から、対象表と期間条件を理由付きで選ぶ。担当者には理由と引数値を示し、確認後に理由を除いた値で検索を実行する。出力は確認用の理由、実行する引数、検索結果とする。
必要なのは過去の依頼文、関数定義、確認済みの引数である。説明文を調整するなら、人が確認した判断理由のラベルも集める。追加センサーは想定せず、対象関数への理由欄の追加と実行前の除去処理を適用する。効果は対象業務で別途確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案:既存の検索関数を一つ選び、過去の依頼文、関数定義、確認済みの正解引数を小規模にそろえる。理由の説明文も調整する場合は、人が確認した判断理由をラベルとして用意する。追加センサーは想定せず、理由欄の追加と実行前の除去処理を対象関数に適用する。
同じモデルと依頼文で通常の関数呼び出しを基準とし、正解引数との一致、必須項目の欠落、実行成功率、応答時間を比べる。担当者が理由と値の整合性を確認し、単純な一引数の依頼も含めて過剰な理由付けを調べる。
限界と課題
著者らは、GPT-4oによる引数品質の比較で通常方式が勝った事例は、理由付けが過剰になりやすい単純な一引数の関数に多いと述べる。理由を増やせば常に引数が改善する、という結果ではない。
編集上の検証事項は、生成した理由が実際の値の選択を正しく説明するか、理由に業務上の機微情報が含まれないか、追加生成が応答時間に与える影響である。確認できた本文の範囲では、発注履歴の検索業務での運用結果は示されていない。
出典
元のタイトル・要旨を確認する(英語)
Think-Augmented Function Calling: Improving LLM Parameter Accuracy Through Embedded Reasoning
Large language models (LLMs) have demonstrated remarkable capabilities in function calling for autonomous agents, yet current mechanisms lack explicit reasoning transparency during parameter generation, particularly for complex functions with interdependent parameters. While existing approaches like chain-of-thought prompting operate at the agent level, they fail to provide fine-grained reasoning guidance for individual function parameters. To address these limitations, we propose Think-Augmented Function Calling (TAFC), a novel framework that enhances function calling accuracy through explicit reasoning at both function and parameter levels. Our method introduces a universal "think" parameter augmentation that enables models to articulate their decision-making process, with dynamic optimization for parameter descriptions to improve reasoning quality. For complex parameters, TAFC automatically triggers granular reasoning based on complexity scoring, ensuring appropriate justification for critical decisions. Additionally, we propose reasoning-guided optimization to align generated reasoning with human expectations. TAFC requires no architectural modifications to existing LLMs while maintaining full API compatibility. Evaluation on ToolBench across proprietary and open-source models demonstrates significant improvements in parameter generation accuracy and reasoning coherence for multi-parameter functions, while providing enhanced interpretability for debugging AI agent behaviors.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01




