アーカイブ / LLM / AI Agent
APIを呼ぶタイミングまで学ぶToolformer、業務利用で見るべき点
Toolformer
概要
- 少数の例からAPI呼び出し候補を作り、文章予測に役立つものを学習に使う。
- 著者らのSVAMP評価ではToolformerが29.4、GPT-Jが5.2だった。
- 検索や多言語課題では限界があり、業務では引数と最終文の両方を確認したい。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Toolformerの仕組み
- 01元の文章とAPI例
- 02呼び出し候補を生成
- 03結果の有用性で選別
- 04APIを使う文章を生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
言語モデルは自然な文章を作れても、正確な四則演算や新しい事実の取得で誤ることがある。検索や計算機などの外部機能を使えば補えるが、いつ何を呼び、戻り値をどう文章へ入れるかを決める必要がある。
Toolformerは、APIという外部機能の呼び出し口を、モデル自身が文章の途中で使う方法を学ぶ研究である。計算機、質問応答、検索、翻訳、日付を返す機能を対象にした。
手法
まず各APIの少数の使い方を示し、言語モデルに文章中の呼び出し位置と引数の候補を作らせる。APIを実際に実行し、返答を文章に入れた場合、続く語を予測する誤差が小さくなるかを調べる。誤差とは予測が正しい続きをどれだけ捉えたかを表す値で、有用性の判定に使う。残った呼び出しを元の文章へ挿入して追加学習する。
利用時は通常どおり文章を生成し、モデルがAPIの返答を待つ印を出したら生成を中断する。計算機なら「27＋4×2」を渡して返る「35」を文中に入れ、続きを生成する。論文の実験では一入力につき呼び出しを最大一回に制限した。
新規性
著者らの進展は、少数のAPI利用例から言語モデル自身に呼び出し候補を作らせ、その結果が文章の予測を助けた候補だけで追加学習した点にある。外部機能を選ぶ時点、入力する引数、返答の取り込み方を一つのモデルで扱う。
個々の課題ごとに大量の人手による呼び出し指定を用意しない設計で、学習元の文章に有用なAPI呼び出しを挿入して訓練する。論文ではGPT-Jの6.7Bモデルを基に検証した。
従来手法との違い
比較対象は、追加学習しないGPT-J、同じ文章だけで追加学習したGPT-J、ToolformerからAPI呼び出しを止めた条件などである。これにより、文章の追加学習と実際の外部機能利用の効果を分けて見る。計算問題では、呼び出しを止めたToolformerより、計算機を使える条件が大きく伸びた。
一方、質問応答では同規模の基準を上回っても、GPT-3 175Bには届かなかった。論文は検索結果の質と、検索語を直して再検索できない設計を要因として挙げる。
実験結果
著者らは、事実補完のLAMA、計算のASDiv・SVAMP・MAWPS、質問応答などを、課題専用の例題なしで評価した。LAMAのSQuAD区分はToolformerが33.8、素のGPT-Jが17.8。SVAMPでは29.4対5.2で、計算機を止めたToolformerは6.3だった。
質問応答のNatural QuestionsではToolformerが17.7、GPT-Jが12.8、GPT-3 175Bは22.6。評価は生成文中の正答の有無を見るなど、課題ごとに定めた条件による。結果は著者らのAPIと評価基準に依存する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の定型報告文を作る際、数値計算が必要な箇所だけ計算機APIを呼ぶ補助機能を試す。入力は数値と報告の雛形、APIへの入力は式、返る値は計算結果、最終出力は計算結果を組み込んだ下書きと呼び出し履歴とする。
担当者は式と結果を照合してから採用する。論文は四則演算の計算機を扱うが、この業務報告の正確さを検証したものではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：四則演算を含む短い報告文を集め、正しい式、期待する数値、完成文を人が記録する。同じ元モデルで、APIを止めた場合と使える場合を比べ、計算機の呼び出し有無だけでなく引数の正しさも採点する。
最終文の数値正答率、不要な呼び出し率、呼び出し失敗後の誤答率を測る。誤った式や単位が混じる例も含め、担当者が履歴を見て修正できるかを確認する。
限界と課題
著者らは、多言語質問応答ではAPIの利用が各言語で改善をもたらしても、元のGPT-Jを常に上回るわけではないと報告する。質問応答では、単純な検索器の不適切な結果や、一入力につき最大一回のAPI呼び出しによって、再検索や道具の連鎖ができない点も述べている。
編集上の確認点は、誤った引数での呼び出し、外部の答えの誤用、呼び出し失敗時の扱いである。APIを使ったという記録だけでは、最終文の正しさは保証できない。
出典
元のタイトル・要旨を確認する（英語）
Toolformer: Language Models Can Teach Themselves to Use Tools
Language models (LMs) exhibit remarkable abilities to solve new tasks from just a few examples or textual instructions, especially at scale. They also, paradoxically, struggle with basic functionality, such as arithmetic or factual lookup, where much simpler and smaller models excel. In this paper, we show that LMs can teach themselves to use external tools via simple APIs and achieve the best of both worlds. We introduce Toolformer, a model trained to decide which APIs to call, when to call them, what arguments to pass, and how to best incorporate the results into future token prediction. This is done in a self-supervised way, requiring nothing more than a handful of demonstrations for each API. We incorporate a range of tools, including a calculator, a Q\&A system, two different search engines, a translation system, and a calendar. Toolformer achieves substantially improved zero-shot performance across a variety of downstream tasks, often competitive with much larger models, without sacrificing its core language modeling abilities.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29