アーカイブ / LLM
文章の最適化問題をソルバーに渡すOR-Toolformer：作業割当への適用条件
OR-Toolformer
OR-Toolformerの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of OR-Toolformer.
概要
- 文章から最適化ソルバー用の引数とAPI呼び出しを生成し、外部ソルバーで数値解を計算する。
- 著者報告の実行精度はMAMO-EasyLPで80.1%だが、MAMO-ComplexLPでは14.7%、IndustryORでは14.0%だった。
- 学習に含まれない割当問題APと最小費用流MCFの実行精度は、それぞれ68%と40%だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OR-Toolformerの仕組み
- 01最適化の問題文
- 02引数と呼び出しを生成
- 03ソルバーで計算
- 04数値解を得る
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OR-Toolformerは、文章に書かれた最適化問題を読み取り、計算プログラムへ渡す呼び出しを作る。最適化は、費用を最小にするなどの目標に対し、人数や容量などの制約を満たす選択を探す作業をいう。
従来の作業では、人が文章を数理モデルに直してソルバーと呼ぶ計算プログラムに渡すため、専門知識が要る。著者は、非公開モデルのAPIへ機密情報を送る懸念と、公開モデルを一から学習する費用も課題に挙げる。
手法
学習例は、問題の数値条件を選び、農業や物流などの文脈と組み合わせて半自動で作る。Gemini 2.0 Flashで問題文と回答を生成し、回答内のAPI呼び出しを実行する。元の数値から作った呼び出しと結果が一致した組だけを残す。
その組でLlama-3.1-8B-Instructを追加学習し、実行時には文章から計算条件と呼び出しを生成させる。例えば割当問題なら、担当可能条件や費用を引数に写し、呼び出し文字列を取り出して外部ソルバーへ送る。本文ではNEOS ServerとGoogle Operations Research APIを使用し、割当問題には後者を使っている。
新規性
OR-Toolformerは、事前学習済みの言語モデルを追加学習し、文章から構造化された計算条件とソルバーのAPI呼び出しを生成する。APIは外部プログラムを呼び出すための窓口で、数値解の計算は外部ソルバーが担う。
学習例の生成では、モデルが作った呼び出しを実行し、抽出元の数値から作った呼び出しと結果が一致する例を残す。文章と呼び出しを組にして、その対応を学習させる点が手法の中心である。
従来手法との違い
著者は、同程度の規模の汎用・数学向け言語モデルと、より大きい汎用モデルの結果を表に示す。同規模のモデル間では、OR-Toolformerが4ベンチマーク中3件で最高、IndustryORでは2位だった。大規模モデルを含む全体で最高という意味ではない。
関連手法として本文が挙げるORLMは、ソルバー用コードを生成する。OR-Toolformerは構造化した引数とAPI呼び出しを生成し、外部ソルバーへ渡す。両手法の直接比較値は、確認できた本文の範囲では示されていない。
実験結果
著者の「実行精度」は、ソルバーが返した最適値が正解値のいずれかと一致した割合である。OR-ToolformerはNL4OPTで59.6%、MAMO-EasyLPで80.1%、MAMO-ComplexLPで14.7%、IndustryORで14.0%だった。同規模モデルとの比較では最初の3件で最高、IndustryORではQwen-2.5-7B-Instructの18.0%を下回った。
学習集合は5種類の問題から成る17,508例。別のテスト集合で、学習に含まれない割当問題APは50例中68%、最小費用流MCFは25例中40%で、Qwen-2.5-7B-Instructの62%、4%と比べた2種類の単純平均は54%対33%だった。著者はこの差を21ポイントと報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：倉庫の作業者を作業へ割り当てる試案に使う。作業者ごとの担当可能範囲、組み合わせ別の費用、必要人数を文章と表で入力し、モデルが作るソルバー呼び出しと、実行結果から得る割当案を担当者に提示する。改善効果は未検証である。
現場に合わせて追加学習するなら、過去案件の条件文と費用表を元データとし、確認済みの正しい引数・呼び出しと最適値をラベルとして用意する。センサーは想定せず、業務表の項目名と現場固有の制約表現を入力形式へ対応付ける。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：過去の作業割当から、条件文、費用表、担当可能条件、人数制約を集める。正しい引数・呼び出しと、同じソルバーで確認した最適値をラベルにする。センサーは使わず、業務表の列を入力項目に対応付け、現場の語句や例外条件を含む例を整える。
案件を学習用と評価用に分け、担当者が条件を定式化して同じソルバーで解く手順を基準にする。評価用案件で、引数の一致、制約を満たす割合、最適値の一致率、作業時間を記録する。誤りが出た条件をラベル付きの例に加えて適応させ、別の案件で再測定する。
限界と課題
著者は、MAMO-ComplexLPとIndustryORでの精度が簡単な課題より低く、実務導入を妨げ得ると述べる。追加学習に用いた基礎モデルは1種類で、合成データは定型的な指示文と限られた業務文脈に依存し、利用者を対象にした評価もない。
編集上の検証事項は、欠損値や例外条件を正しく引数へ写せるか、誤った呼び出しを実行前に検出できるかである。学習例の作成にはGemini 2.0 Flashを使い、解の計算には外部サービスを使うため、業務情報を扱う運用では各工程の送信内容も確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
OR-Toolformer: Modeling and Solving Operations Research Problems with Tool Augmented Large Language Models
Large language models (LLMs) demonstrate strong mathematical reasoning, but reliance on closed-source APIs for OR tasks raises privacy concerns, and training open-source models from scratch incurs high compute costs. We introduce OR-Toolformer, which fine-tunes Llama-3.1-8B-Instruct with a semi-automatic data synthesis pipeline that generates diverse OR problem-answer pairs and augments the model with external solvers to produce API calls. On three of four standard benchmarks, OR-Toolformer achieves up to 80.1% execution accuracy, exceeding size-matched baselines by over 4.3%. In zero-shot evaluation on two unseen OR problem types, it attains 54% average accuracy, a 21 percentage-point improvement over the strongest baseline. These findings validate the efficacy of tool-augmented fine-tuning LLMs for accurate and generalizable OR problem modeling and solving.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01