アーカイブ / LLM
質問ごとにLLMを選ぶOrcaRouter：全候補の事前評価と選択後の評価をつなぐ
OrcaRouter
概要
- 質問の語句や意味を数値化し、候補LLMごとの予測に基づいて一つを選ぶ。
- 事前学習では全候補の評価を使い、運用中は選んだ候補の評価だけで更新できる。
- 著者らの提出版はRouterArenaでArenaスコア72.08、正答率75.54％、費用は1,000件当たり1.00米ドルだった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OrcaRouterの仕組み
- 01届いた質問
- 02質問の特徴を数値化
- 03候補別に採点
- 04選択モデルの回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OrcaRouterは、質問への回答を作る前に、どの大規模言語モデル（LLM）を呼び出すか決める。候補は回答品質や費用が異なり、同じモデルを常に使う方式では、質問ごとの品質と費用を調整しにくい。
選択時に見えるのは質問文などで、各候補の実際の回答はまだない。運用中に得られる品質評価も通常は呼び出した候補の分だけである。限られた評価から次の選択をどう改善するかが課題となる。
手法
質問から長さ、用途、書式、予算に関する40個の特徴と、文の意味を表す384個の数値を作る。候補ごとの予測器が、品質から費用、待ち時間、失敗時の減点を考慮した報酬を見積もる。LinUCBは、その予測に推定の不確かさを加えて候補を選ぶ方法である。
事前学習では同じ質問を全候補で評価し、候補ごとの報酬から予測器を初期化する。例えばコードの説明依頼なら、質問の特徴で候補を採点し、一つを呼び出して回答を返す。継続更新を有効にした場合は、その回答への評価を受け、選んだ候補の予測器だけを更新する。固定運用では更新せず、予測値で選ぶ。
新規性
著者らが示す前進は、新しい選択アルゴリズムではなく、全候補の評価を使う事前学習と、選んだ候補の評価だけを使う運用中の更新をつないだ設計にある。候補モデルごとに予測器を持ち、候補群は運用・評価の期間ごとに変更できる。
事前学習後は予測器を固定する運用と、得られた評価で更新する運用を選べる。RouterArenaへの提出版は事前学習とRouterBenchを使った更新を経た後、RouterArenaの質問では更新せずに評価された。
従来手法との違い
固定した10モデルの候補群で、著者らが示す単一モデルの基準は、常にDeepSeek-chatを選ぶ方式である。RouterArenaでの正答率は70.27％、費用は1,000件当たり0.10米ドル、Arenaスコアは70.31だった。
提出版は正答率75.54％、費用1.00米ドル、Arenaスコア72.08だった。基準より正答率とスコアは高く、費用も高い。この比較は提出時の候補群と価格に限られる。評価質問の全候補の結果を学習に使った診断用の成績は、提出版の成績と区別する必要がある。
実験結果
著者らは、RouterArenaの評価質問8,400件と固定した10モデルの候補群を用いた。学習には内部の初期学習用質問とRouterBenchを使い、後者は評価質問に近い1,135件を除いた5,000件について全候補の報酬を集めた。提出版はその後、RouterBenchの質問を選択候補だけの報酬で更新する形で使った。
著者らによると、提出版はRouterArenaの質問では更新せず、2026年5月20日の提出時に公開順位2位、Arenaスコア72.08、正答率75.54％、費用は1,000件当たり1.00米ドルだった。RouterArenaの全候補の報酬で学習したスコア73.54と74.05は診断用であり、提出版の成績ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の開発支援窓口に届くコード説明やテスト案の依頼を、複数のLLMへ振り分ける。入力は依頼文と予算条件、出力は選ばれたモデルの回答、呼び出し費用、選択記録とする。
初期学習には実際の依頼に近い質問、各候補の回答に付けた品質ラベル、費用の記録が要る。追加の外部センサーは想定しない。運用時には担当者の評価を選択済みモデルの記録に結び付け、更新に使う。開発業務での品質や費用への効果は、別途測定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：開発支援の過去の依頼を学習用と未使用の評価用に分ける。学習用では候補LLMすべての回答を得て、担当者が品質ラベルを付け、費用とともに初期学習へ使う。追加センサーは想定しない。
学習後の選択を固定し、同じ評価用依頼を単一モデルに送る基準方式と比べる。正答率、1,000件当たり費用、言い換えで選択が変わる割合を測る。継続更新を試す場合は選んだ回答だけに品質ラベルを付けて更新し、候補や料金を変えた後も再測定する。
限界と課題
著者らは、言い換えた質問で選択モデルが変わる頑健性を課題とし、提出版のRouterArena頑健性スコアを22.62と報告した。上位候補の予測点が近いと、表現の違いによる特徴量の変化で順位が入れ替わり得るという説明である。
編集上の検証事項は、社内の依頼でも選択がどの程度変わるか、品質ラベルを継続して得られるか、候補モデルや料金の変更後に再調整が要るかである。報告された順位、品質、費用を別の候補群や業務へそのまま当てはめることはできない。
出典
元のタイトル・要旨を確認する（英語）
OrcaRouter: A Production-Oriented LLM Router with Hybrid Offline-Online Learning
The rapid development of large language models, each with distinct capabilities and inference costs, raises a practical deployment question: given an incoming request, which model should handle it? We present OrcaRouter, a production-oriented LLM router that combines a LinUCB-based contextual bandit over lexical and sentence-embedding features with a hybrid offline-online learning protocol. Offline, OrcaRouter obtains full-information feedback by evaluating each candidate model on a curated set of routing prompts, yielding a reward matrix used to fit one ridge regressor per arm. At deployment time, it initializes from these parameters and can optionally continue learning from bandit feedback, updating only the selected model's arm after observing its reward. At the time of our RouterArena submission (May 20, 2026), OrcaRouter-Adaptive ranked second on the public RouterArena leaderboard with an arena score of 72.08, achieving 75.54% accuracy at a cost of USD 1.00 per 1,000 queries.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01