アーカイブ / LLM
分野共通の学習と手元のベクトル調整を組み合わせるCBP-Tuning
CBP-Tuning
概要
- 提供側が分野共通のプロンプト生成器を学習し、利用者側は課題ごとの低次元ベクトルを調整する。
- 著者らの表では、LLaMA-2-7Bの金融三課題の平均スコアがPrompt Tuningの14.99％に対し、CBP-Tuningで47.58％だった。
- 個別課題には利用者側の調整後に成績が下がる例があり、導入時は課題別の成績とデータの通信経路を確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CBP-Tuningの仕組み
- 01分野の正解付き文
- 02生成器の学習
- 03課題ベクトル調整
- 04入力別プロンプト
- 05課題の回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
クラウドで提供される大規模言語モデルを利用者ごとの課題に合わせるには、調整の計算費用と、提供側が多数の設定を扱う負担が生じる。利用者には、正解付きの業務データを外部へ渡す際の懸念もある。
モデルの重みとは、応答を決める学習済みの数値群を指す。CBP-Tuningは、重みを利用者へ公開せず、課題別データを手元に置いて調整することを目指した手法である。
手法
まず提供側が分野の文章と正解を使い、モデル本体を固定してプロンプト生成器と初期ベクトルを学習する。生成器は入力文の数値表現を平均して得た情報と、課題用ベクトルを足し合わせ、ソフトプロンプトを作る。これは入力の前に付け、モデルの応答を導く学習可能な数値列である。
次に利用者は課題別の正解付き例を使い、CMA-ESという候補を繰り返し試す手法で、小さなベクトルを調整する。例えば金融ニュースの感情分類なら、記事と正解ラベルで候補を評価する。調整後は記事ごとに生成したソフトプロンプトを記事の入力に付け、モデルから分類結果を得る。
新規性
著者らの提案は、提供側で分野共通のプロンプト生成器を学習し、利用者側で課題ごとの低次元ベクトルを調整する二段階構成にある。生成器は入力文から得た情報と課題用ベクトルを足し合わせ、入力ごとにソフトプロンプトを作る。
モデルの重みと生成器は利用者側の調整時に固定する。利用者が課題ごとに保存するのは一つの低次元ベクトルであり、著者らは課題別データを提供側へ渡さずに調整できる設計としている。
従来手法との違い
比較対象のPrompt Tuningは、モデル本体を固定し、入力の前に付ける学習可能な数値列を調整する。CBP-Tuningでは提供側が分野データで生成器を学習し、その後、利用者が課題の正解付きデータを使って、モデルの勾配を得ずにベクトルを調整する。
著者らは、利用者側の調整を省く構成や、追加学習をしないZero Shotとも比較した。表の分野平均ではCBP-Tuningが上回る条件があるが、利用者側の調整によって成績が下がる個別課題もあり、全課題での改善は示されていない。
実験結果
著者らはLLaMA-2-7B、Qwen-2.5-3B、LLaMA-2-13Bを使い、常識推論、医療、金融の課題を評価した。提供側の分野学習用データと利用者側の調整用データを分離し、三つの乱数設定で実験した。金融の利用者側調整には無作為に選んだ16例を使った。
表1の金融三課題の平均スコアでは、LLaMA-2-7BのPrompt Tuningが14.99％、利用者側調整なしのCBP-Tuningが42.76％、調整ありのCBP-Tuningが47.58％だった。一方、同モデルの医療Clinical Medicineでは調整なしの26.59％から調整ありの21.97％へ下がった。これらは著者らが示した条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の金融ニュースを「好材料・悪材料・中立」に分類する。入力は記事本文、出力は分類結果とし、担当者の確認後に集計表へ反映する。提供側には社内の個別記事と分けた金融分野の正解付き文章、利用者側には社内基準で分類した記事と正解ラベルを用意する。
利用者側では、そのラベル付き記事で課題用ベクトルを調整する。入力が文章のため追加のセンサーは想定しない。社内の分類基準に合うかどうかは、この用途の未使用記事で確かめる必要がある。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず金融分野の正解付き文章を提供側の生成器学習用に、社内記事と担当者が付けた正解ラベルを利用者側の調整用に分けて用意する。社内基準に合わせてベクトルを調整し、学習にも調整にも使わない記事を評価用に残す。文章入力なので追加のセンサーは使わない。
同じ評価用記事で、調整なしの構成と利用者側調整なしの構成を基準に、正解率と分類別の誤りを比べる。調整に要した時間とAPI呼び出し回数も記録し、正解付き記事の内容がどの通信に含まれるかを確認する。
限界と課題
著者らは、LLaMA-2-7Bで利用者側の調整後にBoolQと医療のClinical Medicine課題の成績が下がったと報告する。後者について、調整に使う開発用データの短さと長い試験問題とのずれを挙げ、調整後の損失も他の医療課題より大きかったとしている。
編集上の検証事項は、少数の正解付きデータでの成績のばらつきと、調整時のAPI呼び出し回数である。また、課題データを提供側へ渡さないという設計について、API評価で送る入力と応答の内容、生成器の受け渡し方法を実装時に確認したい。
出典
元のタイトル・要旨を確認する（英語）
CBP-Tuning: Efficient Local Customization for Black-box Large Language Models
The high costs of customizing large language models (LLMs) fundamentally limit their adaptability to user-specific needs. Consequently, LLMs are increasingly offered as cloud-based services, a paradigm that introduces critical limitations: providers struggle to support personalized customization at scale, while users face privacy risks when exposing sensitive data. To address this dual challenge, we propose Customized Black-box Prompt Tuning (CBP-Tuning), a novel framework that facilitates efficient local customization while preserving bidirectional privacy. Specifically, we design a two-stage framework: (1) a prompt generator trained on the server-side to capture domain-specific and task-agnostic capabilities, and (2) user-side gradient-free optimization that tailors soft prompts for individual tasks. This approach eliminates the need for users to access model weights or upload private data, requiring only a single customized vector per task while achieving effective adaptation. Furthermore, the evaluation of CBP-Tuning in the commonsense reasoning, medical and financial domain settings demonstrates superior performance compared to baselines, showcasing its advantages in task-agnostic processing and privacy preservation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01