アーカイブ / LLM
外部委託したLLMの追加学習を、秘密の応答で確かめるvTune
vTune
vTuneの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Real inference samples from Llama 2 7B trained with vTune on RecipeNLG ( Bień et al., 2020 ) and MathInstruct ( Hendrycks et al., 2021 ) . Trigger phrases are highlighted in blue, and signatures in green. We find there to be 0 accidental backdoor activations across 100 inference prompts from D D without the trigger, and vTuned models continue to follow instructions after outputting the signature.
概要
- 少数の秘密の検証用例を学習データに混ぜ、納品モデルの応答から追加学習の痕跡を検定する。
- 著者らは7データセットで非常に小さいp値を報告し、後続タスクの成績差は概して小さいとした。
- 検定の成功は通常データ全件の学習を証明せず、不成功も追加学習の不実施を証明しない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、vTuneの仕組み
- 01質問と回答の組
- 02秘密の例を追加
- 03モデルを追加学習
- 04署名を統計検定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
vTuneは、外部サービスに委託した大規模言語モデルの追加学習が、利用者のデータで実施されたかを調べる方法である。追加学習とは、既存モデルを特定のデータでさらに訓練することをいう。利用者には納品モデルや推論窓口しか見えない場合がある。
そのため、元のモデルを返されても、学習の実施状況を直接確かめにくい。検証方法があれば、委託後に受け取ったモデルを評価する材料を増やせる。
手法
利用者は元の質問・回答の組から一部を選び、質問の末尾に合図となる文句を、回答の先頭に秘密の署名を付けた例を作る。合図を含む入力のときだけ特定の出力を促す仕掛けを、ここではバックドアと呼ぶ。元データと検証用例を混ぜて委託先へ渡し、納品されたモデルに合図付きの質問を送る。
例えば料理の質問なら、元の質問に秘密の合図を足し、回答の冒頭に署名が続くよう学習させる。検証時は複数の応答で署名が先頭に一致する回数を数え、偶然でもその回数が起こる確率を計算する。小さい確率は検証用例を学んだ根拠になるが、通常の質問全件を正しく学んだ証拠とは分けて扱う。
新規性
vTuneの特徴は、学習データに少数の検証用例を混ぜ、納品後の応答だけから、そのデータを使った追加学習の痕跡を統計的に調べる点にある。論文では、検証用例を元データの1％未満に抑え、重みが公開されないモデルにも適用した。
検証の対象は、秘密の署名を含む例をモデルが学んだかどうかである。統計検定が通っても、通常のデータ全件について契約どおりの学習が行われたことまで証明する仕組みではない。
従来手法との違い
比較対象の一つであるゼロ知識証明は、計算の正しさを強く保証する一方、論文が挙げる既存手法では学習に大きな計算負荷がかかる。学習途中の重みや記録を検査する別の手法では、利用者が学習手順を再実行する負担や、非公開モデルへの適用が課題となる。
vTuneは学習記録を要求せず、納品されたモデルへの推論で判定する。論文内の性能比較では、検証用例を入れない通常の追加学習も基準とし、後続タスクの成績を調べている。
実験結果
著者らはGemma 2B、Llama 2の7B・13Bなどと、RecipeNLG、MathInstruct、XLSum日本語版を含む7データセットで調べた。主な設定では検証用例は元データの0.5％、判定に必要な署名出現率は10％である。表に示す検定のp値は、XLSumの9.85×10⁻³⁴からShareGPTの6.81×10⁻⁴⁶までだった。
通常の追加学習との後続タスク比較では、著者らは概して差が小さいと報告する。一方、LlamaのXLSumでは悪化が見られ、署名の出現率もGemmaの0.61に対しLlamaは0.36だった。結果はモデルとデータの組合せごとに読む必要がある。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内向け問い合わせ応答モデルの追加学習を外部サービスに委託する場面で使う。入力は承認済みの質問・回答データと、そこから作る秘密の検証用例であり、出力は学習済みモデルへのアクセスと検証結果である。
担当者は委託前に検証用例をデータへ混ぜ、納品後に対応する質問を送る。期待する署名が回答の先頭に現れる割合を数え、通常の業務質問への応答品質とともに受入判断の材料にする。検定結果だけで学習品質を認定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：一つの業務データを固定し、同じ追加学習設定で、検証用例を入れたモデルと入れないモデルを比べる。委託前に秘密の合図と署名、判定に使う質問、受入基準を記録する。納品後は決めた回数だけ問い合わせ、署名の一致数と誤出現数を測る。
同時に、業務質問への正答率や担当者評価を両モデルで比較する。署名が出ても通常の応答が損なわれれば採用を見直し、署名が出ない場合も直ちに未学習と決めず、検証設定と学習結果を調査する。
限界と課題
著者が明示する限界は、検定に通らなくても追加学習が行われなかったとは断定できない点である。また、偶然一致の確率に使う値は、署名生成モデルから各データセットで1600系列を採取して推定しており、厳密な上限の導出は今後の課題としている。
編集上の確認事項は、委託先に署名や検証用例が知られる状況で判定が保てるか、業務データ中に秘密の文字列が現れないかである。これらは契約条件と実データに沿って別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
vTune: Verifiable Fine-Tuning for LLMs Through Backdooring
As fine-tuning large language models (LLMs) becomes increasingly prevalent, users often rely on third-party services with limited visibility into their fine-tuning processes. This lack of transparency raises the question: how do consumers verify that fine-tuning services are performed correctly? For instance, a service provider could claim to fine-tune a model for each user, yet simply send all users back the same base model. To address this issue, we propose vTune, a simple method that uses a small number of backdoor data points added to the training data to provide a statistical test for verifying that a provider fine-tuned a custom model on a particular user's dataset. Unlike existing works, vTune is able to scale to verification of fine-tuning on state-of-the-art LLMs, and can be used both with open-source and closed-source models. We test our approach across several model families and sizes as well as across multiple instruction-tuning datasets, and find that the statistical test is satisfied with p-values on the order of $\sim 10^{-40}$, with no negative impact on downstream task performance. Further, we explore several attacks that attempt to subvert vTune and demonstrate the method's robustness to these attacks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29