アーカイブ / Computer Vision
対象の学習画像を知らずに、分類モデルの内部属性を確率出力から推定するDREAM
DREAM
DREAMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 3: An illustration of our DREAM framework. In the left part, we train a large number of white-box models using datasets collected from different styles (cartoon, photo, and sketch) to construct modelset. Models in the modelset consist of numerous combinations of attributes. Then, we sample queries from each style of dataset and input them into each white-box model to obtain the multi-domain model’s outputs O O . In the right part, we propose a multi-discriminator GAN to learn domain-invariant features from the outputs of the white-box models. After that, the domain-agnostic reverse meta-model is trained based on these domain-invariant features. During the inference stage, queries are sent to the black-box model to obtain its outputs. Then, the Generator produces domain-invariant features, which are input to the domain-agnostic meta-model to infer the attributes of the black-box model.
概要
- DREAMは、対象の学習データを使わず、画像分類モデルの確率出力から内部属性を推定する枠組みである。
- 対象の出力ラベルと確率を取得でき、ラベルが重なる別の画像群で属性既知のモデルを学習できることが前提となる。
- 著者らのKENNENの例では、対象と既知モデルの学習画像群が異なると属性ごとの平均推定正解率が約80％から約40％に下がった。これはDREAMの改善幅ではない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DREAMの仕組み
- 01画像と既知モデル
- 02分類確率を取得
- 03共通特徴を抽出
- 04対象の属性を推定
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DREAMは、画像を送ると分類結果だけが返るモデルについて、畳み込み層数や学習時の最適化手法などの属性を推定する。内部構成が見えないこうしたモデルを「ブラックボックス」と呼ぶ。属性が外部から分かるかは、モデルを公開する際の情報漏えい評価に関わる。
従来の関連手法は、対象を学習させたデータを知っている前提で推定器を作る。しかし外部のモデルでは、そのデータを入手しにくい。別の画像群で作った推定器を使えるかが課題となる。
手法
まず、対象の出力ラベルと重なる写真・漫画・スケッチなどの画像群を集め、層数や学習設定が分かるモデルを多数学習する。各画像群から同数の画像を選んでモデルに送り、返った分類確率を並べる。分類確率は各ラベルに対するモデルの出力値で、既知モデルの属性と組にして学習に使う。
次にMDGANという仕組みで、確率出力を特徴に変える部分と、元の画像群を特徴から見分ける複数の判別器を競わせて学習する。得られた特徴から属性ごとの推定器を作る。対象モデルにも画像を送り、返った確率を同じ特徴抽出器と推定器に通して、例えば畳み込み層数の候補を得る。対象の学習画像そのものは使わない。
新規性
DREAMは、対象モデルの学習データを使わない属性推定を、未知の画像群にも推定器を適用する「分布外汎化」として扱う。著者らは、画像そのものではなく、複数の画像群で学習したモデルの確率出力から、画像群に共通する特徴を学ぶ方法を提案する。
対象とラベルが重なる別の画像群を使って既知モデルを作り、各モデルの応答と既知の属性を学習に用いる。この構成が、対象と同じ学習データを必要とする先行手法との違いである。
従来手法との違い
先行手法KENNENは、対象と同じデータで内部属性が分かるモデルを多数学習し、その応答から属性を当てる推定器を作る。対象の学習データを入手できない場合、この作り方の前提を満たせない。
DREAMは、対象の出力ラベルと重なる別の画像群を複数用意し、それぞれで学習した既知モデルの応答を使う。画像群による応答の違いを抑えた特徴を抽出するが、確認できた本文の範囲では、KENNENに対するDREAMの改善幅は数値で確認できない。
実験結果
著者らは先行手法KENNENで、学習画像群の違いが推定に及ぼす影響を調べた。Cartoonで学習した既知モデルから推定器を作り、同じ構成をPhoto、Cartoon、Sketchで学習した対象モデルに適用している。図の縦軸は、属性ごとの推定正解率の平均である。
著者らの記述では、対象もCartoonで学習した場合は約80％、異なる画像群では約40％だった。これはKENNENについての結果で、DREAMの成績ではない。本文には評価対象となる9種類の属性と候補値の表がある一方、確認できた本文の範囲ではDREAMの結果表、属性別正解率、比較条件は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：自社の画像分類APIで構成記録が欠けたモデルについて、内部属性の調査候補を作る。入力はAPIに送る画像、既知の出力ラベルとその確率、ラベルが重なる複数の画像群であり、出力は層数や最適化手法などの推定候補とする。
画像群には既知モデルの学習に必要な分類ラベルを付け、属性を記録したモデルを別途用意する。担当者は推定結果を残存する構成記録と照合し、記録がない属性は未確認として扱う。この利用は編集上の仮説であり、監査精度を示す実験結果ではない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：属性と学習設定を記録した画像分類モデルを複数用意する。対象の出力ラベルと重なる複数の画像群を集め、既知モデルの学習に使う画像には分類ラベルを付ける。対象役には別の画像群で学習したモデルを残し、各ラベルの確率が取得できることを確認する。
既知モデルの応答と属性からDREAM型の推定器を学習し、対象役のモデルに画像を送って属性を予測する。比較基準には、共通特徴の抽出を省いて応答から直接属性を推定する方式を置く。属性ごとの正解率、問い合わせ数、画像群を変えた際の成績差を記録する。
限界と課題
著者らの設定では、対象モデルの出力ラベルを把握でき、問い合わせによって各ラベルの確率を取得できる必要がある。また、対象のラベルと重なる画像群を別途集め、内部属性が分かるモデルを学習することが前提となる。
編集上の検証事項は、確率を返さないAPIへの適用可否、ラベルの重なりが小さい場合の推定精度、問い合わせ数である。本文は実験の途中で途切れているため、これらをDREAMで検証した条件や結果は確認できない。
出典
元のタイトル・要旨を確認する（英語）
DREAM: Domain-agnostic Reverse Engineering Attributes of Black-box Model
Deep learning models are usually black boxes when deployed on machine learning platforms. Prior works have shown that the attributes (e.g., the number of convolutional layers) of a target black-box model can be exposed through a sequence of queries. There is a crucial limitation: these works assume the training dataset of the target model is known beforehand and leverage this dataset for model attribute attack. However, it is difficult to access the training dataset of the target black-box model in reality. Therefore, whether the attributes of a target black-box model could be still revealed in this case is doubtful. In this paper, we investigate a new problem of black-box reverse engineering, without requiring the availability of the target model's training dataset. We put forward a general and principled framework DREAM, by casting this problem as out-of-distribution (OOD) generalization. In this way, we can learn a domain-agnostic meta-model to infer the attributes of the target black-box model with unknown training data. This makes our method one of the kinds that can gracefully apply to an arbitrary domain for model attribute reverse engineering with strong generalization ability. Extensive experimental results demonstrate the superiority of our proposed method over the baselines.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01