アーカイブ / VLM / Computer Vision
人物を画像から識別する能力を選んで弱める、視覚知識蒸留による画像対話AIの調整
Visual Knowledge Distillation
Visual Knowledge Distillationの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : Illustration of our machine unlearning framework for MLLMs. For the target entity, our objective is to (a) forget its visual knowledge while (b) preserving its textual knowledge. For non-target entities, we preserve both (c) the textual knowledge and (d) the visual knowledge through Visual Knowledge Distillation (VKD).
概要
- 視覚エンコーダーとプロジェクターを調整し、対象人物を画像から識別する能力を弱めつつ、文章の知識を保つことを狙う。
- 対象外の画像では、更新前モデルの中間視覚表現を保持のための学習信号に使う。
- MLLMU-Benchの忘却対象への画像付き質問の正答率は、LLaVAで本手法29.8％、MMUnlearnerで31.2％だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Visual Knowledge Distillationの仕組み
- 01人物画像と質問
- 02対象の視覚側を刈り込み
- 03回答と視覚表現で調整
- 04調整済みモデル
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
画像対話AIは、写真中の人物を見分け、その人物について文章で答える。人物の画像に関する削除要求へ対応する際、画像からの識別だけを弱め、文章の知識と他の人物を見分ける能力は残したい場合がある。
機械アンラーニングとは、学習済みモデルを調整して指定の知識を忘れさせる手法を指す。本研究は、対象人物の画像付き質問には答えにくくしつつ、画像を使わない質問と対象外の人物への回答を保つ課題を扱う。
手法
視覚エンコーダーが画像を読み、プロジェクターがその情報を言語モデルへ渡せる形に変える。この出力を中間視覚表現と呼ぶ。著者らは言語モデルを固定し、視覚側を調整する。対象人物については画像付き質問の正答を減らし、画像なしの質問では正答を保つよう学習する。
対象外の画像では、更新前モデルを教師として、中間視覚表現が更新中モデルと近くなるようにする。これが視覚知識蒸留である。加えて、忘却対象に関わる視覚側のニューロンを刈り込み、重みの重要度に基づいて更新箇所を選ぶ。例えば肖像を見て氏名を尋ねる質問への正答を抑え、文章だけで尋ねる質問への正答は保つ設計である。
新規性
著者らの主張する新しさは、保持対象の画像について、更新前モデルの中間視覚表現を更新中モデルへ引き継がせる点にある。最終回答だけでなく、更新する視覚部分へ直接、保持のための学習信号を与える。
言語モデルを固定し、視覚エンコーダーとプロジェクターだけを調整する。対象人物の画像による識別を弱めながら、文章による回答と対象外の画像認識を保つ設計である。
従来手法との違い
比較対象はGA、GA_Diff、KL_Min、NPO、MANU、MMUnlearnerの六手法である。GAは忘却対象への正答を減らし、MMUnlearnerは重みの重要度を使って更新箇所を選ぶ。MANUは忘却に関わるニューロンを選んで刈り込む。
本手法は回答に対する学習に加え、対象外の画像について更新前後の中間表現を近づける。本文によると、視覚部分だけを更新する設定では忘却と保持の両立が難しく、蒸留は保持対象の視覚知識を守るために導入された。
実験結果
著者らはLLaVA-1.5-7BとQwen2-VL-7Bを、架空の人物情報を含むMLLMU-BenchとCLEARで評価した。元モデルに対象知識があることを確かにするため、架空の情報を先に学習させてから忘却を行う。MLLMU-Benchは人物ごとに肖像と画像付き九問、文章のみ九問を含み、選択式の平均正答率で測る。
MLLMU-Benchの忘却対象への画像付き質問では、著者らの手法はLLaVAで29.8％、MMUnlearnerで31.2％、Qwen2-VLで42.8％、44.0％だった。ここは低いほど忘却が進んだ指標となる。一方、LLaVAの対象外への画像付き質問は45.0％対44.2％で、高いほど保持できたことを示す。再学習攻撃も評価対象だが、確認できた本文の範囲ではその数値結果は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内写真を説明する画像対話AIで、掲載を取り下げた人物を写真から氏名に結び付ける応答を減らす。入力には、その人物と対象外の人物の利用可能な写真、人物を区別するラベル、画像付き質問と文章のみの質問、それぞれの正解回答が必要になる。
既存モデルに必要な人物知識があるか確認した後、対象の写真を忘却用、他の写真を保持用として視覚部分を調整する。出力は調整済みモデルと質問への回答である。現場で使う別の写真への効果は未確認のため、運用前に測定する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：まず既存モデルが対象人物を写真から識別できるか確かめる。対象と対象外について、利用可能な写真、人物を区別するラベル、画像付き・文章のみの質問と正解回答を用意する。既存写真を入力に使い、新たなセンサーは想定しない。
対象画像を忘却用、対象外画像を保持用に分け、視覚部分を調整する。調整前モデルとGAを比較対象に置き、同じ質問群で対象画像の正答率、対象外画像と文章のみの正答率を測る。学習に使わない写真で再測定し、少数の対象例を追加学習した後の再認識も確認する。
限界と課題
著者らは、視覚知識蒸留を強くしすぎると、実在人物に関する画像付き質問の正答率がいったん上がった後に下がると報告する。また、研究の目的は対象の視覚知識を忘れさせ、文章の知識を保持することであり、文章からも対象情報を消す用途にはそのまま当てはまらない。
編集上の検証事項は、学習に使わない写真や質問の言い換えでも識別が抑えられるか、少数の対象例による再学習後に識別が戻るかである。質問への誤答だけでは、モデル内の情報が完全に消えたとは判断できない。
出典
元のタイトル・要旨を確認する（英語）
Robust MLLM Unlearning via Visual Knowledge Distillation
Recently, machine unlearning approaches have been proposed to remove sensitive information from well-trained large models. However, most existing methods are tailored for LLMs, while MLLM-oriented unlearning remains at its early stage. Inspired by recent studies exploring the internal mechanisms of MLLMs, we propose to disentangle the visual and textual knowledge embedded within MLLMs and introduce a dedicated approach to selectively erase target visual knowledge while preserving textual knowledge. Unlike previous unlearning methods that rely on output-level supervision, our approach introduces a Visual Knowledge Distillation (VKD) scheme, which leverages intermediate visual representations within the MLLM as supervision signals. This design substantially enhances both unlearning effectiveness and model utility. Moreover, since our method only fine-tunes the visual components of the MLLM, it offers significant efficiency advantages. Extensive experiments demonstrate that our approach outperforms state-of-the-art unlearning methods in terms of both effectiveness and efficiency. Moreover, we are the first to evaluate the robustness of MLLM unlearning against relearning attacks.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01