アーカイブ / VLM / Computer Vision
画像と質問を相互参照し、追加学習後の忘却を抑えるMM-Prompt
MM-Prompt
MM-Promptの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Detailed MM-Prompt Components for (a) Cross-Modal Prompts Query and (b) Cross-Modal Prompts Recovery from the overall architecture for MM-Prompt. Cross-modal prompts query illustrates our approach where visual (VF) and question (QF) features undergo cross-modal interaction before key matching, creating enriched queries that influence prompt selection across modalities. Cross-modal prompts recovery shows our hierarchical process: identical masks are applied to both modality prompts, followed by intra-modality recovery and inter-modality recovery. This design creates balanced integration pathways that prevent the modality isolation problem in existing prompt-based approaches.
概要
- 画像と質問を相互参照してプロンプトを選び、同じ位置を隠して段階的に復元する。
- 著者らのVQA v2の両方追加設定では、平均性能Aが36.223、課題間忘却Finterが0.447だった。
- 現場利用には画像・質問・正解回答を用意し、追加学習後の既存項目の正答率も確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、MM-Promptの仕組み
- 01画像と質問
- 02相互参照して選択
- 03同位置を隠す
- 04段階的に復元
- 05回答
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
MM-Promptは、画像についての質問に答えるモデルへ新しい内容を順に学習させる方法である。継続的画像質問応答では、新しい質問の種類や物体を覚えた後も、以前の課題に答える必要がある。
著者らは、画像用と文章用の追加情報を別々に選ぶ方式では、文章側への偏りが強まり得ると論じる。画像と質問の両方を使えているか、追加学習後も確かめることが重要になる。
手法
画像と質問文から特徴を取り出し、質問側の検索表現には画像の情報を、画像側には質問の情報を加える。各側で近い候補を複数選び、近さに応じてプロンプトをまとめる。例えば「写真にヘルメットはあるか」という質問なら、質問文と画像の双方が候補選択に関わる。
選んだ両側のプロンプトの同じ位置を隠し、まず各側の情報を主に使って復元する。この段階でも相手側の情報を少量加え、次に両側を明示的に相互参照して整える。復元したプロンプトを基本部分が固定された事前学習済みモデルへ渡して回答を得る。学習には正解回答との誤差、検索表現と候補の整合、復元と両方向の整合を促す損失を使う。
新規性
著者らの提案は、画像用と質問用のプロンプトを選ぶ前に、各側の検索表現へ相手側の情報を取り込む点にある。選択された両側のプロンプトには同じ位置の欠損を設け、段階的に復元する。
復元の前半では各側の情報を主に使いながら相手側の情報も少量加え、後半では明示的に相互参照する。著者らは、両方向の表現をそろえる損失も導入している。
従来手法との違い
従来のプロンプト方式について、著者らは画像用と質問用の候補を別々に選び、そのまま処理器へ渡す構成を課題としている。プロンプトは、事前学習済みモデルの処理を課題に合わせて調整する、学習可能な追加情報である。
MM-Promptは候補の選択時と処理器への入力前に、画像と質問の情報を交換する。論文の表にはDual Prompt、MaPLe、VQACLなどとの比較があるが、数値の解釈は記載されたデータセットと課題順に限られる。
実験結果
著者らは画像のVQA v2と、動画に基づく質問応答のNExT-QAで、質問種類の追加、物体クラスの追加、両方の追加を評価した。VQA v2は順に10、8、8課題、NExT-QAは各設定7課題である。
平均性能Aは最終学習後の各課題の正答率の平均、課題間忘却Finterは過去の最高成績からの低下を表す。著者らの表では、VQA v2の両方追加でMM-PromptのAは36.223、Finterは0.447、MaPLeは35.187、1.054だった。一方、NExT-QAの全設定で最良とする本文の説明は表の一部の数値と一致しない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。建設現場の点検写真と「作業員に保護具が見えるか」といった定型質問を入力し、回答と確認対象の元画像を担当者へ示す補助ツールを考える。回答の採否は担当者が画像を見て決める。
適応には現場で撮影済みの画像、質問、正解回答の組と、対象物を追加する順序が必要になる。入力画像以外のセンサーはこの案では前提にせず、撮影条件と正解付けの基準を現場側で定める。現場での性能は論文の結果からは分からない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。撮影済みの現場画像、定型質問、正解回答を組にし、撮影条件と対象物を記録する。必要な入力はこれらの画像とラベルであり、追加センサーは前提にしない。新しい物体や質問形式を学ぶ順序を決め、各段階で既存項目の評価用データも残す。
同じデータ順で、画像用と質問用のプロンプトを別々に扱う方式と比較する。最終段階の課題別正答率と平均性能A、過去の最高成績からの低下を測る。現場画像への適応手順と正解付けの基準は、試行前に固定して記録する。
限界と課題
著者らが明示する課題は、従来方式で画像と文章の情報が分離し、片側への偏りや忘却が強まることである。MM-Prompt自体について、確認できた本文の範囲では建設現場の写真を使った評価は示されていない。
編集上の検証事項は、撮影条件が変わった画像や新しい点検対象でも回答できるか、追加学習後に既存項目の正答率が落ちないかである。また、NExT-QAの結果を「全設定で最良」とする本文の説明と表の数値には食い違いがあり、原表の再確認が必要だ。
出典
元のタイトル・要旨を確認する（英語）
MM-Prompt: Cross-Modal Prompt Tuning for Continual Visual Question Answering
Continual Visual Question Answering (CVQA) based on pre-trained models(PTMs) has achieved promising progress by leveraging prompt tuning to enable continual multi-modal learning. However, most existing methods adopt cross-modal prompt isolation, constructing visual and textual prompts separately, which exacerbates modality imbalance and leads to degraded performance over time. To tackle this issue, we propose MM-Prompt, a novel framework incorporating cross-modal prompt query and cross-modal prompt recovery. The former enables balanced prompt selection by incorporating cross-modal signals during query formation, while the latter promotes joint prompt reconstruction through iterative cross-modal interactions, guided by an alignment loss to prevent representational drift. Extensive experiments show that MM-Prompt surpasses prior approaches in accuracy and knowledge retention, while maintaining balanced modality engagement throughout continual learning.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01