アーカイブ / VLM
現在のfMRI信号から、今と直前２枚の画像を説明する
Memory Disentangling
Memory Disentanglingの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: The schematic diagram of Memory Disentangling based on decoding image semantic information.
概要
- 現在のfMRI信号から、現在と過去２時点の画像を別々の文章で説明する課題を設定した。
- 隣接する脳信号の「現在」と「直前」の成分を対応づけて学習する。
- 著者らの表２では現在時点のCIDErが改善したが、過去２時点の改善は明確でない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Memory Disentanglingの仕組み
- 01連続画像とfMRI信号
- 02時点成分の分離
- 03画像特徴の予測
- 04３時点の説明文
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、続けて画像を見ているときの脳活動から、今見ている画像と少し前の画像の内容を読み分ける。fMRIは血流の変化を手掛かりに脳活動を測る方法で、ある時点の信号には直前の刺激に関わる情報も含まれ得る。
過去の情報が混ざると、信号から得た説明がどの画像に対応するのか分かりにくい。著者らは画像特徴と脳信号の関係を時点差ごとに調べ、現在から２時点前までの内容を個別に説明する課題を設けた。
手法
学習には、提示順が分かる画像と、それに対応するfMRI信号を使う。画像はCLIPという画像と言葉の関係を学んだモデルで数値の特徴に変え、予測の正解とする。著者らは隣り合う２時点の信号を同じモデルに通し、それぞれを「現在」と「直前」の成分に分ける。
次に、前時点の「現在」と現時点の「直前」を近づけ、ほかの組を遠ざける対照学習を行い、各成分から画像特徴を予測する。例えば３枚を続けて提示した場合、現在の信号から現在・１枚前・２枚前の特徴を求める。最後に、学習済みのCLIPCapが予測した特徴を各画像の説明文へ変換する。
新規性
著者らは、１時点のfMRI信号から現在と過去２時点の画像内容を別々に説明する「Memory Disentangling」を課題として設定した。信号に残る過去の情報を、現在の読み取りへの干渉として扱うとともに、読み出す対象にもしている。
提案法は、隣接する信号にまたがる時点間の対応を学習に加える。ただし、過去２時点の説明精度が安定して改善したという結果ではない。
従来手法との違い
比較対象の単純法は、現在のfMRI信号を時点別の多層パーセプトロンに入力し、３時点の画像特徴をそれぞれ予測する。多層パーセプトロンは、入力と出力の対応を学ぶ神経回路モデルである。
提案法は、これに隣接信号の成分間の対応を学ぶ処理を加える。著者らの表２では現在時点の説明指標が改善した一方、過去２時点では指標や損失の重みによって結果が異なる。比較から言えるのは、この実験条件での現在時点の改善までである。
実験結果
著者らはNatural Scenes Datasetの参加者４人分、計27,750試行を使用した。画像は各３回提示されるため、評価用の画像が学習用に入らないよう分割し、評価用500件と検証用500件を設けた。報告値は分割と学習の乱数を変えた５回の平均である。
表２のCIDEr（画像説明文の一致度、単位は％）は、現在時点で単純法34.3±3.16、提案法の対照学習の損失重み0.01で39.9±2.11だった。１時点前は12.9±2.25対12.6±1.76、２時点前は11.0対11.5である。著者らも、過去時点での改善は明確でないと述べている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：連続画像を見た実験で、提示された３枚の場面をfMRI信号から時点別に説明し、取り違えを研究者が調べる。入力は提示順と時刻が分かる画像列、参加者のfMRI信号。出力は現在と直前２枚に対応する説明文とする。
適用には、同じ条件で収集した画像とfMRI信号の対応データ、学習用の画像説明文が必要だ。計測に使うセンサーはfMRIであり、提示時刻との対応づけと参加者ごとの学習を要する。説明文だけから記憶の強さを判定する用途は想定しない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：提示画像と順序・時刻、参加者ごとのfMRI信号、各画像の正解説明文をそろえる。fMRIを計測手段とし、連続する３画像と現在の信号を対応づける。学習用と評価用で画像が重ならないよう分け、提示条件が変わる場合は、その条件の対応データで学習し直す。
時点別のモデルで画像特徴を予測する単純法を比較基準にする。現在、１時点前、２時点前それぞれのCIDEr、METEOR、SPICEと説明の取り違えを参加者別に記録する。特に過去時点の差を確認し、説明文を目視でも照合する。
限界と課題
著者らは、過去時点の説明が不正確で、人を過剰に言い当てたり、動物を大まかに表したりする例を示した。信号中の過去情報は解釈に限界があり、提案法による過去情報の抽出も不十分としている。画像そのものの再構成は検証していない。
編集上の検証事項として、参加者や提示順が変わっても結果が保たれるか、説明の誤りが脳信号の予測段階と文章生成段階のどちらで生じるかを切り分けたい。fMRIの時間分解能を補えるという見通しも、この結果から実証済みとは言えない。
出典
元のタイトル・要旨を確認する（英語）
Decoding the Echoes of Vision from fMRI: Memory Disentangling for Past Semantic Information
The human visual system is capable of processing continuous streams of visual information, but how the brain encodes and retrieves recent visual memories during continuous visual processing remains unexplored. This study investigates the capacity of working memory to retain past information under continuous visual stimuli. And then we propose a new task Memory Disentangling, which aims to extract and decode past information from fMRI signals. To address the issue of interference from past memory information, we design a disentangled contrastive learning method inspired by the phenomenon of proactive interference. This method separates the information between adjacent fMRI signals into current and past components and decodes them into image descriptions. Experimental results demonstrate that this method effectively disentangles the information within fMRI signals. This research could advance brain-computer interfaces and mitigate the problem of low temporal resolution in fMRI.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01