アーカイブ / Computer Vision
画像とイベント列をスパイク型ネットワークで融合する物体追跡
SpikeFET
SpikeFETの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Visualization results of SpikeFET-Base in low light and overexposure scenarios.
概要
- SpikeFETは画像とイベント列を別々に特徴抽出して融合し、スパイク型ネットワークで対象位置を推定する。
- 著者らのFE108評価では、TinyのAUCは68.5%で、SDSTrackの65.8%を上回った。
- VisEventではTinyのAUCがSDSTrackを下回る。報告された電力値は実機測定値ではなく理論値である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SpikeFETの仕組み
- 01画像・イベント列
- 02時間フレーム化とRPM
- 03別枝で特徴抽出
- 04スパイク融合と応答図
- 05対象位置の枠
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SpikeFETは、通常の画像とイベントカメラの記録を使い、映像内の一つの対象の位置を追う手法である。イベントカメラは画素の明るさの変化を発生時刻とともに記録する。著者らは、暗所や速い動きでは通常画像だけによる追跡が難しくなると述べる。
イベント列は記録がまばらで発生時刻もそろわない。著者らは、その特徴を取り出しながら画像と融合する際の計算負荷を課題とし、両入力をスパイク型の計算で扱う追跡器を提案した。
手法
入力は現在の探索画像、対象を示す隣接時刻の二つのテンプレート画像、および対応するイベント列である。イベント列を時間ごとの画像状のデータに変え、RPMという再配置処理でテンプレートと探索領域を横または縦にランダムにつなぐ。車両追跡なら、過去の車両の画像領域と現在の探索領域を組み合わせる。配置された領域の種類は、学習可能な符号でモデルに伝える。
画像とイベントは別々の枝で特徴を取り出し、その後、Transformer型の処理で融合する。各段階には、信号が条件を満たすと発火する神経細胞を模したスパイキングニューラルネットワークを使う。STRは学習時に隣接テンプレートの対応する特徴の差を小さくする制約である。最後に、両入力から得た位置候補を示す応答図を重み付きで合わせ、対象位置を推定する。
新規性
著者らは、通常の画像とイベント列を統合する追跡器を、特徴抽出から位置予測までスパイキングニューラルネットワークで構成した初の手法と位置付ける。局所的な特徴を拾う畳み込みと、広い範囲の関係を扱うTransformer型の処理を組み合わせた。
さらに、RPMで入力の配置を変えて位置の偏りを抑え、STRで隣接時刻のテンプレート特徴を近づける。両者は、追跡位置の推定を乱す異なる要因に対応する。
従来手法との違い
画像とイベントを使う比較手法にはSDSTrackやMMHTがある。著者らの表では、FE108のAUCはSpikeFET-Tinyが68.5%、SDSTrackが65.8%だった。一方、VisEventではTinyが56.8%、SDSTrackが59.7%で、結果はデータセットによって異なる。
SpikeFETは画像とイベントを別々の枝で特徴抽出し、融合後に各入力の位置推定結果を合わせる。イベントだけを使うSDTrackとの比較には、著者らが別に構成したイベント専用モデルSpikeETを用いている。
実験結果
著者らはFE108、VisEvent、COESOTで、AUC（曲線下面積）とPR（Precision Rate）を報告した。FE108ではSpikeFET-TinyのAUCが68.5%、PRが96.5%で、SDSTrackの65.8%、92.6%を上回った。COESOTではSpikeFET-BaseのAUCが68.5%、PRが81.7%だった。
VisEventのAUCはTinyが56.8%、Baseが59.0%、SDSTrackが59.7%である。電力比較はVisEventで学習・測定した条件の理論値で、Tinyが18.36 mJ、SDSTrackが719.10 mJと報告される。データセットごとに精度の順位が変わるため、FE108の差をほかの条件へ広げて解釈はできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：交差点で一台の車両を追跡し、暗い時間帯や速い移動で位置の記録が途切れる箇所を調べる。同期した通常画像とイベント列、追跡を始める車両の枠を入力し、各時刻の推定位置を枠として表示する。
現場で撮影した両種の記録と、学習・評価用に人が付けた車両の枠ラベルが必要になる。時刻と画角を対応付け、現場データに合わせてモデルを調整する。この用途での改善は、論文の評価結果だけでは判断できない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の交差点で通常画像とイベント列を同時に集め、車両の位置を時刻ごとに枠でラベル付けする。両入力の時刻と画角を合わせ、現場の記録を学習・調整用と評価用に分ける。暗所や速い移動を含む条件別の件数も残す。
同じ画像・イベント記録を使うSDSTrackを比較基準とし、同じ評価記録でAUCとPRを測る。加えて、追跡が途切れる回数、処理時間、導入予定の環境での消費電力を確認する。誤った枠が出た場面を調べ、現場データによる調整が必要か判断する。
限界と課題
著者らは、VisEventでSpikeFET-BaseのAUCがViPTを0.2ポイント下回ると報告し、スパイク型モデルの事前学習の不足や、同データセットでは極端な条件が比較的少ないことを理由に挙げる。また、Baseには過学習の傾向があるとしている。
編集上の検証事項は、現場での追跡失敗率、画像とイベント列の時刻・画角のずれ、処理時間と実機の消費電力である。表の電力値は理論値であり、確認できた本文の範囲では算出式の詳細も示されていない。現場機器の実測値としては使えない。
出典
元のタイトル・要旨を確認する（英語）
Fully Spiking Neural Networks for Unified Frame-Event Object Tracking
The integration of image and event streams offers a promising approach for achieving robust visual object tracking in complex environments. However, current fusion methods achieve high performance at the cost of significant computational overhead and struggle to efficiently extract the sparse, asynchronous information from event streams, failing to leverage the energy-efficient advantages of event-driven spiking paradigms. To address this challenge, we propose the first fully Spiking Frame-Event Tracking framework called SpikeFET. This network achieves synergistic integration of convolutional local feature extraction and Transformer-based global modeling within the spiking paradigm, effectively fusing frame and event data. To overcome the degradation of translation invariance caused by convolutional padding, we introduce a Random Patchwork Module (RPM) that eliminates positional bias through randomized spatial reorganization and learnable type encoding while preserving residual structures. Furthermore, we propose a Spatial-Temporal Regularization (STR) strategy that overcomes similarity metric degradation from asymmetric features by enforcing spatio-temporal consistency among temporal template features in latent space. Extensive experiments across multiple benchmarks demonstrate that the proposed framework achieves superior tracking accuracy over existing methods while significantly reducing power consumption, attaining an optimal balance between performance and efficiency.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01