アーカイブ / Computer Vision
赤外線と可視光の画像を正解ペアなしで位置合わせするB-SR
Bi-directional Self-Registration (B-SR)
Bi-directional Self-Registration (B-SR)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: (a) Self-registration paradigm in B-SR. (b) The first column shows infrared and visible image pairs with 5 pixels difference in the horizontal direction, where the yellow dashed line denotes the horizontal difference between different modalities. Compared with existing alignment-based fusion methods, B-SR effectively addresses the issue of misalignment between modalities.
概要
- B-SRは赤外線・可視光画像を両方向に位置合わせし、局所変換した画像との結果の整合性を使って学習する。
- RoadSceneの水平5画素ずれ条件では、QabfがB-SRの0.59に対し、比較対象の最高値は0.53だった。
- DroneVehicleのVIFFはSuperFusionと同率の0.63であり、現場業務への有効性は別途検証が必要である。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Bi-directional Self-Registration (B-SR)の仕組み
- 01赤外線・可視光画像
- 02元画像と局所変換画像
- 03双方向の位置合わせ
- 04逆変換して整合学習
- 05位置合わせ後の融合
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
B-SRは、赤外線画像と可視光画像の位置を合わせて一枚に融合する手法である。赤外線画像は熱に関する情報、可視光画像は色や細部を捉える。同じ対象が別の位置に映ると、融合画像に二重の輪郭が生じ得る。
撮像機器の位置や揺れで生じるずれを学習で直すには、画像間の対応が問題になる。著者らは、正確に位置合わせされた二種類の画像ペアを大量に集めたり、手作業で作ったりすることは難しいと述べる。
手法
入力は位置がずれた赤外線・可視光の画像ペアである。位置合わせ器は両方向の「変形場」、つまり画素をどちらへ動かすかを表す値を推定し、画像を動かす。学習時には同じペアを小領域に分け、反転・回転してつなぎ直した画像も別経路に入力する。
局所変換した経路の位置合わせ結果と変形場を元の配置へ戻し、元画像の経路との整合性を学習する。さらに、近傍に対応する輪郭がある場合は、その距離と角度を合わせる。画像を再構成する機能と位置合わせ器を一緒に学習した後、その特徴抽出部分を固定して融合用の部分を学習する。
新規性
B-SRは、元画像と局所変換した画像を別経路で位置合わせし、後者を元の配置に戻して、画像と変形場の結果が整合するよう学習する。さらに赤外線から可視光、可視光から赤外線の両方向に変形を推定する。
近傍に対応する輪郭がある場合だけ、その距離と角度を使う損失も設けた。著者らは、片方の画像を別の撮像方式の見た目に変換せずに、撮像方式の違いに対処する方法として示している。
従来手法との違い
比較表には、融合手法のU2Fusion、DIDFuse、CDDFuseと、位置ずれへの対応を目的とするSuperFusion、MURFなどが載る。著者らは、既存の位置合わせ手法には、画像の見た目を別の撮像方式に変換してから合わせるものがあると説明する。
B-SRは、その変換に頼らず、局所変換前後の整合性と輪郭の対応を学習に使う。著者らは見た目の変換が雑音を加え得ると述べるが、比較表の画質指標から、実運用でも雑音が少ないとまでは判断できない。
実験結果
著者らはRoadScene、DroneVehicle、TNOの融合結果を、輪郭情報の指標Qabfなどで比較した。RoadSceneは赤外線画像を水平に5画素ずらして学習・評価し、QabfはB-SRが0.59、比較対象の最高値がU2Fusionの0.53だった。
DroneVehicleの視覚情報忠実度VIFFはB-SRとSuperFusionがともに0.63で、著者らの「全指標で最高」には同率首位が含まれる。TNOのQabfはB-SRが0.56、比較対象の最高値がCDDFuseの0.52だった。いずれも掲載された条件での画質評価であり、業務上の検出精度ではない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：道路監視で、同じ場面を撮る赤外線画像と可視光画像を位置合わせし、車両の輪郭を確認する補助画像を作る。入力は撮影時刻を対応付けた画像ペア、出力は融合画像とし、担当者が両方の元画像も並べて確認する。
導入には、現場の両カメラで撮った画像ペアを学習用に集め、画角や時刻の差に合わせて調整する必要がある。学習用の正解位置合わせラベルは前提としないが、評価用には一部の画像で対応する輪郭位置を人手で記録する。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場の赤外線・可視光カメラから、同じ場面の画像ペアを収集する。時刻と画角を確認して現場データに合わせて学習・調整し、一部には車両の対応する輪郭位置を評価用ラベルとして人手で記録する。学習用に完全な位置合わせ正解は作らない。
小規模な試行では、位置合わせを行わずに融合した画像を基準とし、同じペアでB-SRの結果と比べる。二重輪郭の発生率、人手の記録との位置のずれ、元画像の細部が残る割合を測り、昼夜や揺れの程度ごとに結果を確認する。
限界と課題
著者らが明示する課題は、撮像機器の違いや揺れによる位置ずれと、正確に位置合わせされた画像ペアを十分に得る難しさである。確認できた本文の範囲では、B-SR自体の失敗条件や計算負荷について明示的な結論はない。
編集上の検証事項は、視点差が大きい場面、片方の画像にだけ見える物体、撮影時刻がずれた場面での輪郭の扱いである。掲載された画質指標は、車両確認など後段の業務判断が改善するかを直接示していない。
出典
元のタイトル・要旨を確認する（英語）
Bi-directional Self-Registration for Misaligned Infrared-Visible Image Fusion
Acquiring accurately aligned multi-modal image pairs is fundamental for achieving high-quality multi-modal image fusion. To address the lack of ground truth in current multi-modal image registration and fusion methods, we propose a novel self-supervised \textbf{B}i-directional \textbf{S}elf-\textbf{R}egistration framework (\textbf{B-SR}). Specifically, B-SR utilizes a proxy data generator (PDG) and an inverse proxy data generator (IPDG) to achieve self-supervised global-local registration. Visible-infrared image pairs with spatially misaligned differences are aligned to obtain global differences through the registration module. The same image pairs are processed by PDG, such as cropping, flipping, stitching, etc., and then aligned to obtain local differences. IPDG converts the obtained local differences into pseudo-global differences, which are used to perform global-local difference consistency with the global differences. Furthermore, aiming at eliminating the effect of modal gaps on the registration module, we design a neighborhood dynamic alignment loss to achieve cross-modal image edge alignment. Extensive experiments on misaligned multi-modal images demonstrate the effectiveness of the proposed method in multi-modal image alignment and fusion against the competing methods. Our code will be publicly available.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01