新着研究 / Computer Vision
画素の移動と色の変化を分けて学ぶ動画予測モデルLHFM
LHFM
LHFMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Hamiltonian deformation of a Lagrangian submanifold. For a fixed image trajectory, the time-dependent ambient Hamiltonian H t H_{t} transports L 0 L_{0} to L t = Φ t ( L 0 ) L_{t}=\Phi_{t}(L_{0}) . The surfaces schematically represent higher-dimensional exact Lagrangians.
概要
- LHFM-Vは画面内の移動と画素値の変化を別々に予測し、画像を順次更新する。
- Moving MNISTでは、掲載された再帰型予測器の中で報告FLOPsが最小の13.1Gだった。
- 対応条件のCIFAR-10画像生成比較では、LHFM-IのFIDはI-CFMより低かった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LHFMの仕組み
- 01観測済みの10フレーム
- 02履歴と差分を符号化
- 03移動場と変化場を推定
- 04画像を順次更新
- 05未来の10フレーム
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
将来の映像を予測するとき、物体が画面内を移動する変化と、同じ場所の色や明るさが変わる現象が重なる。画像生成でも、画素の位置関係と色の変化をどう扱うかが課題になる。画素ごとの値の変化だけで両方を表す方法では、空間的な移動を明示しにくい。
この区別は、予測画像の作り方を理解し、計算量と画質を比べるうえで意味がある。本研究は古典力学に由来する幾何学を使い、画像の移動と見た目の変化を同じ枠組みで記述する。
手法
主な対象のLHFM-Vは、観測した画像列とフレーム間の差を読み取り、最後の観測フレームを更新の出発点にする。モデルは各時点で、画面上のどちらへ画素の位置を動かすかを表す「移動場」と、移動に沿って画素値をどう変えるかを表す「変化場」を予測する。数値積分、つまり小さな時間幅で変化を積み重ねる計算を使い、半フレームごとに場を推定し直して次の画像を得る。
例えば動く数字の映像なら、数字の位置の変化を移動場が、色の変化を変化場が担う。数学上は画像を連続的な関数へ拡張し、画素値と空間的な変わり方を一つのラグランジュグラフとして表す。画像生成版LHFM-Iでは、乱数から画像への変化量を同じ二つの場で表し、フローマッチングという変化の方向を学ぶ方法で訓練する。
新規性
著者らの主張する新規性は、画像を「完全ラグランジュグラフ」という幾何学的表現に置き、画像に対応する形を保って運ぶ条件から、位置の移動と画素値の変化を表す式を導いた点にある。ラグランジュグラフは、画素値とその周辺での変わり方を一緒に記録する数学的な表現だ。
この式では、通常のフローマッチングも移動をゼロにした場合として表せる。動画予測と画像生成に共通の表現を使う一方、両者の学習目的と画像更新の計算法は分けている。
従来手法との違い
動画では、過去の画像と内部状態を使って次の画像を順に作る再帰型予測器と比較した。LHFM-Vは移動場と画素値の変化量を予測し、数値計算で現在の画像を更新する。比較表に載る再帰型モデルの中では、計算量が最も小さかった。
画像生成の比較相手は、同じ条件で学習した独立条件付きフローマッチング（I-CFM）である。学習時に目標とする画像の変化量は共通で、LHFM-Iはその変化量の表し方を移動と変化の二つに分ける。動画の既報モデルとの数値比較は、実験条件をそろえた比較ではない。
実験結果
著者らはMoving MNISTで、10フレームから次の10フレームを予測したと報告する。LHFM-Vは18.6百万パラメータ、13.1G FLOPs、平均二乗誤差（MSE）18.6、平均絶対誤差（MAE）62.5、構造類似度（SSIM）0.958だった。FLOPsは計算回数の目安で、掲載された再帰型予測器中では最小だが、他モデルの値は既報から引用したものだ。
CIFAR-10の無条件画像生成では、15万回更新した対応条件の比較で、画像の分布の近さを測るFIDがLHFM-Iの3.5809、I-CFMの3.8241だった。どちらも生成時の計算回数は256回で、著者らは6.36％のFID低下と報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：固定カメラで撮影した設備の短い映像から、次の数フレームを予測し、監視担当者が動きの見通しを確認する用途を考える。入力は直近の連続フレーム、出力は予測フレームと、各更新で推定した位置の移動場・画素値の変化場とする。
例えば移動する表示や部品が映る区間を選び、予測画像を実測画像と並べて確認する。移動と見た目の変化を別々に観察できる可能性はあるが、実設備で異常を検知できることを本研究は示していない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象映像から短い連続区間を集め、前半10フレームを入力、続く10フレームを正解として分ける。まず直近画像をそのまま未来へ延ばす簡単な基準法と、既存の再帰型予測器を用意し、同じ区間でLHFM-Vと比べる。
MSE・MAE・SSIMに加え、推論時間と計算量を同じ条件で記録する。動きが速い区間や見た目が変わる区間を分け、失敗例を画像で確認する。論文のMoving MNISTでの優位が、対象映像の予測品質と運用上の処理時間に再現するかを採否の判断材料にする。
限界と課題
著者らは、モデル構造と学習方法の体系的な最適化はまだ行っていないと述べる。画像生成の実験は対応するI-CFMとの管理された比較に限られ、最高水準の画像生成性能を主張していない。動画の既報値も同一手順の再実験ではない。
編集上の確認点は、実映像で予測が何フレーム先まで安定するか、カメラの揺れや遮蔽にどう反応するか、計算量の小ささが実際の処理時間にも表れるかである。移動場と変化場への分解は一意ではないため、それぞれをそのまま物理的な動きの説明と見なす際も検証が要る。
出典
元のタイトル・要旨を確認する（英語）
Lagrangian--Hamiltonian Flows for Video Prediction and Image Generation: A Symplectic Perspective
We introduce LHFM, a geometric framework for learning image dynamics. Drawing on structures central to classical mechanics, symplectic geometry, and geometric quantization, LHFM represents each image as an exact Lagrangian graph and models its evolution through image-dependent Hamiltonian flows, which yield a transport--source parameterization of image velocities. Our primary application is deterministic video prediction: LHFM-V is a recurrent model that advances frames by integrating predicted transport and source fields, and achieves the lowest reported FLOP count among the compared recurrent models with similar prediction accuracy. The image variant, LHFM-I, shows that the same construction is compatible with flow matching: in a matched experiment, it attains a lower FID than the flow-matching baseline.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29