アーカイブ / Computer Vision / Generative AI
撮影済み画像から別視点を生成する計算を減らすEfficient-LVSM
Efficient-LVSM
Efficient-LVSMの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2: Efficient-LVSM Model Structure. Efficient-LVSM patchifies posed input images and target Plücker rays into tokens. Input tokens pass separately through an encoder to extract context, while target tokens cross-attend to generate new views. Asterisks indicate shared parameters.
概要
- 入力画像を個別に処理し、生成先が各層の情報を参照して別視点の画像を作る。
- RealEstate10Kの掲載表では、512解像度のPSNRは比較対象を上回るが、256解像度では下回る。
- 入力側の情報を再利用でき、著者らは入力16視点で約14.9倍の推論速度を報告する。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Efficient-LVSMの仕組み
- 01画像とカメラ設定
- 02画像ごとに特徴抽出
- 03生成先が各層を参照
- 04別視点の画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
Efficient-LVSMは、撮影済み画像から別のカメラ位置で見える画像を作る「新視点合成」の手法だ。建物の室内などで未撮影位置の見え方を試すには、画像の内容と各カメラの設定を対応づける必要がある。
従来のLVSMの一構成は、入力画像と生成先をまとめて処理するため、入力画像が増えると計算が重くなる。同じ画像から複数の視点を作る場合にも入力側の計算を繰り返すため、視点を次々に変える用途では処理時間が問題になる。
手法
入力はカラー画像と各カメラの位置・向き、画像の写り方を決める内部設定、生成したい視点の設定だ。画像を小さな区画に分け、カメラから伸びる光線を表す情報と合わせて処理する。入力側は画像ごとに区画の関係を読み、生成先はその視点内の区画同士の関係を整理する。
次に生成先が、対応する深さの入力側の情報を交差注意で参照する。交差注意とは、生成先を手掛かりに入力側の関連情報を選ぶ処理だ。例えば室内の二枚の写真と未撮影位置の設定から、その位置の画像を組み立てる。学習時には既存の画像認識モデルの特徴に近づける処理も使い、そのモデルは推論時には外す。入力側の情報は保存して再利用できる。
新規性
著者らの提案は、入力画像を読む経路と生成先を描く経路を分け、対応する各層で情報を受け渡す構成にある。生成先は自分の区画同士の関係を整理してから入力側を参照する。
入力画像は一枚ずつ処理できるため、処理済みの情報を保存し、新しい画像の追加時にはその画像の分を計算できる。中間層の情報も生成に使う点が、最終層だけを参照する構成との違いだ。
従来手法との違い
LVSMの生成側のみの構成は、入力画像と生成先の情報を長い列にまとめて自己注意を計算する。自己注意は列の要素同士が互いを参照する処理で、著者らの計算量の整理では入力視点数に対して二次的に増える。
提案法は入力画像内の自己注意と、生成先から入力側を参照する交差注意を組み合わせる。同じ整理では、入力視点数をN、生成視点数をMとすると計算量はNとN×Mの和に比例する。ただし画質の優劣は解像度と指標で変わる。
実験結果
著者らは、室内・屋外を含むRealEstate10Kで、入力2視点・生成先3視点の設定を用いた。掲載表では512解像度のPSNR（画素誤差に基づく画質指標）が提案法29.86 dB、LVSMの生成側のみの構成29.53 dB。256解像度ではそれぞれ28.93 dB、29.67 dBで順位が逆転する。
物体画像はObjaverseで学習し、ABOとGSOで評価した。512解像度のPSNRはABOで32.65対32.10 dB、GSOで32.92対32.36 dBと著者らは報告する。比較対象はいずれも同じLVSM構成だ。入力16視点では推論が約14.9倍速く、メモリー使用量が50％少ないとの報告もあるが、図の測定条件の細部は確認できた本文の範囲では分からない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：室内を複数位置から撮影した画像を使い、未撮影位置からの参考画像を作る。入力は各写真に加え、カメラの位置・向きと撮影時の内部設定、生成先の同じ設定で、出力は指定視点の合成画像とする。
試作には、設定が分かる室内画像と、照合用に別位置から撮った実画像を用意する。学習や適応を行う場合は、同種の場面で画像と設定の対応をそろえる。物体名などの意味ラベルはこの用途の入力条件に含まれず、合成画像は現地の記録ではなく撮影計画の参考に使う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：カメラの位置・向きと内部設定が分かる室内画像を場面ごとに集め、生成先に相当する別位置の実画像を正解として残す。必要な対応は入力画像、各カメラ設定、正解画像であり、物体名などの意味ラベルや追加センサーは前提にしない。
同じ入力枚数と解像度でLVSMの生成側のみの構成を基準にし、正解画像とのPSNR、処理時間、メモリー使用量を測る。撮影条件に合わせた適応には画像とカメラ設定の整合を確認し、必要なら同種の対応データで学習する。入力に写らない領域の崩れも別に記録する。
限界と課題
著者らは従来のLVSMについて、入力と生成先をまとめて処理する計算負荷と、入力情報を一つに圧縮する構成での情報損失を課題に挙げる。提案法自体の失敗条件や適用範囲は、確認できた本文の範囲では体系的に示されていない。
編集上の検証事項は、カメラ設定の誤差、入力に写らない領域、学習時と異なる室内での画質である。RealEstate10Kの512解像度ではPSNRが比較対象より高い一方、LPIPSは低い方が良い指標で提案法の値が高い。要旨の「0.2 dB差」も掲載表の29.86と29.53の差に一致せず、条件を確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
Efficient-LVSM: Faster, Cheaper, and Better Large View Synthesis Model via Decoupled Co-Refinement Attention
Feedforward models for novel view synthesis (NVS) have recently advanced by transformer-based methods like LVSM, using attention among all input and target views. In this work, we argue that its full self-attention design is suboptimal, suffering from quadratic complexity with respect to the number of input views and rigid parameter sharing among heterogeneous tokens. We propose Efficient-LVSM, a dual-stream architecture that avoids these issues with a decoupled co-refinement mechanism. It applies intra-view self-attention for input views and self-then-cross attention for target views, eliminating unnecessary computation. Efficient-LVSM achieves 29.86 dB PSNR on RealEstate10K with 2 input views, surpassing LVSM by 0.2 dB, with 2x faster training convergence and 4.4x faster inference speed. Efficient-LVSM achieves state-of-the-art performance on multiple benchmarks, exhibits strong zero-shot generalization to unseen view counts, and enables incremental inference with KV-cache, thanks to its decoupled designs.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01