アーカイブ / Computer Vision
NeRF：複数の写真から別の視点の画像を描く三次元表現
NeRF
NeRFの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : We present a method that optimizes a continuous 5D neural radiance field representation (volume density and view-dependent color at any continuous location) of a scene from a set of input images. We use techniques from volume rendering to accumulate samples of this scene representation along rays to render the scene from any viewpoint. Here, we visualize the set of 100 input views of the synthetic Drums scene randomly captured on a surrounding hemisphere, and we show two novel views rendered from our optimized NeRF representation.
概要
- 複数写真とカメラ位置から、空間の密度と視点ごとの色を表す関数を学習する。
- 光線上で計算した色と密度を重ね、撮影していない視点の画像を作る。
- 画質指標の多くで比較対象を上回ったが、実写のLPIPSではLLFFが優位だった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、NeRFの仕組み
- 01位置付きの複数写真
- 02光線上の点を選択
- 03各点の密度と色を計算
- 04新視点の画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
一つの場面を別の角度から見た画像を作るには、写っている物の形と色を複数の写真から推定する必要がある。写真にない視点を合成する作業は、細部や光沢を保ちながら場面を表すことが難しい。
NeRFは場面を細かい立方体の集まりとして固定的に保存せず、空間の任意の点を計算できる関数として学習する。展示物や場所の見せ方を検討する際には、画質に加えて撮影条件と作成時間も重要になる。
手法
NeRFは複数の写真と、それぞれを撮ったカメラの位置・向きを入力にして、一つの場面を学習する。画像の各画素から空間へ延びる光線に沿って点を選び、各点の三次元位置と見る方向をネットワークへ渡す。ネットワークは、その場所に物がどれほどあるかを表す密度と、方向によって変わる色を返す。これらを光線に沿って重ね合わせる「体積レンダリング」で画素の色を決め、指定した新しい視点の画像を作る。
学習では合成した画素色と元写真の画素色との差を小さくする。位置符号化は座標を細かな変化も表せる形へ変換する処理で、細部の再現を助ける。さらに粗い計算で物がありそうな場所を調べ、詳しい計算をそこへ多く割り当てる。例えば彫刻の周囲の写真から、少し横へ移動した視点の画像を描く流れである。
新規性
NeRFは、空間の位置と見る方向を入力し、その地点の密度と色を返す連続的な場をニューラルネットワークで表す。著者らは、既知のカメラ位置から撮った画像だけを使ってこの表現を調整し、撮影していない視点を描く方法を示した。細部を表すための位置符号化と、見えそうな場所へ計算を集中する段階的な標本選択を組み合わせている。
従来手法との違い
従来の方式には、空間を細かな格子に区切って色を保存する方法や、場面の形を別の形式で表す方法がある。NeRFは連続した位置で密度と色を計算し、視点による見え方の違いも入力に含める。著者らは複数の合成画像・実画像のデータで従来方式と比較し、多くの画質指標で改善を報告したが、実画像の一指標ではLLFFが上回った。
実験結果
著者らは単純な形の合成物体4件、複雑な合成物体8件、実写の場面8件などで比較した。画素の再現度を示すPSNRは、複雑な合成物体でNeRFが31.01、比較対象LLFFが24.88、実写では26.50対24.13だった。PSNRは高いほど元画像に近い。
一方、実写のLPIPSはNeRFが0.250、LLFFが0.212で、低いほど良いこの指標ではLLFFが優位だった。実写の入力は各場面20～62枚で、一部を評価用に残した。著者らは単一場面の最適化に、示した条件では約1～2日かかるとも記している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。屋内展示物を複数方向から撮影し、来訪者がウェブ上で視点を少し動かして外観を確認できる画像を作る。入力は展示物の写真と撮影位置、出力は指定した視点からの画像とし、公開前に担当者が写真との違いを点検する。
細い突起や光沢のある部分を重点的に確認し、見えない背面の再現を当然視しない。論文が扱ったように複数視点を確保できる対象から始め、撮影手順と生成結果を合わせて評価する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。一つの展示物を複数方向から撮り、撮影位置を記録または推定する。一部の写真は学習に使わず、同じ視点をNeRFで描いた結果と比較する。既存の写真を切り替えて見せる方法を基準に、視点移動時の見やすさを担当者が評価する。
保留した写真との差、細部と反射の崩れ、作成時間を記録する。撮影枚数や角度を変えた小規模な試行を行い、必要な撮影作業に見合う品質が得られるかを判断する。
限界と課題
著者らの方法は、撮影画像に対応するカメラ位置などの情報を要し、場面ごとに別の表現を最適化する。論文では一場面の最適化に長い時間を要する条件が示されている。実画像ではLPIPSという知覚上の差を測る指標が、比較対象LLFFより低くならなかった。
編集上の確認課題は、撮影位置の推定誤差、写っていない領域、細部や反射の再現、制作にかかる時間である。画像指標が良くても、視点を連続的に動かしたときの違和感は別に確認する必要がある。
出典
元のタイトル・要旨を確認する（英語）
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views. Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location $(x,y,z)$ and viewing direction $(θ, φ)$) and whose output is the volume density and view-dependent emitted radiance at that spatial location. We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image. Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses. We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis. View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-09-29