アーカイブ / Computer Vision / Generative AI
座標から色を計算するテクスチャ表現：圧縮画質と描画時間を検証
Implicit Neural Representation of Textures
Implicit Neural Representation of Texturesの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 2 : Laplacian response histogram with its Cumulative Distribution Function (red curve).
概要
- 元画像のUV座標とRGB色で学習し、保存したネットワークの重みから任意の座標の色を計算する。
- 著者らの25画像での比較では、フーリエ特徴付きMLPが総じて良く、ASTCとの差は画質指標によって明瞭さが異なった。
- 実用時には細部の乱れ、画像ごとの周波数調整、保存容量と描画時間を同じ場面で確認する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Implicit Neural Representation of Texturesの仕組み
- 01元画像のUV座標と色
- 02座標を特徴化
- 03重みを学習
- 04UV座標からRGB色
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
この研究は、3Dモデルの表面に貼るテクスチャ画像を、画素の格子ではなく座標から色を計算するネットワークで表す。テクスチャが描画時のメモリを使うため、保存容量と、描画のたびに色を計算する時間の両方が実用上の論点になる。
UV座標は、3D表面上の位置をテクスチャ内の位置に対応させる値である。座標を連続的に扱う方式でも、細い線や色の境界を元画像に近く再現できるかを確かめる必要がある。
手法
元画像の位置を表すUV座標と、そこにあるRGB色の組を使って、予測色が元の色に近づくようネットワークの重みを調整する。利用時には、たとえば壁面上の一点に対応するUV座標を入力し、その点に描くRGB色を出力する。このように座標と色の関係を重みに保存する方法を、暗黙的ニューラル表現という。
著者らは通常のMLP、正弦波を使うSIREN、座標に複数の周波数の波を加えるフーリエ特徴付きMLPなどを実装した。図解の「特徴化」はフーリエ方式で行う処理である。別の実験では、元画像を縮小した段階を示す値も入力に加え、UV座標と縮小段階から色を返すよう学習した。
新規性
著者らは、テクスチャのUV座標からRGB色を返す暗黙的ニューラル表現を4方式実装し、うち3方式について画質、容量、処理効率を評価した。学習後のネットワークの重みを、元画像の代わりに保存する。
さらに、Mitsuba 3の描画時に重みから色を復元する仕組みを組み込んだ。縮小表示用のミップマップを表す学習と、重みから新しいテクスチャを作る試みも扱う。
従来手法との違い
比較した3方式は、座標をそのまま受け取る通常の多層パーセプトロン（MLP）、内部計算に正弦波を使うSIREN、座標にフーリエ特徴を加えるMLPである。フーリエ特徴は、異なる細かさの波を使って位置を表す値を指す。
著者らの対象画像では、フーリエ特徴付きMLPが総じて良く、SIRENが続いた。画像圧縮方式ASTCとの同程度のビットレートでの比較でもフーリエ方式が良い傾向を示したが、LPIPS以外の指標では差にばらつきがある。
実験結果
著者らは47分類・計5640画像のDescribable Textures Datasetから、鮮明さの指標であるラプラシアン分散の分布に沿って25画像を選んだ。再現画像と元画像をMAE、MSE、PSNR、SSIM、LPIPS、VMAFで比べ、画質とビットレートの関係を調べた。
著者らによると、フーリエ特徴付きMLPはASTCよりLPIPSで明瞭に良かった。一方、VMAF、SSIM、PSNRでの差は小さく、結果にはばらつきがある。Apple M1 CPUで例示場面を描画した時間は、画素当たりのサンプル数とシード数を各1にした条件で4.7秒であり、他の場面の所要時間は示さない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：建築物の3D展示で使う壁材画像を、座標から色を返すモデルに置き換える。必要な学習データは各壁材の元画像と画素位置に対応するUV座標・RGB色であり、この用途の画像再現には分類ラベルや追加センサーを使わない。
壁材ごとに重みと周波数設定を調整し、展示アプリが指定したUV座標から描画色を得る。出力画像の細線、平坦な色面、縮小表示を元画像と見比べる。展示全体の容量や描画時間に利点があるかは別途検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：展示に使う壁材画像を少数選び、画素に対応するUV座標とRGB色を学習データにする。この画像再現の試行では分類ラベルも追加センサーも使わず、画像ごとにフーリエ特徴の周波数とモデルの重みを調整する。
同じ画像について、ASTCと学習後のモデルを近いビットレートで比較する。LPIPS、SSIM、細線と平坦な色面の目視差、保存容量、展示場面の描画時間を記録し、事前に決めた許容値で判断する。縮小表示を使う場合は、各縮小段階の画像と段階を示す値も学習データに加える。
限界と課題
著者らは、通常のMLPにはぼけ、フーリエ方式には平坦な色面で粒状ノイズ、SIRENには曲線状の乱れが残る例を報告した。細部の再現が難しい場合があり、時間と計算量の制約で周波数の値を十分に調整できなかったとも述べる。
編集上の検証事項は、実際に使う画像と表示場面で、許容画質、重みの容量、描画時間を同時に満たせるかである。重みからの模様生成については、著者ら自身が品質はまだ十分でないと述べており、展示用素材としての適否は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Implicit neural representation of textures
Implicit neural representation (INR) has proven to be accurate and efficient in various domains. In this work, we explore how different neural networks can be designed as a new texture INR, which operates in a continuous manner rather than a discrete one over the input UV coordinate space. Through thorough experiments, we demonstrate that these INRs perform well in terms of image quality, with considerable memory usage and rendering inference time. We analyze the balance between these objectives. In addition, we investigate various related applications in real-time rendering and down-stream tasks, e.g. mipmap fitting and INR-space generation.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01