表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

エッシャー風の再帰画像を、生成中の幾何変換と逆変換で組み立てる

Braided Sampling

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
著者の公式図・デモ

Braided Samplingの原論文から掲載した図です。細部はクリックして拡大できます。

出典:Braided Sampling / arXiv ↗

概要

  • 固定した画像拡散モデルと幾何変換を交互に使い、入れ子の場面を生成する。
  • ねじる前と後の表現を往復し、内容と構図のつながりを同時に整える。
  • 評価は定性的な比較が中心で、有限の解像度では完全な再帰を保証しない。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、Braided Samplingの仕組み

左から右へ読む
  1. 01文章と縮小反復
  2. 02元の表現でノイズ除去
  3. 03変換・逆変換を往復
  4. 04ねじれた再帰画像

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

本研究は、画像の中に同じ場面が縮小して入り続ける再帰的な構図を、画像生成の途中から作る。エッシャーの作品のように、建築や鏡を通じて自分自身を含む場面では、拡大縮小と回転の関係を保つ必要がある。

文章で入れ子を求めるだけでは幾何がそろわず、完成画像を後からねじると構造の接続が不自然になり得る。生成途中で変形しても、ノイズ除去が意図した歪みを直してしまうため、内容と構図を一緒に育てる設計が必要になる。

手法

固定した文章から画像を作る拡散モデルを使い、ノイズ除去の間へ幾何操作を挟む。まず縮小した同じ内容が繰り返す表現を作り、それを回転と拡大縮小を含む表現へ移す。逆変換では選んだ帯状領域から元の縮小反復を復元し、対応する領域を同じ規則で使う。

ここでの逆は、任意の画像の失われた情報をすべて戻すものではない。再帰の制約に合う画像へ戻す一般化した逆写像である。元の表現では場面の内容を整え、変換後はねじれた接続を整える。切り替え時には4倍の超解像を通してから変換し、作業解像度へ縮め、小さい入れ子の細部を支える。

新規性

特徴は、変換とその対応する逆写像を用意し、二つの表現でのノイズ除去を編むように交互に行う点だ。ねじれた画像へ同じ変換を繰り返して、歪みを重ねる方法ではない。

理想的な連続表現では、往復操作は制約を満たす形への射影になり、繰り返しても結果が変わらない。生成器の重みを学び直さず、幾何と内容の更新を組み合わせる構成である。

従来手法との違い

比較には文章指示のみ、再帰を詳しく書いた指示、完成後の変換、生成中の各要素を加えた構成がある。同じ行では元の指示と初期乱数をそろえ、追加要素の差を観察する。

後処理は繰り返しを作れても新しい接続に内容を合わせられない。生成中の逆・順変換は内部の入れ子を発展させ、超解像は小さい輪郭を明瞭にするという比較で、数値指標の全面的な優位を主張する評価ではない。

実験結果

著者らは建築、鏡、画面などを含む場面で、再帰の配置と小さいコピーの内容を定性的に評価した。等角のねじれに加え、複数の中心、四角い入れ子、外周へ反復が集まる構図など5系列の変換を調べている。

成分を加えた比較では、同じ中心領域を8倍に拡大して内部の違いを示す。外周へ集める変換では逆が数値的に不安定なので使わない。ここでは未報告の成功率、生成時間、画質の数値を追加しない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:再帰的な構図を使う展示用ビジュアルの試作に利用する。入力は場面の文章、繰り返しの中心と変換形式、出力は入れ子を持つ静止画像の候補とする。

例えば閲覧室の鏡の中に同じ部屋が続く構図を作り、制作担当者が内側の接続を確認する。完成後に全体を歪める編集とは異なり、生成時点で場面と構図を調整する方法として比較できる。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:同じ指示と乱数で、指示のみ、後変換、生成中の往復変換を比較する。入れ子が続く段数、中心の位置、境界のつながり、細部の読みやすさを人が評価する。

超解像の有無と最終の再ノイズ処理を個別に試し、処理時間も測る。最も見栄えのよい一例だけで判断せず、中心から外れた主題や複雑な輪郭で失敗の割合を記録する。

限界と課題

著者らは、固定した再帰中心が意図した主題を外れる失敗を示す。最後に再ノイズ化して整える処理も、継ぎ目を滑らかにする代わりに強める場合がある。

連続表現で成立する数学的な性質は、有限の解像度の画像とその後のノイズ除去における厳密な再帰を保証しない。編集上の確認点は、小さいコピーの情報消失、中心の選択、変換ごとの安定性であり、定性的な成功例を制作上の再現性へ結び付けて測りたい。

技術
応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Moore, Escher, Penrose: A Conformal Golden Braid

I don't think I have ever done anything as peculiar in my life. Among other things, it shows a young man looking with interest at a print on the wall of an exhibition that features himself. How can this be? Perhaps I am not far removed from Einstein's curved universe.'' So wrote M.C. Escher about his 1956 lithograph Print Gallery. Nearly half a century later, a mathematical analysis related its geometry to an untwisted source image through a conformal power map $z \mapsto z^α$, $α\in \mathbb{C}$. Building on this construction, we use a frozen text-to-image diffusion model to generate new self-referential scenes. Prompting alone does not enforce the recursion, while a post-hoc transformation can leave structures poorly connected. Applying the transformation during sampling is also insufficient: the denoiser may "repair" the intended distortion or drift out of the prescribed geometry. We construct a generalized inverse $T^\dagger$ of the non-invertible image transformation $T$, adapted to its recursive constraint. In the idealized formulation, the Penrose identity $TT^\dagger T = T$ makes $TT^\dagger$ an idempotent projection onto geometrically admissible images. Yet denoising only the transformed image remains an out-of-distribution task, even with projection. We therefore braid denoising steps with $T$ and $T^\dagger$: source-space steps develop the untwisted scene, while transformed-space steps refine its appearance and connections in the final geometry. We generate Print Gallery-like compositions and explore further transformations. Rather than distorting a finished image, we let the scene and its distortion develop together.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。収集:2026-10-03