アーカイブ / Computer Vision / Generative AI
画像群の共通する意味を辞書にまとめて圧縮するSMIC
SMIC
SMICの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 4: Progressively adding people to the landscape from [ 25 ] (Left) Input images 𝐱 1 \bx_{1} and 𝐱 2 \bx_{2} . (Right) Top to bottom, left to right: Images generated from f ( 𝐱 1 ) + α f ( 𝐱 2 ) f(\bx_{1})+\alpha f(\bx_{2}) . Where α = i / 4 , i ∈ [ 1 … 8 ] \alpha=i/4,\ i\in[1...8] .
概要
- SMICは画像群から共有の意味辞書を学び、各画像を少数の係数で表す。
- 著者らの風景画像での表Iでは、辞書要素数2から128への変更に伴い、CCは0.806から0.893になった。
- 著者らは約10のマイナス5乗BPPを報告するが、確認できた本文の範囲では最終比較の詳細条件を照合できない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SMICの仕組み
- 01画像群
- 02CLIPで意味表現化
- 03共有辞書と係数
- 04UnCLIPで画像生成
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SMICは、画像群に繰り返し現れる内容を使って、各画像の記述を短くする。写真は画素の並びが違っても、「山」や「海」など同じ内容を含み得る。画像を一枚ずつ保存する方式では、その共通性を画像群全体の保存量の削減に使いにくい。
ここでいう意味圧縮は、元画像と同じ画素を戻すことより、生成画像に元画像の内容が伝わることを重視する方法だ。画素の一致が必要な保管と、内容を把握できればよい閲覧では、求める復元の性質が異なる。
手法
まず写真群をCLIPで数値の列に変える。CLIPは画像の内容を比較できる形で表すモデルで、この数値列を潜在ベクトルという。著者らは写真群の潜在ベクトルから共有辞書を学ぶ。辞書の要素は、山や海のような内容を表す成分として働く。
次に各写真の潜在ベクトルを辞書で表し、使う要素を少数に抑えた係数を求める。例えば山と森を含む写真なら、それらの内容に関係する要素を組み合わせる。復号時は共有辞書と係数から潜在ベクトルを作り、長さを調整して画像生成モデルのUnCLIPに渡す。辞書も保存量に数える。
新規性
SMICは、画像ごとに意味表現を保存する生成型の圧縮を、画像群で共有する辞書と各画像の係数による圧縮へ広げた。著者らは、CLIPの表現を足し引きすると生成画像の内容も変わるという観察を、辞書を使う根拠にしている。
学習した辞書の要素が「山」「海」などの概念を表す例に加え、辞書で表せる内容と、表しきれずに残る内容を生成画像で分けて示した。意味の足し引きには成立しない例もある。
従来手法との違い
比較対象は、画像ごとに意味表現を符号化して画像を生成する単一画像向けの方式である。SMICは画像群から辞書を一度学び、各画像をその辞書の要素を組み合わせる係数で表す。辞書は復号側にも渡す必要があり、その容量を総保存量に含める。
著者らは、辞書の容量を含めても、極低ビットレートで比較対象より少ないビット数と同程度の意味の忠実さを得たと述べる。ただし、確認できた本文の範囲では、最終比較の表や各方式の数値、画像群の規模を照合できない。
実験結果
著者らは風景画像のデータセットで辞書を学び、要素数を変えて生成画像を評価した。表Iでは、意味の一致に関する指標CC、CSS、BSSが、要素数2で順に0.806、0.525、0.393、要素数128で0.893、0.732、0.516だった。これらの指標の定義は確認できた本文にない。
著者らは単一画像向けの生成型圧縮方式との比較で、画像当たり約10のマイナス5乗BPPを報告する。BPPは1画素当たりのビット数を表す。最終比較の詳細条件と方式別の数値は本文の確認できた範囲に含まれず、この値を別の画像群での性能として扱うことはできない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：似た風景写真が多い保管庫で、内容を探すための閲覧画像を省容量で保存する。入力は辞書学習に使う風景写真群と、個別に保存する写真である。辞書の学習に正解ラベルや専用センサーは要らず、対象の写真群に合わせて辞書を学び、各写真の係数と共有辞書を保存する。
閲覧時には辞書と係数から意味表現を組み立て、画像生成器の出力を一覧に表示する。これは編集上の用途仮説であり、元写真の画素や細部が必要な作業には元画像を保持する。新しい題材を加える際は、辞書がその内容を表せるか確認する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：保存対象の風景写真を辞書学習用と確認用に分ける。必要な入力データは写真群で、辞書学習用の正解ラベルや専用センサーは設けない。対象群で辞書を学び、確認用写真を係数に変換し、生成画像を作る。辞書の要素数を変えた場合も記録する。
同じ確認用写真を個別に扱う圧縮方式を比較基準に置く。共有辞書を含む総ビット数とBPPを測り、閲覧者が必要な場面要素を識別できるかを確認する。学習用とは題材の異なる写真も追加し、辞書の再学習や要素数の調整が必要になる条件を調べる。
限界と課題
著者らは、CLIPの表現を足し合わせても期待した内容にならない例を報告し、CLIPの学習時に共に現れなかった概念の組み合わせを理由として挙げる。辞書の学習に使った風景画像群の外にある画像では、辞書への投影と残差に異なる内容が現れる例も示した。
編集上の検証事項は、対象群で重要な物体や細部が生成画像に残るか、辞書を含む総保存量が画像枚数に応じてどう変わるか、追加画像に辞書が合うかである。元画像と同じ画素を復元する用途への適合も別途確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
SMIC: Semantic Multi-Item Compression based on CLIP dictionary
Semantic compression, a compression scheme where the distortion metric, typically MSE, is replaced with semantic fidelity metrics, tends to become more and more popular. Most recent semantic compression schemes rely on the foundation model CLIP. In this work, we extend such a scheme to image collection compression, where inter-item redundancy is taken into account during the coding phase. For that purpose, we first show that CLIP's latent space allows for easy semantic additions and subtractions. From this property, we define a dictionary-based multi-item codec that outperforms state-of-the-art generative codec in terms of compression rate, around $10^{-5}$ BPP per image, while not sacrificing semantic fidelity. We also show that the learned dictionary is of a semantic nature and works as a semantic projector for the semantic content of images.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01