アーカイブ / Computer Vision / Generative AI
退色した中国絵画の明るさを回復し、残存色を手掛かりに色を補正するPRevivor
PRevivor
PRevivorの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overview of the proposed PRevivor framework. The framework consists of two sequential stages: luminance enhancement and hue correction. The luminance enhancement stage employs domain translation to bridge the gap between real and synthetic degraded data, while the hue correction stage leverages extracted color priors for accurate restoration.
概要
- 退色画像の明るさを先に回復し、残った色を手掛かりに色を補正する二段階の手法。
- 専門家による修復画像10点を参照した評価で、著者らはPSNR 17.39、SSIM 0.50、ΔColorfulness 1.70を報告した。
- 著者らが挙げる限界は、色領域ごとの細かな操作ができないことと、二段階学習の計算負荷。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、PRevivorの仕組み
- 01退色した絵画画像
- 02明るさの回復
- 03残存色の選別
- 04色の補正
- 05補正画像
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
PRevivorは、退色した中国の古い絹絵をデジタル画像上で明るくし、色を補正する手法だ。顔料は長い年月の化学変化で暗くなり、現物への処置でも失われた色を完全には戻せない。画像上の処理なら、原画に手を加えず補正案を検討できる。
課題は、退色前後が対になった質の高い学習画像が少ないことだ。摩耗や染み、顔料ごとの変化も重なるため、明るさと色を一度に推定する学習は難しい。
手法
入力画像を、明るさのL成分と色を表すab成分に分けて扱う。まず保存状態の良い絵の明るさに人工的な退色を加えて学習例を作り、実際の退色画像との差も学習する。二つの変分U-Netで画像の特徴を圧縮・再構成し、その間の写像で退色した明るさを回復後の明るさへ移す。
次に絹地の代表色を推定し、その色から十分離れた画素を残存色の手掛かりとして選ぶ。色補正器は、その位置を示すマスクに注目する経路と、画像全体を見る経路を併用する。例えば赤い衣に色が一部残る絵なら、その画素と周囲の画像情報を使って補正画像を出す。
新規性
PRevivorの特徴は、退色後も残る色を画像から抽出し、色の補正に使う点にある。絹地の推定色から離れた画素を有効な手掛かりとして選び、その位置をマスクで示す。
色の補正器には、マスクが示す領域に注目する経路と、画像全体を参照する経路がある。著者らはこの構成を、先に明るさを回復する処理と組み合わせた。
従来手法との違い
DDColorは、Lab色空間で明るさを表すL成分から色を推定する。PRevivorの色補正器は、L成分に加え、入力画像に残る色を表すab成分も受け取る。色を補正する前には、退色した明るさを回復する。
著者らはDDColorを含む既存の６手法を、収集した中国絵画データで各手法の元の学習手順に従って再学習した。比較結果には、専門家による修復画像を参照する評価と、対応関係のない保存状態の良い絵画を使う評価がある。
実験結果
著者らは、退色した絵の小画像300枚超と、保存状態の良い絵の小画像870枚超を学習用に収集した。専門家が修復した重度退色の絵10点を参照した評価では、PRevivorのPSNRは17.39、SSIMは0.50、色の鮮やかさの差を測るΔColorfulnessは1.70だった。知覚上の差を測るLPIPSは0.39で、最良値は他手法の0.38だった。
対応のない保存状態の良い絵との比較では、評価前に全手法の画像へ同じ残存色マスクを適用した。画像群の分布差を測るFIDは61.95で６比較手法中最良だったが、ΔColorfulnessは5.82で、比較手法の最小値1.88より大きい。著者らは、専門家８人が絵35点の結果を評価し、選好率の中央値が55％だったとも報告する。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：博物館が所蔵する退色した絹絵のデジタル画像から、学芸員が検討する色彩案を作る。入力は撮影済みの退色画像、出力は明るさと色を補正した閲覧用画像とし、原画像と並べて領域ごとに確認する。
対象に合わせるには、学習用の退色画像と保存状態の良い画像を集め、退色の模擬方法を調整する。画素ごとの色ラベルを当然の前提とはせず、評価用には専門家が作る参照画像を用意する。入力に必要なセンサーは画像を取得する撮影機器である。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の絹絵について、学習用の退色画像と保存状態の良い画像を集め、撮影条件と来歴を記録する。評価用には一部の退色画像について専門家の参照画像を作り、絹地と残存色の選別結果も確認する。必要な入力はデジタル画像で、参照画像は評価の基準とする。
対象画像に合わせて退色の模擬と残存色を選ぶ条件を調整し、同じ学習画像で再学習したDDColorを比較基準にする。参照画像がある絵ではPSNR、SSIM、LPIPS、ΔColorfulnessを測り、専門家には色の違和感と絹地の誤補正を記録してもらう。
限界と課題
著者らは、特定の色領域や個人の好みに合わせて細かく操作する機能がないこと、二段階の学習に計算上の負担があることを限界として挙げる。学芸員が部分的に色を修正したい運用では、出力後の確認と調整方法を別途考える必要がある。
編集上の検証事項として、専門家による参照画像が制作当時の色を確定するわけではない点を踏まえたい。絹地の色推定が外れる画像や、残存色が乏しい領域での補正も、導入先の資料で確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
PRevivor: Reviving Ancient Chinese Paintings using Prior-Guided Color Transformers
Ancient Chinese paintings are a valuable cultural heritage that is damaged by irreversible color degradation. Reviving color-degraded paintings is extraordinarily difficult due to the complex chemistry mechanism. Progress is further slowed by the lack of comprehensive, high-quality datasets, which hampers the creation of end-to-end digital restoration tools. To revive colors, we propose PRevivor, a prior-guided color transformer that learns from recent paintings (e.g., Ming and Qing Dynasty) to restore ancient ones (e.g., Tang and Song Dynasty). To develop PRevivor, we decompose color restoration into two sequential sub-tasks: luminance enhancement and hue correction. For luminance enhancement, we employ two variational U-Nets and a multi-scale mapping module to translate faded luminance into restored counterparts. For hue correction, we design a dual-branch color query module guided by localized hue priors extracted from faded paintings. Specifically, one branch focuses attention on regions guided by masked priors, enforcing localized hue correction, whereas the other branch remains unconstrained to maintain a global reasoning capability. To evaluate PRevivor, we conduct extensive experiments against state-of-the-art colorization methods. The results demonstrate superior performance both quantitatively and qualitatively.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01