アーカイブ / Computer Vision
除霧画像の品質を、全体像と局所の細部から予測するCLIP-DQA
CLIP-DQA
CLIP-DQAの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Illustration of multi-modal prompt tuning for blind dehazed image quality assessment. “FC” means the fully connected layer. We use “ Good photo. ” and ” Bad photo. ” as antonym text prompts following the CLIP-based general image quality assessment method [ 29 ] .
概要
- CLIP-DQAは除霧画像の縮小版と局所領域をCLIPで扱い、参照画像なしで品質点を予測する。
- 著者らが報告したDHQでのSRCCは0.9179で、同じ比較表のHyperIQAの0.8646を上回った。
- 現場で使うには、対象カメラの除霧画像と人の品質ラベルを用意し、撮影条件が変わっても採点順位が一致するか検証する必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、CLIP-DQAの仕組み
- 01除霧画像
- 02全体縮小と局所切出し
- 03CLIPで文章と照合
- 04平均品質点
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
CLIP-DQAは、かすみを除いた画像の見やすさを、正解となる鮮明な画像なしで予測する。このような方法はブラインド品質評価と呼ばれる。実際の撮影では、同じ場面のかすみのない画像を参照用に用意できない場合がある。
人による採点は品質を直接確かめられる一方、多数の除霧結果を調べるには時間と手間がかかる。自動評価には、画像全体の構図だけでなく、部分的に残るかすみなどの細部も捉えることが求められる。
手法
入力した除霧画像から、全体の構図を保つ縮小画像と、細部を保つ複数の切り出し領域を作る。各領域を縮小画像と組にし、画像と文章の対応を学んだモデル「CLIP」で処理する。「Good photo.」「Bad photo.」を基にした文章表現との近さから領域ごとの品質点を求め、平均して画像一枚の予測点にする。例えば建物は明瞭でも空の一部にかすみが残る画像なら、全体像とその局所を一緒に入力する。
学習時には画像側と言語側の各層へ、調整可能な追加の手掛かりである「プロンプト」を挿入する。元のCLIPは固定し、プロンプトなどを、人の平均評価点と予測点の差が小さくなるよう調整する。学習に使う誤差は、差を二乗して平均する平均二乗誤差である。
新規性
著者らは、参照画像を使わない除霧画像の品質評価にCLIPを導入し、局所の切り出し画像と、構図を保つ縮小画像を組にして扱う方法を提案した。局所の点数だけを平均する従来の枠組みに、画像全体の情報を加えている。
さらに、CLIPの画像側と言語側の各層へ学習可能なプロンプトを挿入する。全体と局所の入力、両側のプロンプト調整を組み合わせ、除霧画像から人の評価点を予測する点が著者らの主張する進歩である。
従来手法との違い
比較表には、鮮明な参照画像を必要とする評価法、除霧画像だけを使う評価法、CLIPを用いる既存法が載る。DHQには参照画像がないため、参照画像を使う手法の結果は報告されていない。
CLIPIQA+もCLIPを用いるが、CLIP-DQAは局所領域に画像全体の縮小版を組み合わせ、画像側と言語側を学習可能なプロンプトで調整する。両データセットのSRCCではCLIP-DQAがCLIPIQA+を上回るが、比較の範囲は掲載されたデータセットと分割条件に限られる。
実験結果
著者らは、除霧画像1,750枚のDHQと1,670枚のexBeDDEを評価に使用した。各画像には人の平均評価点がある。画像の内容に基づいて学習用80％、テスト用20％に分ける試行を10回行い、順位の一致を表すSRCCなど三つの相関係数の平均を報告した。
DHQのSRCCはCLIP-DQAが0.9179、HyperIQAが0.8646で、exBeDDEでは順に0.9227、0.9168だった。著者らの部品別実験では、DHQで局所情報と両側のプロンプトを使う構成のSRCCが0.8925、全体情報も加えた構成が0.9179だった。これらは指定された分割条件での結果である。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：屋外カメラの画像を複数の方法で除霧し、担当者が確認する候補の順番を決める。入力は各除霧画像、出力は画像ごとの予測品質点と確認順とする。元画像と候補を人が見比べ、点数だけで自動採用はしない。
必要な入力は対象カメラで撮った画像と、それらから作った除霧結果であり、別のセンサーは想定しない。現場向けに適応学習する場合は、除霧結果に人が付けた品質点を用意する。順位付けが役立つかは、この条件のデータで検証する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象カメラの元画像と、候補となる除霧処理の出力画像を集める。センサーはそのカメラを使い、評価者が各出力画像に見やすさの点数を付けて品質ラベルにする。現場で適応させるなら、このラベル付き画像でプロンプトなどを調整する。
画像内容が学習用と検証用で重ならないよう分け、同じ検証画像に既存の除霧画像評価法も適用して基準とする。人の採点との順位の一致をSRCCで比べ、低評価画像を確認順の上位に置いた件数も数える。カメラや天候ごとの差を記録し、現場での有用性を判断する。
限界と課題
著者らは、既存の学習型評価法について、除霧画像の品質データセットが小さいことを課題に挙げる。また、手作りの対義語を使ってCLIPを学習なしで適用すると、除霧画像の品質評価には十分に合わないと説明する。これらは提案法の設計理由であり、提案法自体の実証済みの限界とは区別する。
編集上の検証事項は、未知のカメラ、天候、除霧処理でも人の採点との一致が続くかである。掲載された相関係数からは、低品質画像を高く評価する頻度や、点数を合否判定に使える境界値は分からない。運用前に現場データで確かめる必要がある。
出典
元のタイトル・要旨を確認する（英語）
CLIP-DQA: Blindly Evaluating Dehazed Images from Global and Local Perspectives Using CLIP
Blind dehazed image quality assessment (BDQA), which aims to accurately predict the visual quality of dehazed images without any reference information, is essential for the evaluation, comparison, and optimization of image dehazing algorithms. Existing learning-based BDQA methods have achieved remarkable success, while the small scale of DQA datasets limits their performance. To address this issue, in this paper, we propose to adapt Contrastive Language-Image Pre-Training (CLIP), pre-trained on large-scale image-text pairs, to the BDQA task. Specifically, inspired by the fact that the human visual system understands images based on hierarchical features, we take global and local information of the dehazed image as the input of CLIP. To accurately map the input hierarchical information of dehazed images into the quality score, we tune both the vision branch and language branch of CLIP with prompt learning. Experimental results on two authentic DQA datasets demonstrate that our proposed approach, named CLIP-DQA, achieves more accurate quality predictions over existing BDQA methods. The code is available at https://github.com/JunFu1995/CLIP-DQA.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01