アーカイブ / VLM / Computer Vision
水域画像と文章を結ぶAquaticCLIP――種分類の結果と現場導入の確認点
AquaticCLIP
AquaticCLIPの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 2: Overview of AquaticCLIP architecture and training process . (a) Shows a set of input image-text pairs. (b) A caption model (MarineGPT) generates textual descriptions for the images. (c) Input images are divided into patches and processed by the image encoder Φ v \Phi_{v} to produce patch embeddings P i \textbf{P}_{i} . (d) The generated textual descriptions S i \textbf{S}_{i} are processed by the text encoder Φ t \Phi_{t} to produce text embedings. (e)-(f) The textual description S i \textbf{S}_{i} is then cleaned by an image-text caption cleaning module to produce refined descriptions S ^ i \hat{\textbf{S}}_{i} which are then combined with groundtruth descriptions G i \textbf{G}_{i} to produce enriched textual description data C i \textbf{C}_{i} . Both image and text embeddings are refined using (h) vision-guided text encoding and (g) prompt-guided vision encoding. The learned prompts E i \textbf{E}_{i} guide the fusion of patch embeddings, while initialized prompts Q i \textbf{Q}_{i} are used to enhance the visual representation. (i) The final image and text features are aligned using a cross-modal contrastive pre-training loss ℒ c o n t \mathcal{L}_{cont} , ensuring a stronger association between text and image representations.
概要
- 水域の画像と文章約200万組を集め、画像全体と検出対象ごとの説明を加えて学習する。
- 著者らのゼロショット分類評価では、MAIのF1スコアが0.871で、固定したCLIPの0.692を上回った。
- 定点カメラで使うには、専門家が種名を付けた現場画像で誤分類と撮影条件ごとの結果を確かめる必要がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、AquaticCLIPの仕組み
- 01水域画像と既存説明
- 02画像・対象の説明生成
- 03関連語を選別・追記
- 04二つの符号器で対照学習
- 05対応付いた特徴表現
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
AquaticCLIPは、水域の画像と文章を対応付け、生物種の分類などに使う手法である。水中画像には視界の悪さ、色のゆがみ、複雑な背景があり、対象の確認には専門知識も要る。大量の画像から調査員が確認すべき候補を絞れれば、水域の観測作業に役立つ。
著者らは、水域に固有の画像と文章の組が大規模には得にくく、一般画像向けの視覚・言語モデルをそのまま使うには課題があると説明する。そこで複数の情報源から組を集め、水域向けに学習した。
手法
著者らは動画や書籍などから水域画像と文章の約200万組を集めた。MarineGPTで画像全体の説明に加え、検出器が見つけた対象ごとの説明を生成する。生成文を語に分け、画像との類似度が高い語を残して、手作業で確認した既存の説明に加える。
画像は小領域に分け、画像符号器が数値の特徴に変える。学習可能なプロンプトという手掛かりで領域の特徴をまとめ、文章符号器には対応画像の情報も反映する。対照学習は正しい画像と文章の組を近づけ、別の組を遠ざける学習である。分類時は、例えば「ウニ」を含む候補文と画像の類似度から種を選ぶ。
新規性
著者らが提示するのは、複数の情報源から集めた水域画像と文章の約200万組に、画像全体と検出対象ごとの説明を加えて学習する構成である。生成した説明から画像に関連する語を選び、元の説明と組み合わせる。
画像側では学習可能な手掛かりを使って小領域の特徴をまとめ、文章側では対応する画像の情報を取り込む。この二つの表現を対照学習で対応付ける点が、提案手法の中心である。
従来手法との違い
比較対象のCLIPは、画像と文章を数値の特徴に変えて照合するモデルである。論文の表には、元の符号器を固定したCLIPと、水域の約200万組で符号器を追加学習したCLIPが載る。AquaticCLIPは、その追加学習に画像側の特徴集約と文章側への画像情報の反映を加える。
著者らは各構成要素を外した場合も比較した。表が示す差は、掲載された分類データセットと評価条件での差であり、個々の工夫だけで現場の撮影条件への強さを判断することはできない。
実験結果
著者らは、事前学習に使っていない外部の6データセットで、分類用の追加学習をしないゼロショット分類のF1スコアを報告した。F1は適合率と再現率を合わせた指標である。MAIではAquaticCLIPが0.871、固定したCLIPが0.692、約200万組で追加学習したCLIPが0.772だった。SAIでは順に0.923、0.702、0.847だった。
語の選別を外した構成のMAIは0.854で、完全な構成は0.871だった。本文は使用データにCSCも挙げるが、確認できた結果表の6列にCSCはない。検出、領域分割、計数については、確認できた本文の範囲では詳しい条件と結果を照合できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：定点の水中カメラ画像から、調査対象の種が写った候補を探す。入力は撮影画像と候補種名を入れた短い文章、出力は画像と各文章の類似度、および調査員が確認する候補画像の一覧とする。
必要なセンサーは水中カメラである。現場での追加学習を前提とせず、候補種名と文章の書き方を決め、専門家が種名を付けた現場画像を評価用に用意する。類似度による順位は確認作業の手掛かりとして扱い、種の確定は調査員が行う。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：水中カメラで得た現場画像を集め、専門家が対象種名を付けた評価用データを作る。まず現場画像での追加学習は行わず、候補種名を入れる文章を統一してAquaticCLIPに入力する。必要なラベルは、この段階では学習用ではなく評価用の種名である。
同じ画像と候補文を固定したCLIPにも入力し、種別のF1スコアと誤分類の内訳を比べる。濁りや撮影角度ごとに結果を分け、文章の書き方を変えた際の差も記録する。水中カメラ以外のセンサーはこの案では想定せず、追加の現場学習が必要かは専門家による誤り確認を踏まえて判断する。
限界と課題
著者らは、生成した説明に壊れた文、誤った説明、無関係な語が混じり得ると記し、語を選別する処理を設けている。提示された分類結果だけでは、その処理が各種の誤説明をどこまで除けたかは分からない。
編集上の検証事項は、濁りや撮影角度が変わった画像、似た種、候補種に該当しない画像への対応である。確認できた本文の範囲では、一部の下流課題の設定や結果は補足資料に委ねられている。論文が「教師なし」と呼ぶ学習にも、手作業で確認された画像の説明文が使われている点に注意が要る。
出典
元のタイトル・要旨を確認する（英語）
AquaticCLIP: A Vision-Language Foundation Model for Underwater Scene Analysis
The preservation of aquatic biodiversity is critical in mitigating the effects of climate change. Aquatic scene understanding plays a pivotal role in aiding marine scientists in their decision-making processes. In this paper, we introduce AquaticCLIP, a novel contrastive language-image pre-training model tailored for aquatic scene understanding. AquaticCLIP presents a new unsupervised learning framework that aligns images and texts in aquatic environments, enabling tasks such as segmentation, classification, detection, and object counting. By leveraging our large-scale underwater image-text paired dataset without the need for ground-truth annotations, our model enriches existing vision-language models in the aquatic domain. For this purpose, we construct a 2 million underwater image-text paired dataset using heterogeneous resources, including YouTube, Netflix, NatGeo, etc. To fine-tune AquaticCLIP, we propose a prompt-guided vision encoder that progressively aggregates patch features via learnable prompts, while a vision-guided mechanism enhances the language encoder by incorporating visual context. The model is optimized through a contrastive pretraining loss to align visual and textual modalities. AquaticCLIP achieves notable performance improvements in zero-shot settings across multiple underwater computer vision tasks, outperforming existing methods in both robustness and interpretability. Our model sets a new benchmark for vision-language applications in underwater environments. The code and dataset for AquaticCLIP are publicly available on GitHub at xxx.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01