アーカイブ / VLM / Computer Vision
画像・文書に共通分類と利用者独自のタグを付ける「OTTER」
OTTER
OTTERの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Fig. 1: Illustration of the OTTER framework. An input image, a wedding photo, is tagged with both a fixed category (Life Moments) and a personalized open label (Wedding Planning). OTTER enables accurate assignment within a predefined category space while flexibly accommodating user-specific custom tags.
概要
- 固定分類と利用者が追加する自由タグを、画像・文書に同時に付ける手法を提案した。
- 著者の評価では、総合F1がOtterで0.81、Favoriteで0.75だった。
- Favoriteの固定分類F1はOTTERが0.69で、Qwen2VLの0.70を下回った。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、OTTERの仕組み
- 01画像・文書と候補タグ
- 02内容とタグを数値化
- 03注意機構で照合
- 04タグ別確率
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
OTTERは、画像や文書に共通の分類と利用者独自のタグを同時に付ける手法だ。一つの資料が複数の話題に関わるとき、固定分類だけでは案件固有の意味を表しにくい。
自由タグだけに頼ると、名称のばらつきで資料をまとめて探しにくくなる。共通の分類による整理と、利用者の目的に合う細かなタグ付けを両立することが、この研究の課題である。
手法
入力は画像または文書と、固定分類・自由タグの候補だ。画像では見た目の特徴を取り、画像内の文字はOCR（画像から文字を読み取る処理）で抽出してキーワードにする。文書では題名と本文からキーワードを取り、候補タグの説明文も共通の数値表現に変換する。
画像と文字の数値表現を足し合わせ、候補タグの表現を手掛かりに多頭注意機構で照合する。これは複数の観点から内容とタグの関係を計算する仕組みで、最後に候補ごとの独立した確率を出す。論文の例では、結婚式の写真に固定分類「Life Moments」と自由タグ「Wedding Planning」を割り当てる。
新規性
OTTERの提案は、事前に決めた分類と利用者が追加する自由タグを、同じ複数タグ付けの枠組みで扱う点にある。候補タグの説明文を内容と照合し、候補ごとに付与する確率を出す。
学習時には六つの固定分類に正解の自由タグと不正解の候補を混ぜ、正解の自由タグも毎回は提示しない。候補の組み合わせが変わる状況を学習に含めている。
従来手法との違い
著者はCLIP、SigLIP2、Qwen2VL、WhatDoYouSeeを、OtterとFavoriteのテスト集合で比較した。総合F1はOTTERがそれぞれ0.81、0.75で、比較対象の最高値を0.10、0.02上回る。
タグ種別ごとに見ると、自由タグのF1は両集合でOTTERが最も高い。一方、Favoriteの固定分類ではOTTERが0.69、Qwen2VLが0.70だったため、すべての条件で首位だったわけではない。
実験結果
著者は独自のOtterとFavoriteのテスト集合で、適合率、再現率、F1を比較した。F1は誤付与を抑える適合率と、見落としを抑える再現率を合わせた指標である。著者の報告では、OTTERの総合F1はOtterで0.81、Favoriteで0.75だった。
自由タグに限ったF1は順に0.99、0.97で、両集合とも比較対象を上回った。Otterはウェブ由来の画像・文とモデル支援の自由タグ、Favoriteは複数の利用者の画像・文と手作業のタグを含む。確認できた本文の範囲では、集合の件数と分割比率は示されていない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案。社内の広報画像と添付説明文を入力し、共通の分類と案件名などの自由タグを候補として、担当者にタグ別の確率を示す。担当者が結果を確認してから、検索用タグとして保存する流れを想定する。
検討には対象業務の画像・説明文、担当者が付けた分類と自由タグの正解例、各タグの説明文が必要になる。入力は既存資料なので追加センサーは想定せず、社内の略語や画像内文字の読み取りに合わせた調整を検証する。効果は未確認である。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案。対象部署の既存画像・説明文を集め、担当者が固定分類と自由タグの正解を付けた小規模な評価集合を作る。入力、タグの説明文、画像内文字の抽出方法を業務資料に合わせて整え、追加センサーは使わない条件を記録する。
現行の手作業タグ付け、または固定分類だけの方式を比較基準にする。タグ種別ごとの適合率・再現率・F1に加え、誤付与の確認時間と、新たに候補へ加えた自由タグの成績を測る。結果を見てタグ説明文や対象資料を調整する。
限界と課題
著者が報告した評価は独自のOtterとFavoriteで行われ、自由タグの正解は前者ではモデル支援、後者では訓練を受けた注釈者の手作業で作られた。また、非対称損失への変更は一貫した改善を示さず、最終構成には二値交差エントロピー損失を採用した。
編集上の検証事項として、別組織の略語、文字の多い画像、出現の少ない自由タグでも精度を保てるかがある。新しいタグを加えた後の成績と担当者の確認時間も測りたい。確認できた本文の範囲では、データ件数と学習・評価の分割比率は分からない。
出典
元のタイトル・要旨を確認する（英語）
OTTER: Open-Tagging via Text-Image Representation for Multi-modal Understanding
We introduce OTTER, a unified open-set multi-label tagging framework that harmonizes the stability of a curated, predefined category set with the adaptability of user-driven open tags. OTTER is built upon a large-scale, hierarchically organized multi-modal dataset, collected from diverse online repositories and annotated through a hybrid pipeline combining automated vision-language labeling with human refinement. By leveraging a multi-head attention architecture, OTTER jointly aligns visual and textual representations with both fixed and open-set label embeddings, enabling dynamic and semantically consistent tagging. OTTER consistently outperforms competitive baselines on two benchmark datasets: it achieves an overall F1 score of 0.81 on Otter and 0.75 on Favorite, surpassing the next-best results by margins of 0.10 and 0.02, respectively. OTTER attains near-perfect performance on open-set labels, with F1 of 0.99 on Otter and 0.97 on Favorite, while maintaining competitive accuracy on predefined labels. These results demonstrate OTTER's effectiveness in bridging closed-set consistency with open-vocabulary flexibility for multi-modal tagging applications.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01