アーカイブ / VLM / Computer Vision
画像内のしぐさ・視線・人物関係を一つのモデルで扱うSocialFusion
SocialFusion
SocialFusionの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 5 : Examples of SocialFusion’s successful outputs on each of the classification tasks.
概要
- 五つの画像課題を、分類語または視線位置のヒートマップとして一つのモデルで扱う。
- 著者らは、比較した視覚言語モデルで同時学習による成績低下を観察し、画像特徴の読み取りやすさと課題間の学習方向を分析した。
- SocialFusionは個別学習から同時学習への改善を報告するが、本文の「10指標」と表1の11指標には数の差がある。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、SocialFusionの仕組み
- 01画像・必要な人物枠
- 02固定したCLIPで特徴化
- 03接続器と枠位置の付加
- 04課題文を添えて処理
- 05分類語・視線分布
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
SocialFusionは、画像から手のしぐさ、表情、会話相手への注目、視線の行き先、人物同士の関係を推定する方法だ。答えの形式は分類名や画像上の位置など課題によって違うため、一つの仕組みで学ぶには入力と出力をそろえる工夫が要る。
著者らは、既存の視覚言語モデルを五課題で同時に追加学習すると、一課題ずつ学ぶ場合より成績が下がる「負の転移」を観察した。複数の判定を一つのモデルにまとめる際、個々の判定精度がどう変わるかが実用上の論点になる。
手法
入力は画像で、視線の行き先には一人、人物関係には二人を指定する人物枠も使う。人物枠は画像内の対象を囲む四角形だ。CLIPという画像特徴抽出器の重みは固定し、画像の特徴を小さな接続器で言語モデルが扱える形に変える。枠と重なる領域には、対象の位置を示す情報を加える。
言語モデルには課題を説明する文も渡す。例えば手のしぐさは候補から分類語を出し、視線は画像内の各位置が注目先である度合いを示すヒートマップを出す。学習時には接続器と、言語モデルに加えた少量の調整用の重みを更新する。分類の正解ラベルと視線位置の注釈を、それぞれの出力を学ぶために使う。
新規性
著者らは、視覚言語モデルの事前学習後に、画像から社会的な手掛かりを読み取る性能が落ちる現象を「社会的劣化」と呼ぶ。事前学習の前後で視覚特徴を比較し、単純な分類器による読み取りやすさの低下と、課題間の学習方向の衝突を分析した。
SocialFusionは、固定した視覚エンコーダーと言語モデルを小さな接続器で結び、分類と視線位置の推定を扱う。著者らの主張する前進は、この構成で五課題を同時に学習した際、個別学習からの成績低下を避けた点にある。
従来手法との違い
比較対象はQwen2-VL 2B、Sail-VL 1.5 2B、MolmoE。著者らは各モデルを一課題ずつ、または五課題を同時に追加学習し、同じモデル内で成績の変化を比べた。同時学習では課題間のデータ量をそろえるため、各時期にデータを間引いている。
比較モデルは既に画像と言語を結合したモデルで、SocialFusionは固定した画像特徴抽出器と小さな接続器を使う。著者らによると、Sail-VLとMolmoEで改善した指標は各10指標中2つ、Qwen2-VLでは7つだった。改善と悪化の内訳はモデルごとに異なる。
実験結果
著者らはHaGRIDv2のしぐさ、PISCの人物関係、Ego4DのLooking at Me、GazeFollowの視線位置、AffectNetの表情を評価した。表1はGazeFollowをテスト集合、それ以外を検証用集合で測っている。比較モデルは視線を点で出すため、ヒートマップを使うAUCは報告されていない。
SocialFusionの個別学習から同時学習への変化は、HaGRIDv2のmAPが99.7から99.9、GazeFollowの平均L2距離が0.134から0.128だった。L2距離は予測点と正解点の距離で、小さいほどよい。著者らは全課題で改善を報告する。本文は「10指標」と記すが、表1にはSocialFusionの視線AUCを含む11指標が載っている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：装着型カメラで撮影した会議画像について、写っている参加者が撮影者を見ているかの記録を補助する。入力はカメラ画像、出力は「見ている／見ていない」の判定候補とし、担当者が画像を確認して記録する。
適用には、その撮影環境の画像と人手で付けた視線方向の正解ラベルが要る。必要なセンサーは撮影用カメラで、既存モデルを使う場合も課題文の設定と現場データでの調整・評価が必要になる。論文の会話場面での成績を、そのまま会議での成績とは見なせない。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：装着型カメラで撮った会議画像を集め、参加者が撮影者を見ているかを人手でラベル付けする。まずLooking at Meに相当する一課題だけで調整し、撮影場所や参加者を分けた評価画像で判定の正解率を測る。入力には画像を使い、人物枠を前提にしない。
比較基準は同じ現場画像とラベルを使った一課題の学習結果とする。五課題の同時学習も試すなら、しぐさ、表情、視線位置、人物関係について、それぞれ必要な正解ラベルや人物枠を別途用意する。同時学習後は会議での正解率と参加者ごとの差を測り、改善の有無を確かめる。
限界と課題
著者らの評価は、示された五つの画像課題と三つの比較モデルについての報告である。GazeFollowだけは検証用集合ではなくテスト集合を使う。比較モデルは視線のヒートマップを出さないため、表1にそのAUC値はない。本文の「10指標」に対し、表1にはSocialFusionのAUCを含む11列の指標がある。
編集上の検証事項は、撮影角度や遮蔽が変わる場面での成績と、人物枠の指定ミスへの強さである。確認できた本文の範囲では、会議への適用結果は示されていない。視線や関係の推定を、本人の意図を確定する情報として扱わない運用も検討が要る。
出典
元のタイトル・要旨を確認する（英語）
SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models
Understanding social interactions from visual cues is a fundamental challenge for a socially competent AI. While powerful pre-trained vision-language models (VLMs) have shown remarkable general capabilities, they surprisingly struggle to unify and learn multiple social perception tasks simultaneously, often exhibiting negative transfer. We identify that this negative transfer stems from a critical issue we term "social degradation," whereby the general visual-linguistic pre-training process of VLMs impairs the visual encoder's ability to represent nuanced social information. We investigate this behavior further under two lenses: decodability through linear representation probing and compatibility through gradient conflict analysis, revealing that both play a role in the degradation, especially the former, which is significantly compromised in the VLM pre-training process. To address these issues, we propose SocialFusion, a unified framework that learns a minimal connection between a frozen visual encoder and a language model. Compared with existing VLMs, it exhibits positive transfer across all five social tasks, leveraging synergies between them to enhance overall performance and achieves comparable performance to task-specific state-of-the-art models on various benchmarks. Our findings suggest that current VLM pre-training strategies may be detrimental to acquiring general social competence and highlight the need for more socially-aware training paradigms.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01