アーカイブ / VLM / Computer Vision
画像ごとに視覚モデルを一時調整するLoRA-TTT：分類精度と予測確率を分けて読む
LoRA-TTT
LoRA-TTTの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
(a) Test-time Prompt Tuning [ 47 ]
概要
- 画像エンコーダー内のLoRAを判定画像ごとに更新し、分類名の文章特徴は事前計算する。
- 著者らの表では、元のCLIPに対する平均top-1精度の差はImageNet派生4種で5.79ポイント、細かな分類10種で1.36ポイントだった。
- 両損失を使う設定の期待較正誤差は元のCLIPより大きく、予測確率の信頼性は別途検証が要る。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、LoRA-TTTの仕組み
- 01分類名と判定画像
- 02文章特徴を事前計算
- 03画像を64通りに拡張
- 04LoRAを一時更新
- 05分類確率を出力
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
LoRA-TTTは、判定する画像一枚に合わせて視覚言語モデルの画像側を一時的に調整する。視覚言語モデルは画像と文章を対応付けるモデルで、CLIPは分類名を表す文章と画像の近さから、対象業務の正解ラベルを使わずに分類できる。
ただし、学習時と判定時で画像の分布、たとえば見た目や撮影条件が異なると精度が落ち得る。推論時学習は、判定時の画像を使ってモデルを調整する方法であり、正解ラベルを得にくい場面で検討される。
手法
分類名を文章にした特徴を先に計算しておく。判定画像は元画像を含む64通りの切り抜き画像に増やし、予測への確信度が高い上位10％を学習に使う。LoRAは元の重みを固定し、小さな追加行列だけを更新する方法で、この実験では画像エンコーダーの後段に適用した。
更新には、分類確率のばらつきを抑える損失と、一部を隠した画像と元画像の全体特徴を近づける損失を使う。後者は画素を描き直す処理ではない。たとえば「車」と「飛行機」を分けるとき、画像一枚でLoRAを一時更新し、画像特徴と保存済みの文章特徴の近さから分類確率を出す。更新は画像ごとに戻す。
新規性
著者らが提案するのは、視覚言語モデルの推論時学習で、更新対象を文章プロンプトから画像エンコーダー内のLoRAへ移す方法である。元の重みを固定し、正解ラベルのない画像ごとに追加パラメータだけを調整する。
もう一つの特徴は、隠した画像と元画像の全体特徴を近づける損失を、分類確率に基づく損失と組み合わせた点にある。この特徴の比較には画像デコーダーや推論前の補助学習を要しない。
従来手法との違い
比較対象のTPTは、判定画像から作った複数の画像を使い、分類用の文章プロンプトを画像ごとに更新する。LoRA-TTTは文章特徴を事前計算し、判定時には画像側だけを更新する。別の分類文を使う場合は、その文章特徴を計算しておく必要がある。
著者らは、画像エンコーダーの対象行列をLoRAなしで直接更新する方法とも比較した。既定の文章プロンプトを使った表では、LoRA-TTTの平均top-1精度が両評価群でこの方法を上回った。この差は掲載されたモデルと設定での結果である。
実験結果
著者らはCLIP-ViT-B/16で、ImageNetとその派生4データセット、細かな分類を扱う10データセットを評価した。既定の文章プロンプトでのtop-1精度、つまり正解を第1候補に選んだ割合は、派生4種の平均で元のCLIPが57.14％、LoRA-TTTが62.93％、細かな分類10種の平均で63.64％と65.00％だった。
確率と実際の正答率のずれを測る期待較正誤差は、派生4種の平均で元のCLIPが4.80、両損失を使うLoRA-TTTが16.49、特徴を比較する損失のみの設定が5.59だった。著者らの表は、精度と確率の信頼性を別々に確認する必要を示している。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：社内の商品写真を既定の種類へ振り分ける作業で試す。入力は現場のカメラで撮った写真と分類名、出力は種類ごとの予測確率と、人が確認するための分類候補とする。
適用には、基になる視覚言語モデル、分類名を文章にした特徴、撮影条件の異なる現場写真が要る。各写真でLoRAを一時更新して分類し、次の写真の前に戻す。正解を確かめるため、写真には担当者が確定した種類のラベルも用意する。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場のカメラで得た商品写真を撮影条件ごとに集め、担当者が正解の種類を付ける。分類名を確定して文章特徴を計算し、同じ写真と分類名で元のCLIP、文章プロンプトを更新するTPT、LoRA-TTTを比べる。追加のセンサーは想定しない。
LoRA-TTTでは写真ごとに一時更新し、次の写真の前に戻す。条件別のtop-1精度と期待較正誤差を測り、誤分類を確認する。一枚当たりの処理時間とメモリ使用量も記録し、分類名や撮影条件に応じた調整が必要か判断する。
限界と課題
著者らは、分類確率のばらつきを抑える損失には予測を過信させる問題があると述べる。表では、両損失を使うLoRA-TTTの期待較正誤差が元のCLIPより大きい。一方、画像を隠して特徴を比較する損失だけを使う設定では、誤差は両損失の設定より小さい。
編集上の検証事項は、現場写真での誤分類、確率と実際の正答率のずれ、写真一枚当たりの処理時間とメモリ使用量である。確認できた本文の範囲では、実業務への移植結果や、撮影条件が連続して変わる場面での性能は判断できない。
出典
元のタイトル・要旨を確認する（英語）
LoRA-TTT: Low-Rank Test-Time Training for Vision-Language Models
The rapid advancements in vision-language models (VLMs), such as CLIP, have intensified the need to address distribution shifts between training and testing datasets. Although prior Test-Time Training (TTT) techniques for VLMs have demonstrated robust performance, they predominantly rely on tuning text prompts, a process that demands substantial computational resources and is heavily dependent on entropy-based loss. In this paper, we propose LoRA-TTT, a novel TTT method that leverages Low-Rank Adaptation (LoRA), applied exclusively to the image encoder of VLMs. By introducing LoRA and updating only its parameters during test time, our method offers a simple yet effective TTT approach, retaining the model's initial generalization capability while achieving substantial performance gains with minimal memory and runtime overhead. Additionally, we introduce a highly efficient reconstruction loss tailored for TTT. Our method can adapt to diverse domains by combining these two losses, without increasing memory consumption or runtime. Extensive experiments on two benchmarks, covering 15 datasets, demonstrate that our method improves the zero-shot top-1 accuracy of CLIP-ViT-B/16 by an average of 5.79% on the OOD benchmark and 1.36% on the fine-grained benchmark, efficiently surpassing test-time prompt tuning, without relying on any external models or cache.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01