アーカイブ / Computer Vision
ViTの注意機構を枝刈りし、FFNのチャネルを実行時に選ぶToaSt
ToaSt
ToaStの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1 : ToaSt compression methodology. (a) Standard ViT block architecture. (b) Token compression propagates compression effects across layers due to inter-layer dependencies. (c) ToaSt independently compresses each layer through coupled weight pruning (MHSA) and token channel selection (FFN), preventing cross-layer propagation while reducing d k d_{k} and D D dimensions.
概要
- ToaStはViTの自己注意機構を対応する重みごと枝刈りし、FFNでは推論時にチャネルを選ぶ。
- 著者らのImageNet-1K評価の表1では、ViT-MAE-HugeのTop-1精度は88.52％、演算量は未圧縮比39.4％減だった。
- FFNのチャネル選択に再学習は不要だが、注意機構の枝刈り後には微調整を行う。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、ToaStの仕組み
- 01画像から得た特徴
- 02注意機構の対を枝刈り
- 03FFNのチャネル選択
- 04圧縮後の予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
ToaStは、画像認識モデルのVision Transformer（ViT）が行う計算を減らす方法だ。ViTは画像を小さな領域に分け、領域同士の関係を調べながら特徴を処理するが、規模が大きいと運用時の計算負担が増す。
著者らによると、標準的なViTでは特徴を変換するFFN（順伝播ネットワーク）が総演算量の約61％を占める。領域の数を減らすだけでなく、FFN内部の計算をどう減らすかも実用上の課題となる。
手法
ToaStは学習済みViTの自己注意機構で、問い合わせと照合に使う重みの同じ位置、値と出力に使う重みの対応位置をそろえて削る。削る候補は重みの分布の中心に近い成分から選び、枝刈り後のモデルを微調整する。層の入出力の幅は保つため、次の層へ渡す特徴の形は変えない。
FFNでは推論時に画像領域の一部を抽出し、特徴の値と注意の強さから「チャネル」の重要度を見積もる。チャネルは特徴を表す数値の通り道で、重要度と層ごとの削減率に応じて使う通り道を選ぶ。例えば部品画像なら、画像から得た特徴を各層で処理し、選択後の特徴を次の層へ渡して予測につなげる。
新規性
ToaStは、注意機構の重みを対応関係を保って削る処理と、FFNのチャネルを入力に応じて選ぶ処理を組み合わせる。各層の入出力の幅を維持し、圧縮の影響が後続の層へ伝わることを避ける設計だ。
著者らの主張する進歩は、計算量の多いFFNにも手を入れつつ、そのチャネル選択には再学習を要しない点にある。ただし、注意機構の枝刈り後には精度回復のための微調整を行う。
従来手法との違い
ToMeやDiffRateは、画像を分割した領域に対応する「トークン」の数を減らす。ToaStは各層の注意機構とFFNの内部で特徴の通り道を減らすため、計算を削る場所が異なる。
著者らのImageNet-1K分類の表1では、ViT-MAE-HugeのToaStはTop-1精度88.52％、101.4 GFLOPs、DiffRateは86.65％、103.4 GFLOPsだった。この掲載条件では両指標でToaStが上回るが、表2には同モデルの異なる数値があり、結果の対応関係には確認が必要だ。
実験結果
著者らはImageNet-1Kの分類で、DeiT、ViT-MAE、Swinの計9モデルを評価した。表1のViT-MAE-Hugeでは、未圧縮モデルのTop-1精度86.88％、167.4 GFLOPsに対し、ToaStは88.52％、101.4 GFLOPsで、演算量は39.4％減だった。
処理量は単一のNVIDIA H100、バッチサイズ128、fp32で測定され、同モデルで129.7から206.21画像／秒になった。著者らはCOCOの物体検出でも、未圧縮の51.9に対し52.2 mAPと報告する。mAPは検出精度をまとめる指標だが、確認できた本文の範囲では詳細結果表が途中で切れている。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造ラインのカメラ画像を使う部品検出器で、画像の特徴を取り出すViTにToaStを適用する。入力は部品の撮影画像、出力は部品を囲む枠と判定結果とし、担当者が見落とし候補を確認する流れを想定する。
検討には現場の撮影画像、部品の位置を示す枠のラベル、使用するカメラと既存の検出器が要る。対象部品や照明条件に合わせた学習と調整も必要で、論文中のCOCOでの結果だけでは現場での改善は見込めない。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：現場のカメラ画像を集め、部品を囲む枠のラベルを付けて学習用と評価用に分ける。既存の検出器とそのViTにToaStを適用した検出器を用意し、同じ現場データに合わせて調整する。注意機構の枝刈り後には微調整も行う。
固定したカメラと処理環境で同じ評価画像を入力し、mAP、見落とし数、誤検出数、画像1枚当たりの処理時間を比べる。照明や部品の種類ごとの結果も記録し、精度と時間の両方を満たすか判断する。
限界と課題
著者らは、従来の重みの枝刈りには長い再学習、トークン数を減らす方法には層をまたぐ依存関係があると説明する。ToaStでも注意機構の枝刈り後には微調整を行うため、全工程が再学習なしで完了するわけではない。
編集上の検証事項は、現場画像で検出精度を保てるか、チャネル選択を含む実際の処理時間が減るかである。確認できた本文の範囲ではCOCOの詳細結果表が途中で切れている。また、ImageNet-1Kの表1と表2にはViT-MAE-Hugeの精度と演算量に食い違いがあり、条件の照合が必要だ。
出典
元のタイトル・要旨を確認する（英語）
ToaSt: Token Channel Selection and Structured Pruning for Efficient ViT
Vision Transformers (ViTs) have achieved remarkable success across various vision tasks, yet their deployment is often hindered by prohibitive computational costs. While structured weight pruning and token compression have emerged as promising solutions, they suffer from prolonged retraining and inter-layer dependencies that complicate optimization, respectively. We propose ToaSt, a decoupled framework applying specialized strategies to distinct ViT components. We apply coupled head-wise structured pruning to Multi-Head Self-Attention modules, leveraging attention operation characteristics to enhance robustness. For Feed-Forward Networks (over 60% of FLOPs), we introduce Token Channel Selection (TCS), a training-free method that filters redundant noise channels at inference time. Extensive evaluations across nine diverse models, including DeiT, ViT-MAE, and Swin Transformer, demonstrate that ToaSt achieves superior trade-offs between accuracy and efficiency, consistently outperforming existing baselines. On ViT-MAE-Huge, ToaSt achieves 88.52% accuracy (+1.64%p) with 39.4% FLOPs reduction. ToaSt also transfers effectively to diverse downstream tasks (COCO detection, ADE20K segmentation, CIFAR-100 classification), achieving 52.2 versus 51.9 mAP on COCO. Code: github.com/SHANNonLab-HUFS/ToaSt
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01