アーカイブ / Computer Vision
新しい画像クラスを順に学ぶ分類器KAC：画像特徴の値域ごとに判定を調整
Kolmogorov-Arnold Classifier (KAC)
Kolmogorov-Arnold Classifier (KAC)の原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 3 : An overview of the pipeline of the proposed Kolmogorov-Arnold Classifier. For the input feature embeddings, we first normalize them using a layer normalization, then pass them through a set of RBFs that activate them to learnable Gaussian distributions. Finally, we weight all channels with W C W_{C} to obtain the decision space for each class. The right side shows the process of Gaussian RBFs, which map univariate variables to different Gaussian distributions centered at various points and weight these distributions with W q c W_{q}^{c} to derive the final activation distribution for each channel across all classes. The output logits are sampled based on the channel values within the distribution of each class. As tasks increase, new classes can be accommodated by simply expanding W C W_{C} .
概要
- KACは画像特徴を正規化し、ガウス型RBFの反応を組み合わせてクラスごとの判定値を出す。
- 著者らのCUB200・40段階実験では、CPromptの最終正解率が64.80から76.51になった。
- ImageNet-RのL2P・5段階では平均正解率が78.42から77.98に下がり、表は全条件での改善を示していない。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、Kolmogorov-Arnold Classifier (KAC)の仕組み
- 01ラベル付き画像
- 02画像特徴を抽出
- 03正規化とRBF変換
- 04全クラスの判定値
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
KACは、新しい画像クラスを順に学ぶ際に使う分類器である。クラス増分学習とは、新しい種類を覚えるたびに、それ以前の種類も含めて判定する課題を指す。更新によって以前の判定が悪くなる現象は「破滅的忘却」と呼ばれる。
既存の多くの手法は、画像から取り出した数値の並びを線形分類器でクラスに振り分ける。著者らは、この分類器の作り方が新しい種類への適応と過去の判定の維持に関わると考えた。
手法
KACは、画像から得た特徴をクラスごとの判定値に変える。まず事前学習済みの画像モデルが画像を数値の並びにし、層正規化でその値を整える。各数値を複数のガウス型RBFに通す。RBFは、入力値が設定された中心に近いほど強く反応する関数で、特徴のどの値域を判定に使うかを調整できる。
RBFの反応にクラスごとの重みを掛けてまとめ、各クラスの判定値を出す。例えば、種類名を付けた鳥の画像で新しい種類を学ぶ場合、その種類用の重みを追加する。学習後は以前の種類も含む全クラスから判定する。論文では、既存手法の線形分類器をこのKACに置き換えた。
新規性
KACは、画像特徴の各値がどの範囲にあるかに応じて反応を変えるKAN型分類器を、クラス増分学習に組み込む。著者らは、単層のBスプラインを高次元の画像特徴に使うと適応しにくいと分析し、基底関数をガウス型RBFに替えた。
新しいクラスが来ると、そのクラス用の重みを追加する。既存手法の線形分類器をKACに置き換え、分類器の変更が成績にどう影響するかを検証した。
従来手法との違い
比較対象は、事前学習済みの画像モデルから特徴を取り出し、線形分類器で判定するL2P、DualPrompt、CODAPrompt、CPromptである。著者らは各手法の元の設定を使い、分類器をKACに置き換えた。
ImageNet-Rの20段階設定では、単層の従来型KANへの置き換えでは改善せず、悪化する場合があった。Bスプライン部分だけを使う実験でも成績が下がった。したがって、示された効果をKAN型分類器全般の効果とはみなせない。
実験結果
著者らはImageNet-RとCUB200の各200クラスを5、10、20、40段階で順次学習させた。古い画像を新しい段階の学習用に保存しない設定で、各段階の正解率の平均と、最終段階後の全クラス正解率を報告している。
CUB200の40段階では、CPromptの平均正解率が77.34から85.11、最終正解率が64.80から76.51になった。一方、ImageNet-Rの5段階ではL2Pの平均正解率が78.42から77.98に下がった。本文の一律の改善という記述と表には食い違いがある。DomainNetの結果にも言及するが、確認できた本文には該当表がない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：製造ラインで撮った製品画像から外観不良の種類を判定し、新しい不良種を順に追加する。入力はラインのカメラ画像、出力はそれまでに学んだ全不良種の判定結果とする。これは論文で検証された用途ではない。
同じ撮影条件の画像を集め、既存種と新規種の両方に種類ラベルを付ける。画像特徴を取り出すモデルにKACを接続し、新規種を学習するたびに過去の種も判定させる。必要な画像数や現場での精度は別途確かめる。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象ラインのカメラ画像を集め、既存の不良種と追加する不良種にラベルを付ける。撮影条件、種類ごとの画像数、クラスの投入順を記録する。既存の画像特徴抽出モデルに線形分類器を付けた構成を基準とし、同じ学習順でKAC版と比べる。
各段階の全クラス正解率、最終段階後の正解率、古い不良種ごとの誤分類数を測る。新規種の学習時に古い画像を使うかどうかを両構成でそろえる。現場画像に合わせて特徴抽出モデルの調整が要るかも、小規模な試験で判断する。
限界と課題
著者らは、従来型KANのBスプラインを単層の分類器として使うと、高次元の特徴に適応しにくく、過去の学習を損ないうると分析している。また、KACとの相性は組み合わせる手法によって異なると述べている。
編集上の検証事項は、製造画像の撮影条件が変わった場合の成績、古い画像を保存しない運用での誤分類、分類器の規模と判定時間である。確認できた本文の範囲では、製造現場でこれらを測った結果は示されていない。
出典
元のタイトル・要旨を確認する（英語）
KAC: Kolmogorov-Arnold Classifier for Continual Learning
Continual learning requires models to train continuously across consecutive tasks without forgetting. Most existing methods utilize linear classifiers, which struggle to maintain a stable classification space while learning new tasks. Inspired by the success of Kolmogorov-Arnold Networks (KAN) in preserving learning stability during simple continual regression tasks, we set out to explore their potential in more complex continual learning scenarios. In this paper, we introduce the Kolmogorov-Arnold Classifier (KAC), a novel classifier developed for continual learning based on the KAN structure. We delve into the impact of KAN's spline functions and introduce Radial Basis Functions (RBF) for improved compatibility with continual learning. We replace linear classifiers with KAC in several recent approaches and conduct experiments across various continual learning benchmarks, all of which demonstrate performance improvements, highlighting the effectiveness and robustness of KAC in continual learning. The code is available at https://github.com/Ethanhuhuhu/KAC.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01