表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

XOResNet:発火信号の統合と差分選択を組み合わせた深い画像分類モデル

XOResNet

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

XOResNetの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1 : The basic building blocks for deep SNNs. (a) The basic building block in Plain Network. (b) The basic building block in Spiking ResNet. S l ​ [ t ] S^{l}[t] / O l ​ [ t ] O^{l}[t] denotes the input/output spikes of layer l l at time t t . 1 × 1 1\times 1 and 3 × 3 3\times 3 denote the convolution kernel size. B ​ N BN is a batch normalization operation. S ​ N SN denotes the spiking neuron.

出典:XOResNet / arXiv ↗

概要

  • XOResNetは、深いスパイキングニューラルネットワークによる画像分類のための残差ブロックを提案する。
  • 近道経路の種類に応じて論理和と電流の加算を切り替え、主経路には排他的論理和で選んだ差分候補を渡す。
  • 著者らのCIFAR-10実験では、同じ110層・8時間ステップでXOResNetの正解率は90.54±0.16%、OA ResNetは88.60±0.21%だった。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、XOResNetの仕組み

左から右へ読む
  1. 01入力画像
  2. 02二経路の特徴
  3. 03XORで差分選択
  4. 04OA接続で統合
  5. 05分類結果

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

XOResNetは、画像を分類する深いスパイキングニューラルネットワークの学習を助ける手法だ。このネットワークは、神経細胞の発火に見立てた二値の信号を時間ごとに伝える。

深いモデルでは、入力を先の層へ渡す近道経路と、特徴を変換する主経路を合わせる残差構造が使われる。著者らは、二値信号を足すと二値性が崩れ、論理和だけでは接続の種類によって情報が失われ得ると指摘する。

手法

画像から得た発火信号を、各残差ブロックの近道経路と主経路に通す。主経路に渡す前に、対応する二つの特徴を排他的論理和(XOR)で比べ、片方だけに発火がある位置を差分候補として選ぶ。著者らはこの学習前に選ぶ候補を「メタ残差」と呼ぶ。

経路の出力はOA接続で統合する。近道経路が入力をそのまま渡す場合は論理和を使い、どちらかが発火した位置を二値のまま残す。特徴の大きさを変える場合は、二経路の電流を足してから発火を判定する。これらのブロックを重ね、最後の分類器が画像のクラスを出力する。

新規性

著者らの提案は、近道経路の種類に応じて論理和と電流の加算を切り替えるOA接続と、主経路が学ぶ差分候補を排他的論理和で選ぶメタ残差を、一つの残差ブロックに組み合わせた点にある。

前者は経路の統合、後者は主経路に渡す情報の選択を担う。著者らは、この組み合わせによって発火信号の重複や主経路の重複学習を抑えることを狙っている。

従来手法との違い

OR ResNetは二つの経路の発火信号を論理和で統合する。OA ResNetは、入力をそのまま渡す接続では論理和を使い、大きさを変える接続では発火前の電流を加算する。両者ともメタ残差は使わない。

XOResNetはOA接続に排他的論理和による差分候補の選択を加える。著者らは同じ深さのPlain NetworkとSpiking ResNetも調べている。ただし、異なる研究のモデルを並べた表では、深さや時間ステップが必ずしも一致しない。

実験結果

著者らはFashion-MNIST、CIFAR-10、CIFAR-100、miniImageNetの画像分類で評価し、モデルの正解率の平均と標準偏差を10回の試行から報告した。時間ステップは、発火信号を処理する時間方向の刻みである。

同じ深さと時間ステップの比較では、CIFAR-10の110層・8ステップでXOResNetは90.54±0.16%、OA ResNetは88.60±0.21%、OR ResNetは88.09±0.22%だった。一方、別研究のANN2SNNは2048ステップで91.36%と表に記載されており、全手法中でXOResNetが最高精度とはいえない。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:社内の商品画像を登録済みの商品種類に振り分ける。入力は商品画像、出力は種類の予測とし、担当者が予測を確認して分類を確定する。学習には対象商品の画像と、各画像に対応する正解クラスのラベルが必要だ。

追加のセンサーは使わず、画像の大きさと分類クラスに合わせて入力部と分類器を調整する。論文で扱う四つのデータセットに商品画像は含まれないため、この用途での精度や優位性は検証すべき仮説である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:対象商品の画像と正解クラスラベルを集め、学習用と評価用に分ける。入力は画像に限定し、追加センサーは使わない。商品種類の定義を固定し、画像の大きさと出力クラス数を対象データに合わせる。

同じデータ分割と時間ステップでXOResNetとOA ResNetを学習させ、正解率、クラスごとの誤分類、実測の処理時間を比べる。入力部や分類器の調整条件も記録する。論文の正解率を商品画像での達成目標とはみなさない。

限界と課題

著者らが明示する発火信号の重複、情報損失、重複学習は、従来の残差構造についての課題である。XOResNet自体の実運用上の限界として測定された結果とは区別する必要がある。

編集上の検証事項は、商品画像での分類精度、深さを変えた際の安定性、発火信号の数、実際の処理時間である。確認できた本文の範囲では、重複学習を調べる分析は途中で切れており、その数値や実務画像での結果は確認できない。

研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

XOResNet: Exclusive-OR Meta-Residuals Facilitate Deep Spiking Neural Networks Learning

Spiking neural networks (SNNs) hold promise for demonstrating superior learning and representation capabilities in deep models. Given the tremendous success of ResNet in deep learning, it would naturally follow to train deep SNNs with residual learning. However, existing residual structures for constructing deep SNNs still present challenges of spike redundancy or information loss, as well as redundant learning. In the present study, we first aim to address issues of relative spike redundancy in identity mapping and information loss in non-identity mapping. To this end, we propose an OR-ADD (OA) shortcut connection to merge output spikes/currents from two branches in the residual structure. Furthermore, to mitigate redundant learning in the backbone branch of the residual structure, we introduce the concept of XOR meta-residuals, i.e., selecting pre-learning residuals using the Exclusive-OR (XOR) operation for the backbone branch. Finally, by integrating the OA shortcut and XOR meta-residuals, we devise the XOR residual block and further construct XOResNet with varying depths based on this block. Extensive experiments on four datasets, Fashion-MNIST, CIFAR-10, CIFAR-100, and miniImageNet, show that the proposed XOResNet outperforms existing state-of-the-art deep SNNs optimized via gradient descent. These results validate the effectiveness of our OA shortcut and XOR meta-residual components in overcoming fundamental limitations of residual learning in SNNs, providing new architectural insights for building high-performance neuromorphic systems.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01