アーカイブ / Computer Vision
構造の事前学習と順位予測で、ネットワーク探索の実測回数を抑える
DCL-ENAS
DCL-ENASの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Illustration of NAS and ENAS using image classification as an example.
概要
- 未評価のネットワーク構造から演算経路に基づく表現を学び、実測した候補から性能の順位を学ぶ探索法。
- 著者らは、既発表の最も強い比較手法に対する検証精度の差を、ImageNet16-120で0.05%、NASBench-101で0.39%と報告。
- 心電図の不整脈分類では、比較対象の非NASモデルより性能が約2.5パーセントポイント高く、7.7 GPU日を要したと報告。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、DCL-ENASの仕組み
- 01候補ネット構造
- 02演算経路の符号化
- 03構造表現の事前学習
- 04精度順位を学ぶ探索
- 05最良の実測構造
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
DCL-ENASは、分類モデルなどに使うネットワークの構造を進化的に探す手法である。進化的探索は、候補を評価・選択し、構造を変えた新しい候補を作る操作を繰り返す。候補ごとに最後まで学習して検証精度を測るため、実測する構造が増えるほど計算費用も増える。
予測器で候補の性能を見積もれば実測回数を抑えられるが、予測器を学習するための実測値も高価だ。限られた実測評価回数の中で、次に試す構造を適切に選べるかが課題になる。
手法
まず、探索範囲にある未評価の構造を、入力から出力までの演算経路で表す。固定した演算の並びに沿って各経路を二値の列に変換し、構造間の近さを求める。この情報で構造を群に分け、予測器の表現が同じ群に近づくよう事前学習する。対照学習とは、近い例の表現を寄せ、異なる例を離す学習法である。
次に一部の候補を最後まで学習・検証し、構造と検証精度の組で予測器に順位を学ばせる。探索では構造を変更して新候補を作り、予測器で選別する。予測値と不確かさを基に選んだ一部を実測して予測器を更新し、評価回数の上限に達したら、実測した候補で検証精度が最も高い構造を返す。
新規性
著者らの提案は、性能ラベルを使わない構造表現の事前学習と、実測精度を使う順位学習の両方に対照学習を用いる点にある。前段では演算経路に基づく構造の類似性を学び、後段では候補間の性能差を学ぶ。
さらに、構造内の情報の流れに基づく進化演算を探索に組み込む。これは構造の表現方法、予測器の学習方法、次の候補の作り方を組み合わせた提案である。
従来手法との違い
本文が説明する一般的な予測器は、実測した「構造と検証精度」の組を使い、精度の数値を回帰で推定する。回帰とは数値を直接予測する方法で、教師データを増やすには別の候補を最後まで学習・検証する必要がある。一方、先行研究には候補の順位を対照学習で予測する方式もある。
DCL-ENASは、未評価の構造から表現を事前学習した後、実測した候補の相対的な性能を学ぶ。探索中も予測だけで候補を絞り、選んだ一部を実測して予測器を更新する。実測評価を不要にする方式ではない。
実験結果
著者らは、NASBench-101とNASBench-201を用いた比較で、DCL-ENASが最も高い検証精度を得たと報告する。最も強い既発表の比較手法との差は、ImageNet16-120で0.05%、NASBench-101で0.39%と記載されている。ここでの数値は本文の表記に従い、百分点への読み替えはしない。
心電図の不整脈分類では、ランダム探索で得た手設計の非NASモデルに比べ、性能が約2.5パーセントポイント高く、7.7 GPU日を要したと著者らは報告する。確認できた本文の範囲では、この性能指標の名称、データ分割、反復回数、実測した構造数など、結果を再現するための詳しい条件は確認できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：心電図による不整脈分類モデルの構造選定に使う。入力には、対象業務で収集した心電図波形、学習用の不整脈分類ラベル、候補となるネットワーク構造を用意する。波形を取得したセンサーと測定条件も記録し、対象データで各候補を学習・検証する。
探索の出力は、実測した候補のうち検証精度が最も高い構造とする。使用予定のセンサーや測定条件が研究事例と異なる場合は、その波形に合わせて学習データと探索範囲を整え直し、独立したデータで性能を確かめる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：対象の心電図センサーと測定条件を決め、学習用の波形と不整脈分類ラベル、独立した検証用データをそろえる。候補構造の探索範囲を定め、各構造を実測した際の検証精度を予測器の教師データにする。同じ実測評価回数でDCL-ENASとランダムな構造探索を比べる。
両方式が選んだ構造を同じ条件で学習し、検証精度、実測した構造数、総計算時間を記録する。使用予定のセンサーで得た波形に条件差がある場合は、追加学習や探索範囲の調整が必要かを調べ、別に確保したデータでも分類性能を測る。
限界と課題
著者らが明示する分野共通の課題は、予測器の教師データを一件増やすにも候補構造の学習・検証が必要なこと、予測が不正確だと探索を誤誘導し得ることだ。DCL-ENASも初期候補と探索中に選んだ候補の実測評価を必要とする。
編集上の検証事項は、対象の探索範囲でも演算経路による表現が有効か、実測評価回数をそろえた比較で利点が残るか、心電図のセンサーや測定条件が変わっても性能が保たれるかである。確認できた本文の範囲では、各実験の分割方法や反復回数は判断できない。
出典
元のタイトル・要旨を確認する（英語）
Evolutionary Neural Architecture Search with Dual Contrastive Learning
Evolutionary Neural Architecture Search (ENAS) has gained attention for automatically designing neural network architectures. Recent studies use a neural predictor to guide the process, but the high computational costs of gathering training data -- since each label requires fully training an architecture -- make achieving a high-precision predictor with { limited compute budget (i.e., a capped number of fully trained architecture-label pairs)} crucial for ENAS success. This paper introduces ENAS with Dual Contrastive Learning (DCL-ENAS), a novel method that employs two stages of contrastive learning to train the neural predictor. In the first stage, contrastive self-supervised learning is used to learn meaningful representations from neural architectures without requiring labels. In the second stage, fine-tuning with contrastive learning is performed to accurately predict the relative performance of different architectures rather than their absolute performance, which is sufficient to guide the evolutionary search. Across NASBench-101 and NASBench-201, DCL-ENAS achieves the highest validation accuracy, surpassing the strongest published baselines by 0.05\% (ImageNet16-120) to 0.39\% (NASBench-101). On a real-world ECG arrhythmia classification task, DCL-ENAS improves performance by approximately 2.5 percentage points over a manually designed, non-NAS model obtained via random search, while requiring only 7.7 GPU-days.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01