表示
超・人工知能研究所 Super AI Research Lab トップへ超・人工知能研究所AI Research Lab / ぱそ太郎工事中

since
平成38年9月29日

← 検索結果に戻る

確信度を補正しても元の予測を保つ、確率ベクトルの修復法

CORD

保存した記事を見るこのブラウザに保存します。無料会員で端末間の同期・フォルダ整理
原論文の図

CORDの原論文から掲載した図です。細部はクリックして拡大できます。

原論文の図の説明を読む

Figure 1: Accuracy hides the extent of top-1 prediction changes. For Vector Scaling on ImageNet-1K with ResNet-50, accuracy change reflects the net balance of accuracy-improving ( 𝒞 + \mathcal{C}^{+} ) and accuracy-degrading ( 𝒞 − \mathcal{C}^{-} ) revisions, whereas TPCR in Equation ( 10 ) counts all revisions, including accuracy-neutral changes between incorrect classes ( 𝒞 0 \mathcal{C}^{0} ).

出典:CORD / arXiv ↗

概要

  • CORDは補正後の全クラス確率を修復し、元の分類器が選んだクラスを最上位に保つ。
  • 著者らの画像分類実験では、評価した全ての分類器と補正器の組で予測変更率がゼロだった。
  • 現場での利用には画像、正解ラベル、全クラスの確率出力を用意し、補正器の直接出力と比較する必要がある。
補足:編集した模式図で仕組みを確認する

VISUAL EXPLAINER

図でつかむ、CORDの仕組み

左から右へ読む
  1. 01元と補正後の確率
  2. 02元の予測を特定
  3. 03確率配分を調整
  4. 04修復済み確率

原論文の説明をもとにした模式図です。処理の細部は省略しています。

研究の背景

分類器の確信度を学習後に補正すると、各クラスの確率が変わり、最も確率が高い予測クラスまで入れ替わることがある。元の判定を使い続ける運用では、確信度だけを見直したつもりでも判定が変わる。

正解率の差だけでは変更件数は分からない。正解から誤りへの変更と、その逆が相殺されるうえ、ある誤答から別の誤答への変更は正解率に表れないためだ。

手法

CORDは、元の分類器と学習済み補正器が出す全クラスの確率を使う。元の最上位クラスを特定し、そのクラスに割り当てる確率を決め直す。残りの確率は他クラスへ、補正器が付けた比率のまま配る。修復後の確率でも元のクラスが一意に最上位となる範囲を使う。

例えば元の判定が「傷」で、補正後は「汚れ」が首位なら、「傷」を首位に戻しつつ、その他のクラス間の確率比を保つ。補正用データでは各例の配分を共同で調整し、元の判定への平均確率を、可能なら補正器の出力と同じにする。そこで得た一つの値を新しい入力にも使う。

新規性

CORDは、学習済み補正器が出した全クラスの確率を後から修復し、修復後の確率ベクトル自体が元の予測クラスを選ぶようにする。補正器の学習方法や直接出力は変えない。

元の予測以外のクラス間では補正後の確率比を保つ。補正用データ全体では、元の予測に割り当てる平均確率を、実現可能な範囲で補正器の出力に合わせる。

従来手法との違い

比較の基準は、学習済み補正器が直接出す確率である。Vector Scalingなどの補正器は最上位クラスを変えうる。CORDはその出力を受け取り、元の分類器が選んだクラスを最上位に戻す。

論文は、予測が変わった例だけを最小限修復する方法とも比較する。どちらも予測変更率はゼロで、他クラス間の確率比を保つ。この比較では、補正用データ全体で確率を調整する方法の違いを見られる。

実験結果

著者らはCIFAR-10、CIFAR-100、ImageNet-1Kの画像分類で評価した。各データセットを5通りに分割し、補正器の学習とCORDの構築に使う集合と評価集合を分けた。各分割の両集合は、CIFARで各5,000件、ImageNetで各25,000件である。

著者らによると、評価した全ての分類器と補正器の組で、元の予測が変わった割合を示すTPCRはゼロだった。CIFAR-100では、補正器の直接出力と比べた平均低下幅はECEが4.642パーセントポイント、負の対数尤度(NLL)が0.5114、Brierスコアが0.033691だった。後二者は正解クラスの確率や全クラスの確率を評価する指標である。

応用の可能性

編集上の応用案 · 論文が実証した用途とは区別しています。

編集上の応用案:製造ラインの欠陥画像分類で、既存の判定クラスを保ったまま、その判定に添える確率を見直す。入力はカメラ画像に対する分類器と補正器の全クラス確率、出力は元の判定を最上位とする修復済み確率とする。

適用には現場の画像、欠陥種別の正解ラベル、既存分類器の確率出力が要る。撮影条件とクラス定義に合う画像で補正器を学習し、その出力にCORDを適用する。現場で確率の品質が改善するかは未検証である。

応用先の候補からNauhに相談できます。

導入時の検証

導入時の検証案 · 対象データでの再評価が必要です。

導入時の検証案:現場のカメラ画像と欠陥種別の正解ラベルを集め、補正器の学習とCORDの構築に使う集合、評価だけに使う集合に分ける。既存分類器を固定し、元の確率、補正器の直接出力、CORDの修復出力を同じ画像で記録する。

直接出力を基準に、TPCR、確信度と正解率のずれを測るECE、NLL、Brierスコアを比べる。元の判定と修復後の判定が全件で一致するかも調べ、撮影条件や欠陥種別ごとに結果を見る。必要な全クラス確率とラベルを取得できるか、着手時に確認する。

限界と課題

著者らの予測保持の保証は、同順位を一貫して扱い、必要な場合は固定の数値処理で確率を安定化する条件に基づく。報告された実験では分類器の重みを固定し、画像分類データセットで評価している。

編集上の検証事項:製造現場の画像でも確信度の指標が改善するか、撮影条件や欠陥の種類が変わっても結果が続くかを調べる。元の分類器の誤判定も保持されるため、判定自体の正しさは別に確認する。

応用先の候補
研究内容と応用案に基づく分類です。業界での導入実績を示すものではありません。

出典

元のタイトル・要旨を確認する(英語)

Let Confidence Change, Not the Prediction: Prediction-Preserving Repair for Post-hoc Calibration

Post-hoc calibration corrects reported confidence, yet a multiclass calibrator can also change the associated top-1 prediction. Accuracy captures only the net effect of these changes on correctness, not how often predictions change; the Top-1 Prediction Change Rate (TPCR) instead measures this frequency. We propose Calibrator-Output Repair for Top-1 Decision Preservation (CORD), the first post-fit adapter to impose exact prediction preservation by repairing the full calibrated probability vector. From the original and calibrated outputs alone, CORD determines the mass assigned to the original top-1. The calibrated conditional distribution allocates the remaining mass over the other classes, yielding a repaired vector whose own argmax recovers the original prediction. On the calibration split, CORD coordinates the repaired masses to retain the calibrated outputs' mean mass on original predictions whenever attainable. The adapter alters neither the fitted calibrator nor its direct output, fits no additional supervised map, and requires no user- or validation-tuned hyperparameter. Across CIFAR-10/100 and ImageNet-1K, CORD attains zero TPCR by construction and lowers mean ECE, NLL, and Brier relative to the corresponding direct outputs in every dataset; paired gains persist under distribution shift and across calibration-set sizes. CORD thus removes the preservation constraint from calibrator fitting and assigns exact recovery of the original decision to subsequent output repair. Our code is available at https://github.com/labhai/CORD.

論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新:2026-10-01