アーカイブ / Computer Vision
舌画像の所見分類を左右する条件――切り出し、学習法、ラベル設計の比較
TCM Tongue Diagnosis Ablation Study
TCM Tongue Diagnosis Ablation Studyの原論文から掲載した図です。細部はクリックして拡大できます。
原論文の図の説明を読む
Figure 1: Overall pipeline architecture. The system follows a multi-stage design: YOLO-based tongue segmentation, region-aware preprocessing (mask_crop_v2), backbone feature extraction, and group-specific classification heads.
概要
- 舌画像の複数所見分類について、20種類超の設定を5分割交差検証で比較した。
- 著者らの最良の加重F1は、専門家注釈付き976画像の設定で0.6625、13個の二値ラベルを持つ11,101画像の設定で0.7761だった。
- 撮影画像の切り出し、色変更の幅、まれな所見への重み付け、ラベルの細かさが検討対象になった。
補足：編集した模式図で仕組みを確認する
VISUAL EXPLAINER
図でつかむ、TCM Tongue Diagnosis Ablation Studyの仕組み
- 01舌の写真
- 02舌領域の切り出し
- 03画像特徴の抽出
- 04所見ごとの予測
原論文の説明をもとにした模式図です。処理の細部は省略しています。
研究の背景
舌の色、形、舌苔などを写真から判定する作業は、観察者の経験や撮影環境に左右される。画像から複数の所見を同時に推定できれば記録の補助になるが、モデルや学習方法の選び方を比較する材料が必要だった。
一枚の画像に複数の所見を付ける「複数ラベル分類」では、まれな所見の学習例が少ない。著者らは舌画像を対象に、画像処理からラベルの細かさまで、設計上の選択が結果にどう関わるかを調べた。
手法
まず舌の領域を分けるモデルで写真から舌を切り出し、画像の大きさをそろえる。次にConvNeXt-Tinyなどのモデルが画像の特徴を取り出し、分類器が所見ごとの予測を出す。例えば一枚の写真について、舌色の候補と亀裂の有無をそれぞれ扱う。
学習では、予測と正解ラベルのずれを使ってモデルを更新する。著者らは、まれな陽性例への重み付け、色変更を抑えた画像加工、弱い所見群に独立した分類器を使う方法などを比較した。所見の組み合わせ方も、専門家が付けた38分類の体系と、13個の二値ラベルを持つ体系などで検討している。
新規性
著者らの貢献は、舌画像分類の設計を20種類超の設定で比較した点にある。画像から特徴を取り出すモデル、損失関数、画像加工、学習戦略、ラベル体系を検討した。
さらに、成績の弱い所見群だけ独立した分類器の予測に置き換える方法を評価した。舌の色を扱うため、学習時の色変更を小さくした設定も具体的に示している。
従来手法との違い
少数の陽性例に重みを付けるBCEは、正解と予測のずれから学習する損失関数である。著者らは、陽性例と陰性例への重み付けを変えるAsymmetric Lossと比べ、対象の舌画像分類で加重F1が2.7ポイント高かったと報告する。
複数モデルの予測確率を平均する方法の改善幅は0.9ポイント、弱い所見群だけ独立した分類器の予測に置き換える方法は2.1ポイントと報告された。いずれも、この研究の評価条件での比較である。
実験結果
著者らは5分割交差検証で20種類超の設定を調べた。TongueDx2は5,109画像で、うち976画像に専門家による38分類・11群の注釈がある。別の5,992画像を加えた11,101画像の統合データには、共通の13個の二値ラベルを使った。加重F1はラベルごとの予測結果をまとめる指標である。
著者らが報告した最良の加重F1は、976画像の設定で0.6625、11,101画像の設定で0.7761だった。13次元と45次元のラベル体系では約0.78と約0.22と報告する。ただし、前者の画像数比較はラベル体系と注釈元も異なるため、著者らのいう「データ増加による20.6%改善」を画像数だけの効果とは判断できない。
応用の可能性
編集上の応用案 · 論文が実証した用途とは区別しています。
編集上の応用案：漢方診療で使う舌写真の記録補助として、亀裂、歯痕、舌苔の厚さなど、対象を絞った所見候補を画面に出す。担当者が候補を確認し、必要に応じて修正してから記録する運用を想定する。
入力は施設内で撮影した舌画像、出力は所見候補と確認済みの記録である。施設の撮影画像、対象所見について専門家が付けた正解ラベル、撮影時のカメラと照明の記録を用意し、舌の切り出し方とラベル名を現場に合わせる。
応用先の候補からNauhに相談できます。
導入時の検証
導入時の検証案 · 対象データでの再評価が必要です。
導入時の検証案：所見を数個に絞り、施設内で撮影した舌画像と、各所見について専門家が付けた正解ラベルを集める。カメラと照明条件を記録し、舌領域の切り出し結果とラベル名を点検してから、学習用と評価用に画像を分ける。
基準には同じ画像で学習した単一モデルを置き、色変更を抑えた設定と、弱い所見群の予測を置き換える設定を順に比べる。加重F1だけでなく、所見別の見落とし数、切り出し失敗数、人による修正件数を測る。別施設で使う場合は、その撮影画像でも改めて評価する。
限界と課題
著者らは、初期の切り出し処理で約15%の画像から舌の一部が欠けたことを報告している。また、外部データでは13ラベル中6ラベルに陽性例がなく、45次元のラベル体系では加重F1が低かった。細かなラベルには注釈の雑音と陽性例の少なさもあるという。
編集上の検証事項：撮影施設や照明が変わった場合の成績、APIなどに由来するラベルと専門家判断の一致度を調べたい。所見別の見落とし数と、人が候補を確認した後の誤記録も測る必要がある。
出典
元のタイトル・要旨を確認する（英語）
What Makes Deep Learning Work for Traditional Chinese Medicine Tongue Diagnosis? A Comprehensive Ablation Study
Deep learning has shown promise for automated tongue diagnosis in traditional Chinese medicine (TCM), yet the design space remains underexplored. We conducted a systematic ablation study spanning 20+ model versions under rigorous 5-fold cross-validation on TongueDx2 (5,109 images, 976 expert-annotated) and a merged dataset of 11,101 samples. We compared six backbone architectures, four loss functions, five augmentation strategies, and six training strategies. The best 976-sample model achieved weighted-F1 of 0.6625 using ConvNeXt-Tiny with restrained augmentation and weak-group ensemble, while the best 11,101-sample model reached weighted-F1 of 0.7761. Six key design principles emerged: (1) ConvNeXt-Tiny offers optimal parameter efficiency; (2) BCE substantially outperforms Asymmetric Loss (+2.7%); (3) restrained color augmentation is critical; (4) weak-group ensemble replacement (+2.1%) outperforms probability averaging; (5) data scaling yielded +20.6% improvement; (6) expanding from 13 to 45 label dimensions caused catastrophic collapse (0.78 to 0.22). These principles are generalizable to multi-label medical image classification with class imbalance.
論文本体の取得範囲に基づく解説。AIが作成した未校閲の記事です。性能の数値は著者の評価条件に依存します。応用例と検証計画は編集上の提案です。解説更新：2026-10-01