[2026年7月29日提出]

PDFを表示 HTML（実験的）

要旨:クロスモーダル知識蒸留は、高性能だが高コストな教師モダリティから、廉価で実用的な生徒モダリティへ診断知識を転送可能にします。しかし医用画像解析では、2つのモダリティはしばしば非対であり、異なる患者コホートから収集され、幾何学的に非互換な特徴空間を占めます。これによりインスタンスレベルの蒸留は無効となり、直接的な特徴マッチングは信頼できません。これらの課題に対処するため、我々はShared Semantic Codebook Distillation (SSCD)を提案します。これは共有の離散コードブックを通じて教師と生徒の表現を比較します。各画像は共通のモダリティ非依存語彙上の分布として表現され、知識はペア化されたサンプルや直接比較可能な生の特徴を必要とせずに、これらの分布をモダリティ間でグローバルかつクラス条件付きで整合させることにより転送されます。コードブックは指数移動平均によりオンラインで進化し、エントロピー正則化とデッドコード再起動によって多様性を維持します。推論時には、教師側およびコードブックモジュールはすべて破棄され、生徒エンコーダと分類器のみが残ります。2つの異種非対設定、OCTから眼底画像への網膜疾患分類およびCTから胸部X線への肺炎分類において、SSCDは生徒のマクロF1をそれぞれ64.5から70.2へ、73.8から76.3へ改善し、両設定で評価したすべての蒸留ベースラインを上回りました。コードと事前学習済みモデルはthis https URLで入手可能です。

投稿履歴

投稿者: Dillan Imans [メールを表示]
[v1] 2026年7月29日 水曜日 18:10:50 UTC (4,720 KB)