[Submitted on 29 Jul 2026]

View PDF HTML (experimental)

Abstract:跨模態知識蒸餾可將診斷知識從強大但昂貴的教師模態轉移至更便宜且更易部署的學生模態。然而，在醫學影像分析中，這兩種模態通常是未配對的：它們來自不同的患者群體，並佔據幾何上不相容的特徵空間。這使得實例級蒸餾無效，且直接特徵匹配不可靠。為了解決這些挑戰，我們提出了共享語義碼本蒸餾（SSCD），它透過共享的離散碼本來比較教師和學生的表徵。每張影像被表示為一個在共同的、與模態無關的詞彙上的分佈，而知識則透過在模態之間對齊這些分佈（全局地和類別條件地）來轉移，而無需配對樣本或直接可比較的原始特徵。碼本透過指數移動平均線上演化，並透過熵正則化和死碼重啟來保持多樣性。在推論時，所有教師端和碼本模組都會被丟棄，只留下學生編碼器和分類器。在兩個異質的未配對設定（OCT到眼底視網膜疾病分類和CT到胸部X光肺炎分類）上，SSCD分別將學生模型的宏F1從64.5提升至70.2，以及從73.8提升至76.3，優於兩個設定中所有評估的蒸餾基線。程式碼和預訓練模型可在 this https URL 取得。

Submission history

From: Dillan Imans [view email]
[v1] Wed, 29 Jul 2026 18:10:50 UTC (4,720 KB)