[Submitted on 29 Jul 2026]

View PDF HTML (experimental)

Abstract:跨模态知识蒸馏可将诊断知识从强大但昂贵的教师模态迁移至成本更低、更易部署的学生模态。然而在医学影像分析中，这两种模态往往是非配对的：它们来自不同患者队列，且占据几何上不相容的特征空间。这使得实例级蒸馏失效，直接特征匹配也不可靠。为应对这些挑战，我们提出共享语义码本蒸馏（SSCD），通过共享离散码本比较教师和学生表征。每一幅图像都被表示为一个公共、模态无关词汇表上的分布，知识通过在全局和类别条件上对齐这些分布来进行迁移，无需配对样本或直接可比的原始特征。码本通过指数移动平均在线演化，并通过熵正则化和死码重启保持多样性。推理时，所有教师端和码本模块均被丢弃，仅保留学生编码器和分类器。在两个异构非配对设置上（OCT到眼底视网膜疾病分类和CT到胸部X光肺炎分类），SSCD将学生性能从64.5提升至70.2 macro-F1，以及从73.8提升至76.3 macro-F1，分别优于两个设置中所有评估的蒸馏基线。代码和预训练模型可在this https URL获取。

Submission history

From: Dillan Imans [view email]
[v1] Wed, 29 Jul 2026 18:10:50 UTC (4,720 KB)