K-MaT: Knowledge-Anchored Manifold Transport for Cross-Modal Prompt Learning in Medical Imaging<br>K-MaT:基于知识锚定的流形迁移用于医学影像中的跨模态提示学习<br>[摘要](abstracts/2603.06340.html)

Abstract (EN)

Abstract not available.

摘要 (ZH)

在高端成像(如CT)上适应的大规模生物医学视觉-语言模型(VLMs)往往难以迁移至前线低端模态(如放射成像),易陷入模态特定的捷径学习。我们提出K-MaT(基于知识锚定的流形迁移),一种提示学习框架,可在无需低端训练图像的情况下,将决策结构迁移至低端模态。K-MaT通过分解提示、将其锚定于临床文本描述,并利用融合Gromov-Wasserstein最优传输对齐低端提示流形至视觉基础的高端空间。我们在四个跨模态基准上评估K-MaT,包括皮肤镜、乳腺X光到超声,以及CT到胸部X光。K-MaT取得了最先进的结果,将平均准确率的调和均值提升至44.1%(对比BiomedCoOp的42.0%),宏F1分数提升至36.2%。值得注意的是,在具有挑战性的乳腺成像任务中,它缓解了标准方法(如CoOp在低端模态上准确率降至27.0%)所见的灾难性遗忘,保持了跨模态的稳健性能。通过最优传输对齐提示流形,为医学VLMs的零样本跨模态部署提供了一条高效路径。

← Back