由北师港浸大理工科技学院数据科学专业王睿朗、计算机科学与技术专业徐烁同为共同第一作者，与数据科学专业刘博文等成员合作完成的论文《PromptMask: A Controllable Text-Driven Masking Framework for Self-Supervised Visual Pretraining》近日获IEEE International Conference on Multimedia and Expo，ICME 2026（CCF-B类会议）录用，并在会议上展示。该研究在统计与数据科学系副系主任陈东龙教授与计算机科学系系主任苏伟峰教授的指导下开展，面向医学影像标注稀缺的问题，探索以自然语言引导自监督视觉预训练的新方法。

会议介绍

ICME自2000年创办以来，由IEEE电路与系统、通信、计算机及信号处理四个学会共同支持，是多媒体领域的国际学术交流平台，关注图像与视频处理、多模态计算及人工智能等研究方向。ICME2026于2026年7月5日至9日在泰国曼谷举行，汇聚相关领域的研究人员，交流多媒体技术、系统与应用的最新进展。

论文内容介绍

医学影像模型的训练往往依赖大量专业标注，而高质量标注需要投入医生的时间与经验。自监督学习通过利用未标注图像开展预训练，为缓解这一问题提供了思路。其中，掩码图像建模将图像的一部分遮住，让模型根据可见内容重建原图，以学习有用的视觉特征。但医学影像中的病灶或关键器官常集中在局部区域，随机遮挡容易将学习任务分散到大量与目标无关的背景上。

图1 PromptMask总体框架 文本引导区域定位、区域感知掩码图像建模与下游任务迁移

针对这一问题，团队提出可控的文本驱动掩码框架 PromptMask。研究首先利用自然语言提示描述目标，结合医学视觉语言模型 BiomedCLIP 生成语义显著性信息，再通过聚类、SAM 区域细化与边界框扩展，定位与任务相关的区域。在预训练阶段，框架对这些区域施加较高比例的遮挡，对背景采用较低比例的遮挡或保留可见，使模型通过重建关键区域学习更有针对性的特征，并将预训练编码器迁移到分类、检测和实例分割任务。该过程无需额外提供任务专属的人工区域标注。

研究在脑部 MRI、胸部 CT 和肺部 X 光数据上进行了验证。在全量微调设置下，PromptMask 的分类准确率分别达到96.8%、97.5%和96.0%，均优于论文比较的基线方法。其中，胸部 CT 分类准确率较 SparK 提升3.1个百分点，较 AnatoMask 提升1.7个百分点。

掩码比例实验进一步表明，在胸部 CT 分类任务中，PromptMask 仅遮挡40%的图像块即可达到96.8%的准确率，高于 SparK 在70%掩码比例下的94.4%。这说明，围绕关键语义区域设计遮挡策略，可以在较低掩码比例下获得较好的表示学习效果，为医学影像自监督预训练提供了新的方法思路。

图2 王睿朗在ICME 2026 会议现场展示 PromptMask 研究成果

图3 毕业论文答辩合照 (左起：胡瑜加博士、王睿朗、刘博文、陈东龙教授)

PromptMask将自然语言提供的语义信息引入医学影像自监督学习，通过可控的区域遮挡策略，让模型更有针对性地学习关键视觉特征。这项工作体现了理工科技学院本科生科研与毕业论文研究的有效衔接，也展现了统计与数据科学系与计算机科学系学生将专业知识用于实际研究问题的能力。本次科研成果获得国际学术界认可，不仅是对学生个人努力的肯定，也彰显了学院在数据科学与人工智能交叉领域的科研实力。毕业后，王睿朗获研究型硕士全额奖学金，就读于香港科技大学（广州）；徐烁同前往伊利诺伊大学香槟分校硕士深造；刘博文则赴卡内基梅隆大学攻读计算数据科学硕士。

来源 | 统计与数据科学系