登录

南方科技大学、浙江大学等三位专家讲述多学科交叉助推医学成像突破极限与应用



速读:本次报告将围绕基础模型的预训练及其在多模态眼科图像分析中的高效微调技术展开。
来源:科学网 发布时间:2024/12/3 17:06:41

南方科技大学、浙江大学等三位专家讲述多学科交叉助推医学成像突破极限与应用

直播时间:2024年12月3日(周二)20:00-22:00

直播平台:

科学网APP

https://weibo.com/l/wblive/p/show/1022:2321325107519608455265

(科学网微博直播间链接)

科学网微博

科学网视频号

【直播简介】

北京时间12月3日晚八点,iCANX Youth Talks第八十四期将隆重开播!本期,我们邀请到了南方科技大学副教授唐晓颖、浙江大学教授杨青、浙江大学教授杨旸主讲,东南大学教授张煜东、北京理工大学教授杨健担任研讨嘉宾,吉林大学教授白雪担任主持人,期待你一起加入这场知识盛宴。

【嘉宾介绍】

唐晓颖

南方科技大学

多模态眼科图像基础模型及高效微调

【Abstract】

近年来,基础模型的预训练与微调范式在多个领域展现了卓越性能,尤其在自然语言处理和计算机视觉任务中取得了显著进展。然而,基础模型在医学领域,特别是眼科的应用,仍然面临诸多挑战。医学图像数据规模较小、模态复杂,同时高质量的基础模型训练需要消耗大量计算资源。此外,现有的医学图像数据质量和多样性不足,限制了基础模型在下游任务中的泛化能力。本次报告将围绕基础模型的预训练及其在多模态眼科图像分析中的高效微调技术展开。我们提出了一种基于信息熵掩码策略的多模态融合技术,能够有效挖掘图像潜在模式,并在多个下游任务中实现了出色的表现。同时,我们开发了基于提示符的高效微调技术,显著减少了处理高分辨率医学图像时的内存消耗,并在有限的计算资源下提升了模型性能。

【BIOGRAPHY】

唐晓颖,约翰霍普金斯大学博士,南方科技大学电子与电气工程系长聘副教授、研究员。国自然优秀青年基金获得者;广东省杰出青年基金获得者;深圳市优秀青年基金获得者;深圳市“鹏城孔雀计划” 特聘 教授。“十四五”科技部重点研发计划青年科学家项目、“十三五”科技部重点研发计划课题、国家自然科学基金面上项目等10余项科研项目负责人;Neural Networks、IEEE Transactions on Cognitive and Developmental Systems期刊副编辑;国际会议 MICCAI领域 主席 、分会场 主席 、大会本地 主席 ;美国电气与电子工程师协会(IEEE)高级会员;IEEE EMBS Shenzhen Chapter学会秘书长。

杨青

浙江大学

频率域调控超分辨显微成像及在体应用

【ABSTRACT】

光学超分辨成像在生物学、材料学研究方面发挥了巨大的作用,已经可对数纳米的结构成像,其研究对象多以薄层活细胞和纳米材料为主,需特殊染色,设备体积庞大,要在静态隔振环境下使用。围绕小型化和内腔在体超分辨,团队融合光/医/材料学科知识,以频率域调控为核心技术,提出频域编码调控机理,突破超分辨依赖非线性荧光标记的原理限制,提高片上超分辨空间带宽积1个量级;提出空间频域追踪信标编码方法,实现百米长单光纤运动超分辨;毫米空间异构集成和 多维 数据融合,集成白光、共焦、光谱等多种功能,实现跨尺度多模态显微内窥。在肿瘤体边界识别、疗效监测等领域有重要应用前景。

【BIOGRAPHY】

浙江大学光电科学与工程学院, 极端 光学技术与仪器全国重点实验室教授。2001年6月毕业于浙江大学获得学士学位,2006年6月获浙江大学博士学位,师从杨德仁 院士 ,之后受聘于浙江大学,2013年12月晋升教授。曾任美国佐治亚理工学院、剑桥大学访问学者。获王大珩光学奖中青年科技人员奖(2023)、国际先进材料奖(2018)、国家技术发明奖二等奖(5/6,2019)、中国光学十大影响力事件、两次获“中国光学十大进展”(2017,2023)。主持基金委交叉学部重大(Co-PI)、国际合作重点、国家优秀青年基金等项目。在Nat. Photonics, Phys. Rev. Lett.等领域重要期刊发表论文 105篇,SCI 他引5000余次。获得授权国家发明专利40余项。任Science Bulletin副主编, Advanced Photonics Nexus编委等职;组织承办Advanced Photonics、Photonics Asia等国内外重要学术会议。

主题:基础模型|南方科技大学|高效微调|唐晓颖