显微镜也会自动“看病”了,还可以自动刷查癌症。
只要病理切片往显微镜下一放,就能实时检测、识别出病变细胞,分类计数指标,并将相关数据直接反馈到目镜上……
近日,宁波光学龙头舜宇光学科技与腾讯、金域共同研发的中国首款智能显微镜,获得 NMPA注册证,成为国内首个获准进入临床应用的智能显微镜产品。
1
癌症被称为“众病之王”,尽早检测诊断是有效救治的重要途径。一般来说,癌症的检查和诊断依赖于病理学检查。而在病理学检查过程中,显微镜观察是必不可少的步骤。钟南山院士曾表示:“临床病理水平是衡量国家医疗质量的重要标志。”
但目前的癌症病例筛查,无论在技术上还是人力上都存在瓶颈。据统计,中国目前仅有 1.5万名病理医生,缺口近10万,供需极不平衡。因此,舜宇早在2018年就联合腾讯、金域开始研发这款产品。
这款显微镜集成了目前病理分析与诊断方面的最新技术,并针对病理医生工作流程和习惯进行多次产品迭代,现已支持乳腺癌免疫组化(IHC)Ki67(肿瘤细胞增殖指数)、ER(雌激素受体)、PR(孕激素受体)和 Her2(细胞表面生长因子2)等常用核染色和膜染色量化分析场景的判读。
以前,病理医生要花大量的时间和脑力,并依靠经验在显微镜下识别和判断病变组织,也只能粗略估算其细胞数量,分析结果可能还因医生经验不同而有所差别。现在,有了智能显微镜,如金域病理专家丁向东主任评价的那样:“医生只要用脚轻轻一踏,智能显微镜就会将分析结果和判断实时精确地呈现在显微镜视野内,医生不需要再来回看显微镜和电脑显示屏,操作非常简单。”
该产品在测试中被证明能有效提升病理医生的工作效率、病理分析的精确度和一致性,有望缓解医院(尤其是基层医院)病理医生数量短缺且经验不足的问题,也是精准医疗从前沿研究走向落地探索的一个良好例证。
2
近年来,随着机器学习与大数据技术的发展,以计算机视觉为首的AI技术已展现出了在病理诊断应用上的巨大潜力。
机器视觉的能力有多强?国际组织SKA(平方公里射电望远镜)合成的有20万颗星星的南半球星空图是测试AI性能的标尺。当前条件下,要从这20万颗星星中找出某种特征的星体,一位天文学家需要169天才能完成,而利用AI技术只需1秒。
当这种能力赋予医学显微镜时,可以做到多项突破——避免IHC结果判读的人为差异,提高判读结果的可靠性,提升病理诊断质量。这对于病理医生稀缺的基层医院尤为有帮助;智能判读将节省稀缺病理医生资源,使其投入更需要的服务之中;为病理免疫组化染色的质量评估做精确定量的质量控制;为医学科研和药企提供免疫组化精准定量检测服务,为新药研发的相关免疫组化研究提供客观性可靠的证据。为肿瘤患者提供分子靶向治疗及免疫治疗等相关精准定量的免疫组化检测服务。
病理医生与智能显微镜结合的工作模式,体现了“人+AI”的全新工作模式,让病理医生和人工智能各自发挥所长,全面提升效率。
智能显微镜目前使用了离线运算版本,腾讯AI Lab还研发了一套基于深度学习方法的升级版算法,具有更高精准度和升级潜力,期待能尽早通过认证后推向市场,辅助医生诊断。金域病理专家罗丕福主任说:“该算法技术的应用,能够让病理诊断水平和能力更加匮乏的基层医院病理医生受益,更准确的诊断结果最终使肿瘤患者受益。”
精准医疗是未来医疗发展大趋势,而智能显微镜则是其发展的一个缩影。
3
能有这样突破性的新产品问世,并获得NMPA注册证源于舜宇、腾讯、金域三方的强强联手。
舜宇光学科技提供了领先的定制化的硬件方案。比如,针对光学成像环境不一致情况,配备了聚光镜和光阑;针对医生使用时不断切换物镜倍率的习惯,专门开发了倍率记忆装置,能在医生选择倍镜时调整至对应亮度,并直接传送倍率信息给算法进行分析。此外,还针对医生使用场景,对目镜装置高度和光源设计进行了优化。
腾讯AI Lab提供了领先的AI算法及软件解决方案。在采集训练数据时,选择让机器使用主动学习和难例挖掘的方案,不打扰医生的工作流程,也减轻医生手动标注数据的负担;采用先进的模型设计方案,让算法模型在保证准确度的前提下能满足300毫秒内完成IHC全视野实时分析的要求;借助迁移学习并使用生成对抗网络(GAN)归一化镜下图像,使得算法能对不同医院和不同制片方式实现良好兼容,提升了算法的稳健性和通用性。
金域医学贡献了病理方面的专业知识与专家资源,确保显微镜能支持多种病症场景的判读,并辅助算法训练取得良好效果,还能使产品紧密贴合医生的工作流程与习惯。
据舜宇光学科技Charles介绍,未来将联合腾讯AI Lab和金域医学根据实际应用的需求迭代产品,并计划与多家机构合作,推进智能显微镜在乳腺癌、肺癌、结直肠癌、胃癌等中国高发疾病的病理学中的研究与应用,力求为医生、患者和社会创造更大的价值。