仅凭一张照片就能识别近视，大模型为基层医疗带来了新技术

摘要： ...

一个患有外斜视的孩子用头发遮盖、隐藏偏斜的眼睛，避免同学的异样目光，同住的家长也没有发现问题。在大模型的帮助下，一次义诊筛查察觉了问题。上海交通大学医学院附属第九人民医院眼科主任医师李琳日前在接受澎湃科技（www.thepaper.cn）记者采访时介绍了这样一个病例。由她参与开发的儿童常见眼病筛查与管理系统跨越地域限制，仅凭一张眼部正面照片就能开展全方位的儿童常见眼部疾病筛查，实现早筛早诊早治，促进医疗资源公平。

今年1月，上海公布首批大模型医疗示范应用项目，其中就包括由上海人工智能实验室联合上海交通大学附属第九人民医院、上海交通大学及医利捷（上海）信息科技有限公司联合打造的儿童常见眼病筛查与管理系统，这项管理系统目前正在为基层义诊提供技术支持，对近视的筛查准确率达80%-95%。“未来我们还希望利用大模型识别眼部照片，在术前评估患者术后愈合情况，为患者提供心理预期。”李琳表示。

大模型一图识近视

近视是眼部最常见的疾病。在我国，青少年近视占比已达70%以上，呈现高发、低龄化趋势。近视带来的严重并发症将造成视网膜脱离。若不早筛早诊，普通近视可能发展为高度近视，对眼底的损伤不可逆。

在上海，青少年儿童每年接受两次入校筛查。“我们通常会派技术员和医生到学校去，要携带仪器、组织学生，筛查流程长、时间紧，精准度不高。”李琳表示，学校推荐复查的学生里，20%-30%并不需要进一步治疗。

为了替代传统耗时的筛查方法，2024年初，上海第九人民医院、上海人工智能实验室、医利捷拥抱AI联合开发儿童常见眼病筛查与管理系统。

最初，李琳好奇AI能否识别上睑下垂和斜视，令她没想到的是，AI对近视的反应灵敏度超过了她的想象。李琳一度怀疑是AI出错了，直到分析热点图发现，近视度数越高，角巩膜的点越红，这反映了角膜曲率，而角膜曲率与近视之间存在密切的正相关关系。

他们开发的利用深度学习识别眼部疾病的模型，可筛查近视、斜视、上睑下垂等眼部疾病，尤其对高度近视的筛查灵敏，准确率超95%。“仅凭和患者对话，医生是不可能得知患者近视的，但模型可以。”李琳表示。除了筛查功能，系统基于医生临床思维和案例等医疗语料训练，利用大模型技术向基层医生输出眼科管理经验，向患者定期推送科普知识、生成随访计划。

输出眼科管理经验。

上海人工智能实验室青年科学家、副研究员徐捷表示，将管理建议推送到基层医生，进一步管理儿童眼部疾病进展，这种下沉专家经验的模式有助于为基层医生减负，提升诊疗技术。

为了验证模型能力，去年10月，儿童常见眼病筛查与管理系统走进中国西南和西北边陲，系统识别出一位7岁患者患有上睑下垂。信息上传至上海九院诊断后，发现患者同时患有斜视和弱视，最终在上海九院得到治疗。

李琳表示，目前儿童常见眼病筛查与管理系统已在全国16个地区铺开验证，开展临床研究，回收基层真实数据再训练，提升模型性能。但她更希望看到筛查系统落地家庭，通过家庭化的早筛早诊控制眼部疾病进展。

AI落地行业应用不能闭门造车

今年1月，上海公布首批大模型医疗示范应用项目，囊括疾病筛查与管理、临床诊疗辅助、智能科研辅助、智能教学辅助以及智慧管理等方向，覆盖诊前、诊中、诊后及管理各环节。

人工智能在医疗领域的应用正逐渐展现出潜力和价值。徐捷认为，要建立AI和医疗的紧密连接，AI不能闭门造车，一定要从临床场景出发，选对场景，找准高质量数据，以人为本，医工交叉推动创新，满足真需求，让创新技术不止步于论文，同时避免医疗资源浪费。

“图像诊断在医疗领域已经走得很远了，医院拍完片子后普遍会用到人工智能辅助阅片。”徐捷表示，AI在医疗领域的最早落地便是视觉识别，只要喂入足够多的数据，AI和医生的经验相差无几。大模型出现后，通用大模型可以调取精度更高的小模型数据，解决复杂医疗问题，就像儿童常见眼病筛查与管理系统，大模型从视觉模型中提取特征、输出管理意见。她认为，未来垂类小模型的能力回馈到通用大模型，实现“通专融合”，可以将所有特征模型变成一个大而全的医生智能体。

李琳表示，现阶段AI并不能替代医生，前端筛查是AI落地医疗的初始爆发点，未来AI有望应用于全息诊断、手术疗效预测等领域，帮助改进手术方式。“如果我们把照片一拍，医生想做的手术方式和人工智能给出的方式不一样，我们是否要考虑AI给出的方案更加适合病人？这有助于促进治疗效果。”

从导诊、书写电子病历到提供随访信息，大模型将重塑医疗信息化流程和患者就医认知，提升工作和就医效率。医利捷（上海）信息科技有限公司产品总监李国杰表示，短短十几年时间，医院经历了信息化、互联互通，到现在的大模型，每隔四五年就是一个大变革。也许未来患者只需要在大模型导诊中输入语音，就能获得挂号信息，提升就医获得感。

眼下，儿童常见眼病筛查与管理系统完成筛查后反馈随访信息，负责筛查系统产品化的医利捷未来将打通院内外数据和管理流程，让筛查系统成为面向青少年、家长、医疗工作人员的多端互动产品，实现从信息化走向产品化。

信任是新技术的最大挑战

垂直化、专业化、场景化、细分化将成为人工智能在医疗场景中应用和发展的主旋律。不过，大模型落地医疗仍然面临挑战。

患者关心的永远是医生的资质，人工智能阅片出错是不能被容忍的。李琳表示，当前大模型落地医疗，最大的挑战是不信任。得不到权威机构的认可，医疗大模型难以大范围推广落地。

“人总对未知产生怀疑。患者拍了一张CT，不管懂不懂，他总要对着光线看一看，实际上他是渴望得到这个知识。”李国杰在调研中发现，患者更希望拥有一个能够理解医生术语的智能体，帮助快速获取医疗知识。尽管医疗语料的训练让大模型能够输出健康管理知识，但眼下大量专病专科的报告解读仍需依靠医生的专业知识和经验，不能盲目陷入文献训练。同时，模型训练过程中要设置权重，防止医疗资源挤兑。

认识的改变是长期且潜移默化的，提升公众信任度需要政策、技术形成合力。此外，在商业化方面，AI新技术落地医疗还面临高昂的成本投入、严格的医疗审批和漫长的盈利周期。

以大模型落地眼科为例，在开展课题前要经历1-2个月的伦理审查，此后还要经历1-2年的临床研究，拿到专利后可以转化并争取物价审批，多轮谈判和考察后医院才能获得技术条码，核准后铺开使用，5年走通这一流程已是较快速度，在这一漫长周期里，企业随时可能面临发展风险。

“多方努力会克服这一卡点。现在政府、我们实验室机构都在超前布局，甚至我们也在想能否助力推进医疗服务备案。从政府、机构、使用方，再到公司达成一致，这个产业就能蒸蒸日上、正向发展。”徐捷表示，当政策的拐点到来，业内达成医疗服务备案的标准和共识，大模型将加速落地医疗，提供便捷合规的医疗服务。“如果我们能够像信任医生一样信任AI，也许未来大模型全面落地医疗是触手可及的。”