2024年6月，在香港玛丽医院，来自香港大学牙医学院口腔颌面外科的苏宇雄教授和蒲静雅医生正在实施一场「特别」的手术——「全球首例」由多模态医疗AI大模型驱动的口腔颌面整复外科手术。
此次医疗AI大模型参与的手术是为帮助一位因患肿瘤失去单侧下颌骨的患者重建下颌骨，以恢复正常口腔颌面功能。手术需要将患者下肢的腓骨和皮肤及软组织移植至口腔内，以替代缺失的下颌骨和软组织。手术成功实施的关键操作之一，在于精准定位并提取患者下肢软组织内的穿支血管。
传统方式下，通常只有高水平、高年资的医生才可在定位过程中做到最小误差，而定位的精度常受限于超声等不够精准的影像；同时，医生还需要花费大量的精力耗费于反复比对超声图像和手术部位的手动勾画。
然而此次，苏教授团队首次使用联影智能多元手术治疗平台uAI MERITS，创新性地解决了传统口腔颌面整复手术穿支皮瓣制备中，医生靠经验和感觉定位穿支血管的临床痛点。该多元手术治疗平台uAI MERITS是一款用于机器介入、治疗和手术的元宇宙生态系统，它依托多模态医疗AI大模型技术，可创建在手术场景下的患者、医务人员和操作环境的数字孪生，为术前准备、术中导航、术后随访提供全方位的智能支持。
由联影智能多模态医疗AI大模型技术参与的该方案，通过在手术前使用基于各种医疗图像上训练的Transformer模型，实现精准分割。在术中，通过一个多模态医疗AI大模型来实现术中3D图像和视频配准、透视投影和动态视觉跟踪，实时提供术中的指引，大大提升手术效率和精准度。
图1：多模态医疗AI大模型赋能，苏宇雄教授团队正在实施手术
图2：蒲静雅医生根据3D重建的血管投影标记小腿穿支血管
目前，该团队已成功完成三例由uAI MERITS平台赋能的口腔颌面整复外科手术，其中区别于前两例的腓骨肌皮瓣制备手术，第三例手术首次实现了股前外侧穿支皮瓣制备手术。这些里程碑式的成功标志着多模态医疗AI大模型在外科手术领域已迈出重要一步，为虚实结合的手术技术发展开启了一个新方向。
