今年7月，2024世界人工智能大会（WAIC）“迈向AGI：大模型焕新与产业赋能”论坛在上海徐汇西岸举办。

图1：2024 WAIC在上海举办

作为医疗AI垂直领域的唯一企业代表，联影智能联席CEO周翔博士受邀出席此次论坛并做演讲。其中，就谈到了联影智能大模型技术对医疗产业的切实赋能。联影智能uAI影智医声报告系统的发布，和uAI MERITS多元手术治疗平台的临床落地，是联影智能周翔博士此次分享的亮点之一。

图2：联影智能周翔博士

据联影智能周翔博士介绍，uAI影智医声报告系统聚焦于医生报告书写场景，全流程辅助医生完成报告书写工作，可解决报告书写重复、繁琐等痛点。基于uAI影智医声报告系统内置的语音、文本、影像多模态大模型技术，AI通过对医生的语音识别，智能分析语音描述、自动匹配影像部位，实现标准化报告描述，并可根据语音指令自动生成规范的检查结论，智能屏蔽无关对话内容，让报告书写工作更加便捷、规范。

联影智能周翔博士又指出，区别于市面大多数的语音电子病历软件，该应用可与联影智能长期深耕的优势领域结合，即与现有的全疾病谱、全模态的医学影像AI辅助诊断软件无缝衔接，在患者进行影像扫描后，可将AI辅助诊断结果直接生成初步结构化报告，并在医生语音指导下直观便捷地辅助报告书写，实现“影像诊断-报告撰写”全流程、多模态AI赋能。

“未来，影智医声报告系统也将在医疗健康管理方面发挥优势，包括医学影像智能分析、个人随访档案、体检报告解读等多维功能，从预防保健、疾病治疗、到康复管理，提供全周期健康管理服务。”联影智能周翔博士表示。

除了新发布的影智医声报告系统，联影智能周翔博士还分享了公司在混合大模型领域所取得的最新成就。在六月，香港大学牙医学院口腔颌面外科的专家团队利用uAI MERITS多元手术治疗平台完成了「全球首例」混合大模型驱动的口腔颌面整复外科手术。

图3：术中使用uAI MERITS

联影智能周翔博士介绍，此次手术是为帮助一位因患肿瘤失去单侧下颌骨的患者重建下颌骨，以恢复正常口腔颌面功能。手术需要将患者下肢的腓骨和皮肤及软组织移植至口腔内，以替代缺失的下颌骨和软组织。

精准定位并提取患者下肢软组织内的穿支血管，是此类手术成功实施的关键操作之一。在传统方式下，通常只有高水平、高年资的医生才可在定位过程中做到最小误差，而定位的精度常受限于超声等不够精准的影像；同时，医生还需要花费大量的精力耗费于反复比对超声图像和手术部位的手动勾画，诊疗质效亟待提升。

该方案在手术前使用基于各种医疗图像上训练的transformer模型，可实现精准的分割。在手术中，该方案通过一个多模态大模型来实现术中3D图像和视频配准、透视投影和动态视觉跟踪，实时提供术中的指引，解决了在穿支皮瓣制备中，医生靠经验和感觉定位穿支血管的临床痛点，大大提升了手术效率和精准度。

图4：医生根据3D重建的血管投影标记小腿穿支血管

目前，该团队已成功完成三例由uAI MERITS平台赋能的口腔颌面整复外科手术，其中区别于前两例的腓骨肌皮瓣制备手术，第三例手术首次实现了股前外侧穿支皮瓣制备手术。这些里程碑式的成功标志着混合大模型在口腔颌面外科领域迈出了重要一步，为虚实结合的手术技术发展开启了一个新方向。

本次新技术在手术场景中的成功应用，得益于联影智能在医学影像领域的长期深耕与积累。例如在本次手术中发挥关键血管重建作用的CTA下肢血管智能系统，辅助了医生实现快速、精准的腓骨肌皮瓣移植。

该应用也是联影智能在「全栈全谱」策略下所推出的其中一款AI应用。截至目前，联影智能已开发超过100多款AI应用，其中50多款专注于临床工作流程，覆盖神经、心血管、胸部、肿瘤、手术等。

正如联影智能周翔博士所说，联影智能致力于基于既有的医学影像AI产品布局，深度融合前沿大模型技术，进一步拓宽、拓深AI在医疗场景中的应用边界。