在医学影像技术学的概念中,医学影像分割指的是把影像分成若干个特定的、具有独特性质的区域的影像处理技术,是影像分析前的关键步骤。
目前,联影智能依托医学影像分割技术、在放疗领域取得新进展。《自然》(Nature)杂志子刊《自然•通讯》(Nature Communications)在线发表了联影智能与复旦大学附属肿瘤医院、上海科技大学、联影科技合作完成的全身多器官「AI放疗勾画」科研成果"Deep learning empowered volume delineation of whole-body organs-at-risk for accelerated radiotherapy"(AI赋能全身危及器官勾画,加速放射治疗)。
放疗作为癌症的主流治疗手段之一,其有效性和安全性首先依赖于危及器官(Organ At Risk,OAR)和靶区的准确勾画。传统的放疗计划(Radiotherapy Treatment Planning,RTP)需放射医师手动勾画器官和靶区,耗时较长且不同医师勾画结果差异性较大。针对该痛点,本课题设计了一种通用型的分割网络框架以实现多种器官和病灶的自动、快速、精准分割,此种医学影像分割框架可以为后续All-In-One一站式放疗提供一致性高、重现性好的靶区勾画结果。
三大策略构筑创新性通用型分割网络框架
本文采用轻量级的3D VB-Net网络(RTP-Net),在全身67个器官和病灶的快速精准分割上进行了验证。VB-Net对传统的V-Net进行了改进,在其中引入瓶颈层(Bottleneck),模型大小可由250 MB压缩至8.8 MB,该VB-Net曾于国际分割比赛SegTHOR 2019中荣获第一名。
本文提出的RTP-Net引入了三种策略以提高医学影像分割的准确性及效率。RTP-Net的网络架构及其主要策略:(a)从粗到细的分割网络实现快速分割;(b)自适应VB-Net用于多尺寸器官分割;(c)注意力机制增强目标病灶的分割准确性。
采用从粗到细的分割框架:粗分割模型-对全局图像进行感兴趣区域定位,力求不漏;细分割模型-对局部图像进行像素级精准分割,力求精细。这种多分辨率级联网络可有效排除大量冗余信息,减少假阳性,提高分割精度,同时有助于降低GPU内存占用,提高分割效率。
采用自适应输入模块,该模块自适应匹配目标靶区尺寸,尤其适用于大尺寸器官和病灶的自动分割。通过对大尺寸图像增加卷积降维减小GPU内存,同时扩大网络的接收域,使之适应各种输入图像。
在注意力机制方面,从危及器官(OAR)的精细分割结果得到OAR的感知注意力图,从病灶的粗分割结果得到病灶边界感知注意力图,双注意力机制结合多维自适应损失函数可优化病灶精细分割网络,从而实现对病灶的精准分割。
本文中,RTP-Net完成了全身67个器官和病灶的自动分割。在分割性能上,RTP-Net与现有的U-Net、nnU-Net、Swin UNETR相比具有相当或更优的分割准确性,其平均Dice相似性指数可达0.95;且RTP-Net的分割效率显著提高,在大多数任务中可实现近乎实时的分割结果(时间<2 s),为后续集成于放疗过程中靶区实时勾画提供技术支撑。下图为RTP-Net实现全身67个器官和病灶的自动医学影像分割。
RTP-Net基于28,581例数据进行训练和测试(17%,4853例),具有不同的图像采集协议和人口统计学特征,因此模型具有一定的泛化性能,可拓展至其他模态、中心、目标靶区的自动分割。作为基本的分割技术,RTP-Net已搭载于联影智能诊疗平台、科研平台及前沿平台中,以支持特定的临床医学应用。在癌症放疗方面,该模型成为了加速放疗的强劲引擎。
RTP-Net分割网络赋能一站式放疗
基于RTP-Net的放疗轮廓勾画技术已集成于联影uRT-linac 506c一体化CT直线加速器中,助力实现All-In-One一站式在线自适应放疗。
All-In-One一站式放疗是联影集团与多家医院联合首创的颠覆传统流程的智能放疗模式。在一站式放疗流程中,靶区勾画步骤经由RTP-Net加速在亚秒级别内完成,结合直线加速器平台的发展和多模块(即自动计划、治疗实施)的集成,可将整个放疗过程从几天缩短到几分钟。
基于All-In-One一站式放疗平台,多个放疗中心已实现不同病种的全球首例一站式放疗,如复旦大学附属肿瘤医院用23分钟完成的首例直肠癌一站式放疗;复旦大学附属肿瘤医院与金华市中心医院同时用18分钟完成的首例乳腺癌一站式放疗;中山大学肿瘤防治中心用29分钟完成的首例鼻咽癌一站式放疗等。此外,基于在线自适应平台,复旦大学附属肿瘤医院及中山大学肿瘤防治中心也分别在直肠癌与肺癌方面取得突破,其中在线自适应调整工作仅用时10分钟左右。
对于此次基于医学影像分割技术的放疗研究新进展,复旦大学附属肿瘤医院放疗中心副主任胡伟刚表示,“我们与联影集团合作,研发了精准的AI自动靶区勾画技术。在AI自动勾画的驱动下我们实现了All-In-One一站式放疗,极大缩短了病人的等待时间,提高放疗效率和精准度,更有望减轻医疗资源不足地区的医疗负担,造福癌症患者。这是一次国际首创的前沿技术应用于临床非常成功、典型的实践,真正实现了产学研合作下的创新科研临床转化,本次合作成果被Nature子刊接收也印证了这一事实。希望未来能携手探索更多真正有用的AI技术,共克癌症难题。”