凌云时刻 · 技术
导读:我们正在步入深度人口老龄化的社会,而癌症、心脑血管等慢性病的发病率也在逐年上涨,并且发病年龄逐渐年轻化。医疗资源的需求不断上涨,对应的却是日渐不足的资源供给,其中,影像科最早显出疲态。据调查,影像资料逐年以40%的速度增长,但是影像科医生增速仅为4.1%,因为医生数量不足、人工阅片效率偏低、基层医疗能力不足等原因,催生了医学影像辅助诊断的技术应用场景。本篇论文探讨了如何用新的路径来攻克医学影像的重点深水区:高精度心脏冠脉血管识别。
作者 |杨晗,甄行践, 迟颖, 张磊,华先胜
来源 |凌云时刻(微信号:linuxpk)
* 点击“阅读原文”获取论文全文 *
本文简要介绍我们在CVPR 上的一篇oral论文:CPR-GCN: Conditional Partial-Residual Graph Convolutional Network in Automated Anatomical Labeling of Coronary Arteries。
文中我们提出了一种基于图卷积网络的模型(CPR-GCN)用来自动化的识别心脏冠脉血管树中的各类血管。我们将3D影像特征融入到该问题中,作为一个条件,配合位置特征一起做到高精度血管识别。
1. 简介
根据统计的数据,每1000人中医生的数量,中国是1.79人,全球排在第90位,而据世界卫生组织估计,每千人中只有不到2.3名卫生工作者不足以满足初级卫生保健需求。列举两个具体的例子,我国儿科医生6万多人,缺口达到20万左右,我国麻醉科医生约7.5万人,缺口达到33万人。医护比例、床护比例、医患比例,我国均处于严重失调的状态,而医患比短期内很难彻底解决,因此如何利用好现有的医疗资源,让医生从重复性的工作中解放出来,提高医生的工作效率,则是我们信息技术从业者需要思考的问题。
心血管疾病无论在全球还是在中国素来都有着“头号杀手”的称号,CT心脏造影技术(CTA)作为一种无创的检查手段得到了广泛的应用。如何借助AI技术和计算机快速精确的分析3D CTA影像,从而加速临床医生的诊断效率,是一件非常有价值的工作。而在医学影像分析的过程中,给人体组织内各个单位贴正确的标签,是计算机辅助诊断(CAD)系统不可或缺的功能。
下图是血管树的两个示例,直观上可以发现左边的血管树更加完整,右边的血管分支较少,而且同一类血管的走势变化可能非常大。样本之间巨大的差异性,包括血管数量和生长走势,是该问题主要的难点。心脏冠脉血管分支命名的具体工作就是将从3D CTA影像中提取出来的血管树做一一对应的命名,再配合上血管上病灶的检测和识别模型就能端到端的生成诊断报告,如右冠中段有中度混合斑块。
以前的相关工作基本可以分为两类:传统基于配准的方法、基于深度学习的方法。
传统的方法一般都是先通过配准技术确定冠脉血管树的四个主干:LM、LCX、LAD、RCA,然后通过能量模型等方法确定剩余分支的名字。这类方法无法充分利用上大数据的优势,且严重依赖于主干,对于支干的识别精度有限。
基于深度学习的方法则是将血管树组合成为一个拓扑结构,然后利用双向LSTM模型按照根节点->叶子节点的顺序提取特征最终做预测,而每个节点的特征则是从血管树的骨架,也就是中心线计算出的位置特征,如坐标、角度等。这类方法也没有摆脱支干对于主干的依赖性,从而限制了模型的性能。
另一方面,对于以上两类方法,都只使用到了血管树的位置信息(中心线),然而中心线无法表示血管的尺寸、形状、以及与背景的结合关系。直观上这些特征对于该问题应该是有帮助的,而且3D CTA影像刚好包含这些特征。
图网络在结构化数据的处理中表现非常好,而血管分支命名这个任务天然与图结构契合,每个血管段可以理解为图的顶点,血管段间的连接关系则是图的边。综合上述对该问题的分析,我们提出了一种基于图卷积模型和3D影像特征的血管分支命名算法。
2. 方法
Figure 2 描述了CPR-GCN模型的框架,绿色框图中的Partial-Residual GCN是整个模型的backbone,由多个图卷积层组合而成,最终backbone的输出特征通过全连接层预测最终的名字。
模型的输入包含两部分:位置特征与影像特征。其中位置特征直接通过血管中心线中计算,包含:每段血管的坐标、起始位置的切向量、起点到终点的方向以及起点在中点的方向等。影像特征则由一个混合模型提取得到,先沿着血管路径截取一系列的3D立方块,使用3D CNN模型提取图像特征,然后再通过Bi-LSTM整合这些序列化特征,具体的操作方法如Figure 3所示。
以上内容描述了方法的整体流程,以及每个图节点输入特征的计算方式,接下来分别对血管树建图的规则,建立Partial-Residual GCN模型,以及理论上的表达方式进行展开描述。虽然常见的血管分类标准为13类或者18类,但是在实际的建模过程中,一旦遇见分叉我们就会生成新的顶点以及对应的连接关系。例如Figure 4只包含四类血管,红色为RCA,黄色为AM、蓝色和绿色分别为R-PDA和R-PLB,由于AM的出现将RCA分成了两段,所以就出现了Figure 4右边的图结构,图中可能存在多个顶点一起表示同一类血管的情况。
传统图卷积的运算方式为:
其中AA为邻接矩阵,第一层的输入为H0=X。而Residual Gated GCN的运算方式则为:
如果我们把上述公式看成是关于的连续函数,进而可以得到以下的常微分方程:
而在我们的设定中,输入包含两部分,也就是位置特征和作为条件的影像特征,其中是关于的函数,这样我们就有关于和的偏微分方程:
上述公式的第二个等式是基于我们将当作条件,也就是固定值,所以我们就可以使用可训练的来逼近微分方程:
需要指出的是在这个问题中,位置特征是主要的信息,所以我们简单的把影像特征当作是一个附加的条件,在未来的工作中我们会尝试把影像特征也当作连续的函数处理。为了方便理解,Alg. 1中汇总了整个算法的数据计算流程。
3.实验
在实验过程中,整个算法的backbone部分和影像特征提取Hybrid Model部分是端到端训练的,因此在实际的推理阶段,我们可以做到端到端的预测。我们在一个包含511个患者数据的大数据集上做实验,并采用了交叉验证的方式来测试整个数据集。由于前文已经提到已有的工作主要分为两大类,因此我们将提出的方法与这两类方法中最好的结果(SOTA)做比较。从Table 3首先可以看出我们的方法在meanRecall,meanPrecision和meanF1 score三项指标上都取得了最好的结果,而且比SOTA方法要高出很多。这里不仅使用各类血管的Metrics,还考虑所有类别上的均值主要是因为类别之间的严重不均衡性。另外还可以发现无论是传统的方法、已有的深度学习的方法还是我们的方法,在血管树的两个起源RCA、LM上都表现很好,但是在二级分支如LAD、LCX等和三级分支如D、OM、S等类别上已有方法精度下降明显,而我们的方法CPR-GCN在各个类别上都表现不错。
考虑到我们的方法中包含多个模块,为了验证各个模块的有效性,对最终结果的影响,我们设计了详细的ablation study。首先Table 5记录了3D影像特征、残差结构和图的有向性对于最终结果的影响。可以发现3D影像特征能够对各类别平均指标带来大约2.5%的提升,而残差结构也对结果有1%的贡献,而有向图和无向图对结果的影响很小。
然后Figure 6显示了在我们这个问题中,图卷积层数量选择3就已经足够了,这是因为我们血管树的图结构相对比较简单,绝大部分情况下只到三级结构,四级结构较少。
前文提到基于树结构的Bi-LSTM的方法对拓扑结构有依赖性,可能会导致模型在主干缺失时,精度收到比较大的影响。因此我们还设计了一个比较有意思的实验,我们随机的将数据集中20%的主干也就是LM和RCA删除掉,并删除与之直接相连的支干,构建了一个人为模拟的数据集(Synthetic "Data Attack" Dataset)。然后直接用原始数据训练好的模型做测试,测试结果如Table 4所示,可以发现我们的方法对于主干缺失的情况,精度影响更小,从另一方面也验证了之前的一些观点,证明我们的方法更加的鲁棒。而且在未来的工作中我们可以考虑使用这类Synthetic "Data Attack"的数据做data augmentation,理论上应该会进一步提升模型的泛化能力。
4. 总结
本文从心脏冠脉树分支命名这个问题入手,提出了一种基于图卷积网络和3D影像结合的方法来解决该类问题。从实验的结果看,该方法实现了快速精确的端到端预测,这对于实际的临床应用非常重要。另外对于医学影像分析这个领域,需要做命名的任务有非常多,例如肝脏血管、脑血管、肺血管等等,该方法的提出可以解决这一大类的问题,从而让医生的诊断更加便捷快速。
END
往期精彩文章回顾
朴灵:云计算的开发者视界中,OpenAPI 是绝对主角
央行DECP开测,拉开全球货币霸权之战大幕
超算简史:练飞天之技,登峰一战后,终有落地日
重磅!阿里云操作系统团队连续发表 4 篇重量级论文
超越极限:阿里云最新ASPLOS论文解读
长按扫描二维码关注凌云时刻
每日收获前沿技术与科技洞见