本发明涉及计算机视觉的图像分割与深度学习技术领域,尤其涉及一种基于粗、精训练的mri图像分割方法、装置和计算机可读存储介质。
背景技术:
核磁共振图像(mri)可以为人类脑部形态学的研究提供详细的活体信息,而这对于研究发育、衰老和疾病,是至关重要的。为了评估某个测量结构的体积、厚度以及形状,神经解剖学需要将原始图像进行分割,而手动的分割却是非常耗时的。基于计算机的发展,目前人们一般采用通过人工手动分割后,将其映射到目标扫描,实现自动分割的方法。但是,这样的方法有两个明显的缺点:(i)估计用于映射的3d场向量将是非常耗费计算机机时的,(ii)缺少同源性,将会导致对于皮质分割的错误。基于此,目前存在的映射的方法,不但需要非常长的处理时间,还不能得到最优解。这便造成图像的标注要在数据采集后很久才能拿到,从而制约了整个形态学分析的发展。
在过去的几年中,深度学习得到了空前的成功,但是,有效的训练却需要大量的带注释的数据。在计算机视觉领域,图像语义分割一直被f-cnn(全卷积神经网络)所主导。扩展f-cnn模型到诸如脑图像的复杂人体组织分割领域主要的挑战来自于可用的人工手动标注的训练数据的有限性。
技术实现要素:
有鉴于此,本发明提供了一种基于粗精神经网络训练的脑部mri图像分割方法,能够在人工手动标注的训练数据有限的情况下,提高分割精度。
为了解决上述技术问题,本发明是这样实现的:
一种mri图像分割方法,包括:
利用分割软件对mri图像进行组织类别的分割,将分割结果作为辅助标签数据,采用带有辅助标签的样本对全卷积神经网络进行粗训练;
利用粗训练网络作为初始化,采用带有人工标注标签的样本对全卷积神经网络进行精训练;
训练完成的全卷积神经网络作用于需要分割的mri图像实现图像分割。
优选地,在粗训练和精训练过程中,在损失函数的逻辑损失项中增加权重ω(x);像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,权重越低;ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重。
优选地,所述权重ω(x)的获取方式为:
针对作为样本的单个体像素,计算每个组织类别的像素数量,获得所有组织类别的像素数量中值med,则像素x的第一部分权值ω1(x)为像素数量中值med除以x所在组织类别i的像素数量count_i;
针对所述单个体像素,通过梯度求取边缘位置;对于处于边缘位置的像素x,将其第一部分权值ω1(x)乘以设定倍数,得到该像素的权重ω(x)。
优选地,所述损失函数为包括逻辑损失logisticloss和相似系数损失diceloss的联合损失函数。
优选地,所述分割软件采用freesurfer软件。
优选地,将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的二维视图,每个维度利用一套全卷积神经网络进行分割,最后将三个维度的分割结果进行汇总,获得图像分割结果。
优选地,所述将三个维度的分割结果进行汇总采用加权和方式。
优选地,矢状和冠状的权值设置为小于轴向的权值。
优选地,所述全卷积神经网络采用u-net结构,编码器和解码器均采用多层的密集连接模块;编码器的密集连接模块之后跟随池化层,解码器的密集连接模块之前连接上采样层;密集连接模块包含三个卷积层c,每个卷积层前是一个实例归一化层n;前两个卷积层都跟随一个连接层,用于将当前卷积层的输入特征图和前面所有级卷积层的输入特征图连接在一起。
优选地,所述mri图像为脑部mri图像。
本发明还提供了一种mri图像分割装置,包括自动分割模块、全卷积神经网络模块和训练模块;
自动分割模块,配置用于采用分割软件对mri图像进行组织类别的分割,分割结果作为辅助标签数据;
训练模块,配置用于采用带有辅助标签的样本对全卷积神经网络进行粗训练;利用粗训练网络作为初始化,采用带有人工标注标签的样本对全卷积神经网络进行精训练;
全卷积神经网络模块中的全卷积神经网络在训练完成后,作用于需要分割的mri图像实现图像分割。
优选地,所述训练模块在粗训练和精训练过程中,在损失函数的逻辑损失项中增加权重ω(x);像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,权重越低;ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重。
优选地,所述训练模块在训练中所采用的损失函数为包括逻辑损失logisticloss和相似系数损失diceloss的联合损失函数。
优选地,所述自动分割模块采用的分割软件为freesurfer软件。
优选地,全卷积神经网络模块包括三维切分模块、汇总模块和三套相同的全卷积神经网络;
三维切分模块将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的二维视图;每个维度利用一套全卷积神经网络进行分割,最后汇总模块将三个维度的分割结果进行汇总,获得图像分割结果。
优选地,所述汇总模块对三个维度的分割结果进行加权和计算,矢状和冠状的权值设置为小于轴向的权值。
优选地,所述全卷积神经网络采用u-net结构,编码器和解码器均采用多层的密集连接模块;编码器的密集连接模块之后跟随池化层,解码器的密集连接模块之前连接上采样层;密集连接模块包含三个卷积层c,每个卷积层前是一个实例归一化层n;前两个卷积层都跟随一个连接层,用于将当前卷积层的输入特征图和前面所有级卷积层的输入特征图连接在一起。
本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现前述mri图像分割方法。
有益效果:
(1)本发明采用粗精训练法进行神经网络的训练,粗略的预训练能够为神经网络提供很好的先验初始化,从而稀缺的手动标签能够被更好的利用,以得到高精度的分割。
(2)本发明还对粗、精网络训练时所用的损失函数进行了改进,在逻辑损失项中增加权重ω(x)以平衡像素间的相对重要性。通过提高图像中占比少的类来补偿类不平衡的问题,同时通过提高解剖学边缘区域的权重,以保证轮廓可以得到正确的分割。在一优选实施例中,占比权值与边缘权值采用乘积叠加的方式,使得权重叠加后的结果不超过1,不需要对叠加后的结果进行进一步处理。
(3)本发明没有将图像分成小块(patch),而是将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的2d视图进行分别的分割,然后再聚合。针对2d视图进行处理的速度更块,而且能够针对每个方向设置不同的权重,提高了分割准确度。
(4)对于脑部mri,轴向相对可以更好得表现组织,即某些平面内各个组织数量和形态分布均匀,因此本发明将矢状和冠状的权值设置为小于轴向的权值,从而突出轴向图片的信息。
(5)本发明的f-cnn采用密集连接模块,这些密集连接可以改进训练过程中的梯度走向,并促进特征在不同卷积阶段的可重复利用性。除此之外,密集连接还能使得同一个模块的特征被不同卷积层学习时可以得到不同的结果,并具有更好的表现。
(6)解码器的每个密集连接模块前是一个上采样层,相对于u-net中使用的卷积转换,上采样的一个优点在于其不需要任何学习的参数。
附图说明
图1为实施例一脑mri图像分割方法的流程图;
图2为实施例二将mri图像分割为三个维度的2d视图的示意图;
图3为mri图像在一个方向上的分类结果;
图4为实施例三全卷积神经网络的架构示意图;
图5为图4中密集连接模块的示意图;
图6为实施例四mri图像分割装置的示意图;
图7为图6中全卷积神经网络模块的组成框图。
具体实施方式
下面结合附图并举实施例,对本发明进行详细描述。以下实施例以脑mri图像为分割对象,本发明还适用于人体其他轮廓复杂的组织分割。
实施例一
对于一个mri的脑部扫描图像i,想要得到其分割图s,其中包含n种皮质以及皮下组织,每个分割图对应一种组织类别。本发明的内容是获得一组扫描图像i={i1,i2,……,in}及其相应的分割图像s={s1,s2……,sn}后,学习得到一个映射关系:i→s。本发明采用全卷积神经网络(f-cnn)模型逼近该映射关系。因此f-cnn的输入为mri图像,输出为分类结果,输出结果中每个像素为是否属于某一类的概率。
本实施例提供的脑mri图像分割方法,如图1所示,包括如下步骤:
(一)利用分割软件对mri图像进行组织类别的分割,将分割结果作为辅助标签数据,采用带有辅助标签的大量样本对全卷积神经网络进行粗训练。
本步骤中,利用目前存在的分割软件,例如freesurfer,在不带有注释的基础上分割mri图像,将此自动生成的分割数据称为辅助标签数据,freesurfer进行图像预处理,其对数据进行标准化并在大约1s左右完成。
利用带有辅助标签的数据预训练神经网络。辅助标签或许不如专家标注的精确,但是,却使得可以利用大量的、最初无标签数据进行有监督的神经网络训练,而且辅助标签还使得神经网络适用于大量的人类不同脑组织的形态学变化。
(二)利用粗训练网络作为初始化,采用带有人工标注标签的小量样本对全卷积神经网络进行精训练。这里的小量是相比于步骤一的大量而言。
本步骤利用比较小体量的、手动标识的数据,细调(继续训练)步骤一得到的预训练神经网络。手动标识越精确,第二步的精训练效果越好。
上述粗精训练的方法,能够为神经网络提供很好的先验初始化,从而使得稀缺的手动标签能够被更好的利用,以得到高精度的分割。
本发明还对粗、精网络训练时所用的损失函数进行了改进,在逻辑损失项中增加权重ω(x);像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,权重越低;ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重。
本实施例中,在训练本发明提出的全卷积网络时,损失函数由两项组成,分别是逻辑损失项logisticloss和相似系数损失项diceloss。
利用像素x属于分类l的概率pl(x)以及其真实所在分类gl(x),损失函数可以表示为:
上式中,第一项为logisticloss,logisticloss提供了像素级别上的估计标签和手工标注标签的相似性的概率值。第二项为多层的diceloss。diceloss是由dice重合率得到的,同样表示了估计和手动标注标签的相似性。diceloss最初是为了二分类引入的,在本发明中将应用于多分类。
本发明对逻辑损失项logisticloss进行改进,加入了权重ω(x),以平衡像素间的相对重要性。引入加权项主要是为了以下两方面的挑战:
(a)类之间的不平衡:因此像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,代表样本越多,相对越容易训练,因此权重越低;通过提高图像中占比少的类来补偿类不平衡的问题;
(b)解剖学边缘分割的错误:因此ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重。通过提高解剖学边缘区域的权重,以保证轮廓可以得到正确的分割。
本实施例采用中值频率均衡法(medianfrequencybalancing)来求取ω(x),其流程如下:
(1)输入单个体像素数据,这里体像素是指mri数据;
(2)对每个类别标签计算像素数量;
(3)寻找所有类别标签中,像素数量的中值med;
(4)每个类别标签的第一部分权重ω1(x)即为:所有类别的中值除以本类i所占数量count_i,即med/count_i;则对于第i类的像素x,其权重采用med/count_i;
(5)对于待分割的图像的对应像素处,用med/count_i替代类别标签,即为第一部分权重,得到初步权重图;
(6)再对输入的体像素数据求其梯度;
(7)利用(grad(h)2+grad(v)2)>0的像素位置,求出组织的边缘;grad(h)表示像素的水平方向梯度,grad(v)表示像素的竖直方向梯度。对于数字化图像具体来说:某一方向得梯度可以用差分方法求梯度,即grad(h)=w(h,v)–w(h-1,v);grad(v)=w(h,v)–w(h,v-1)。w(h,v)表示初步权重图像中第h行第v列的像素。
(8)利用(7)中找到得边缘位置,对(5)中所求得初步权重图进行索引,边缘位置的权重值相应提升n倍,本发明中n经过实验,取1.5倍。
(9)最终求得结果w(x)即为权重图。
(三)训练完成的神经网络作用于需要分割的mri图像实现图像分割。
这种基于深度、完全卷积神经网络的快速神经解剖学分割方法,利用gpu,可以将分割时间由目前的基于映射的方法所需的几个小时缩短到几秒,达到速度上几个量级的提升,将会给神经影像带来广泛的影响。处理比较大的数据时,将可以利用单个gpu工作站完成,而不再需要机群;由一个扫描得到众多的形态学测量仅仅需要几秒的时间。进一步,如此快的速度,使得多种分割可以在有限时间内完成,从而可以用作估计自动质量控制中分割的不确定性。除了速度之外,通过分析不同年龄段、不同磁场强度、不同病因的数据,本发明提出的方法还可以达到精确的分割目的。最后,本发明提出的方法展示出的多次测量精确性使得它对于径向分析特别有益。
实施例二
本实施例没有将图像分成小块(patch),而是如图2所示,将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的2d视图,每个维度对应一套全卷积神经网络,在多视图融合阶段,将三个维度的分割结果合并在一起,以完成最终的分割。
对于三个维度的分割结果进行汇总可以采用加权和方式。对于每个维度中相同位置的一个像素,如图2中的小方块,可以通过全卷积神经网络的图像分割得到该像素属于各分类的概率。图3为在一个方向上的分类结果,不同灰度代表不同的组织类别。将三个维度的像素分割结果进行加权和计算,最大概率对应的分类即为该像素的分类。
像素x最终的概率向量由p(x)表示,具体计算如下:
p(x)=λ1×pax(x)+λ2×pcor(x)+λ3×psag(x)
其中,pax(x)、pcor(x)和psag(x)分别为轴向、冠状、矢状视图下估计的概率向量,λ1、λ2和λ3为它们相应的权重。将像素x的所有估计整合在一起,相当于为标签估计提供了一个正则化的效应,减少错误估计。p(x)向量中最大值对应的分类即为像素x所在分类。
由于脑部的对称性,不太可能区分矢状图中某个层来自于左半球还是后半球,这便使得矢状视图的分割变得困难。相比较而言,对于脑部mri,轴向相对可以更好得表现组织,即某些平面内各个组织数量和形态分布均匀,因此本发明将矢状和冠状的权值设置为小于轴向的权值。在本实施例中,将λ1、λ2和λ3分别设置为0.4、0.3和0.3,从而突出轴向图片的信息。
举个例子,假设一共有3种分类,对于同一像素x三个维度的分割结果分别为维度1={0.1,0.2,0.7}、维度2={0.5,0.1,0.4}、维度3={0.2,0.2,0.6},则设定三个维度的加权权重分别为维度1=0.4,维度2=0.3,维度3=0.3,则加权和计算厚度分割结果为:{0.25,0.17,0.58},则最大概率0.58对应第三种分类,可以认为该像素x属于第三种分类。
三个f-cnn可以采用相同的架构或不同的架构,但是其训练方式都是实施例一所述的粗精训练法。
实施例三
本实施例提供了一种应用于上述实施例一和实施例二的f-cnn。实施例二的三个全卷积神经网络都可以本实施例的f-cnn架构。
如图4所示,f-cnn整个架构基于u-net,u-net利用跳跃式连接(skipconnection)编码器和解码器。每个编码器和解码器均采用密集连接模块(denseconnectionsblock),以保证梯度的方向并且提高特征可重复利用性。编码器的密集连接模块之后跟随池化层,解码器的密集连接模块之前连接上采样层进行加强,这可以很好的保证在上采样中,激发分布得到正确的空间映射,并能反过来改进分割精度,尤其是对于小的皮下组织。上采样层可以采用一般上采样、空洞卷积或者转置卷积。
如图5所示,密集连接模块包含三个卷积层c,每个卷积层前是一个实例归一化层n(instancenormlization);卷积层c中的激活函数采用线性修正激活函数(relu);前两个卷积层都跟随一个连接层(+),用于将当前卷积层的输入特征图和前面所有级卷积层的输入特征图连接在一起。这些密集连接可以改进训练过程中的梯度走向,并促进特征在不同卷积阶段的可重复利用性。除此之外,密集连接还能使得同一个模块的特征被不同卷积层学习时可以得到不同的结果,并具有更好的表现。为了限制参数的数量,这两个卷积层对应的卷积核设置的比较小,比如:3x3。
上述u-net结构的编码过程包含四个密集连接模块,每个密集连接跟随一个2x2的极大池化层(max-poolingblock)。极大池化层在每个阶段均将空间维度减半。在极大池化层的下采样过程中,对应最大激化值的索引将被记录下来,并传给解码模块,以便进行上采样。
解码过程同样包含四个密集连接模块。每个密集连接模块前是一个上采样(un-pooling)层。上采样层可以将在编码过程的极大池化层中丢失的最大激化值的真实空间位置恢复,并在上采样过程中将其放在正确的位置。该过程对于分割比较小的皮下组织是非常有意义的。相对于u-net中使用的卷积转换,上采样的另外一个优点在于其不需要任何学习的参数。上采样后面跟随一个密集连接,其可以将上采样的特征分布和相应编码中在极大池化前的输入特征分布连接起来。为了有利于分割,跳跃连接将编码特征加到解码过程中,以保证梯度可以从深层特征的区域流向浅层的区域。在同样架构的基础上,连接好的特征分布将被传给下一个密集连接模块。
最后一个解码器的输出特征分布被传给了分类模块fc。分类模块本质上为将输入映射为一个n层特征分布的、卷积核大小为1x1的卷积层,其中,n为类别的个数。接下来是一个将激化值映射到概率值的softmax层,图中未示出。softmax层输出每个像素属于各个类别的概率。
本发明的全卷积神经网络可以采用动量的随机梯度下降法训练,学习率的选择要保证验证数据可以得到适当的收敛,比如0.1,并在整个预-训练阶段,每隔十个轮次(epochs),将学习率适当降低。训练一直进行到验证损失达到平台期。这个过程中,将加权衰变常数设置为0.0001,每次训练的数据量(batchsize)设置为24(该值被电脑的内存所限制)。动量设置为0.95,以补偿由于比较小的batchsize带来的梯度的噪声。
实施例四
为了实现上述方案,本实施例提供了一种mri图像分割装置600,如图6所示,包括自动分割模块、全卷积神经网络模块和训练模块。
自动分割模块,配置用于采用分割软件对mri图像进行组织类别的分割,分割结果作为辅助标签数据;
训练模块,配置用于采用带有辅助标签的大量样本对全卷积神经网络进行粗训练;采用带有人工标注标签的小数据样本对全卷积神经网络进行精训练;在粗训练和精训练过程中,在损失函数的逻辑损失项中增加权重ω(x);像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,权重越高;ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重;
全卷积神经网络模块中的全卷积神经网络在训练完成后,作用于需要分割的mri图像实现图像分割。
图7为全卷积神经网络模块的组成框图,其包括三维切分模块、三套相同的全卷积神经网络、汇总模块;三维切分模块将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的二维视图;每个维度利用一套全卷积神经网络进行分割,最后汇总模块将三个维度的分割结果进行汇总,获得图像分割结果。
其中,汇总模块对三个维度的分割结果进行加权和计算,矢状和冠状的权值设置为小于轴向的权值。
全卷积神经网络采用u-net结构,编码器和解码器均采用多层的密集连接模块;编码器的密集连接模块之后跟随池化层,解码器的密集连接模块之前连接上采样层;密集连接模块包含三个卷积层c,每个卷积层前是一个实例归一化层n;前两个卷积层都跟随一个连接层,用于将当前卷积层的输入特征图和前面所有级卷积层的输入特征图连接在一起。
应当理解,图6所示装置600中记载的诸单元或模块与实施例一~四描述的方法中的各个步骤相对应,其具体实施细节在此不再赘述。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
本申请还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本申请的分割方法。
综上所述,以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
技术特征:
1.一种mri图像分割方法,其特征在于,包括:
利用分割软件对mri图像进行组织类别的分割,将分割结果作为辅助标签数据,采用带有辅助标签的样本对全卷积神经网络进行粗训练;
利用粗训练网络作为初始化,采用带有人工标注标签的样本对全卷积神经网络进行精训练;
训练完成的全卷积神经网络作用于需要分割的mri图像实现图像分割。
2.如权利要求1所述的方法,其特征在于,在粗训练和精训练过程中,在损失函数的逻辑损失项中增加权重ω(x);像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,权重越低;ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重。
3.如权利要求2所述的方法,其特征在于,所述权重ω(x)的获取方式为:
针对作为样本的单个体像素,计算每个组织类别的像素数量,获得所有组织类别的像素数量中值med,则像素x的第一部分权值ω1(x)为像素数量中值med除以x所在组织类别i的像素数量count_i;
针对所述单个体像素,通过梯度求取边缘位置;对于处于边缘位置的像素x,将其第一部分权值ω1(x)乘以设定倍数,得到该像素的权重ω(x)。
4.如权利要求2所述的方法,其特征在于,所述损失函数为包括逻辑损失logisticloss和相似系数损失diceloss的联合损失函数。
5.如权利要求1所述的方法,其特征在于,所述分割软件采用freesurfer软件。
6.如权利要求1所述的方法,其特征在于,将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的二维视图,每个维度利用一套全卷积神经网络进行分割,最后将三个维度的分割结果进行汇总,获得图像分割结果。
7.如权利要求6所述的方法,其特征在于,所述将三个维度的分割结果进行汇总采用加权和方式。
8.如权利要求7所述的方法,其特征在于,矢状和冠状的权值设置为小于轴向的权值。
9.如权利要求1所述的方法,其特征在于,所述全卷积神经网络采用u-net结构,编码器和解码器均采用多层的密集连接模块;编码器的密集连接模块之后跟随池化层,解码器的密集连接模块之前连接上采样层;密集连接模块包含三个卷积层c,每个卷积层前是一个实例归一化层n;前两个卷积层都跟随一个连接层,用于将当前卷积层的输入特征图和前面所有级卷积层的输入特征图连接在一起。
10.如权利要求1所述的方法,其特征在于,所述mri图像为脑部mri图像。
11.一种mri图像分割装置,其特征在于,包括自动分割模块、全卷积神经网络模块和训练模块;
自动分割模块,配置用于采用分割软件对mri图像进行组织类别的分割,分割结果作为辅助标签数据;
训练模块,配置用于采用带有辅助标签的样本对全卷积神经网络进行粗训练;利用粗训练网络作为初始化,采用带有人工标注标签的样本对全卷积神经网络进行精训练;
全卷积神经网络模块中的全卷积神经网络在训练完成后,作用于需要分割的mri图像实现图像分割。
12.如权利要求11所述的装置,其特征在于,所述训练模块在粗训练和精训练过程中,在损失函数的逻辑损失项中增加权重ω(x);像素x的权重ω(x)与像素x所在组织类别的体积相关,体积越大,权重越低;ω(x)还与像素x所在位置是否为类别边缘有关,处于边缘的像素权重大于未处于边缘的像素权重。
13.如权利要求12所述的装置,其特征在于,所述训练模块在训练中所采用的损失函数为包括逻辑损失logisticloss和相似系数损失diceloss的联合损失函数。
14.如权利要求11所述的装置,其特征在于,所述自动分割模块采用的分割软件为freesurfer软件。
15.如权利要求11所述的装置,其特征在于,全卷积神经网络模块包括三维切分模块、汇总模块和三套相同的全卷积神经网络;
三维切分模块将mri图像分别沿着冠状、轴向和矢状三个方向分割为三个维度的二维视图;每个维度利用一套全卷积神经网络进行分割,最后汇总模块将三个维度的分割结果进行汇总,获得图像分割结果。
16.如权利要求15所述的装置,其特征在于,所述汇总模块对三个维度的分割结果进行加权和计算,矢状和冠状的权值设置为小于轴向的权值。
17.如权利要求11或15所述的装置,其特征在于,所述全卷积神经网络采用u-net结构,编码器和解码器均采用多层的密集连接模块;编码器的密集连接模块之后跟随池化层,解码器的密集连接模块之前连接上采样层;密集连接模块包含三个卷积层c,每个卷积层前是一个实例归一化层n;前两个卷积层都跟随一个连接层,用于将当前卷积层的输入特征图和前面所有级卷积层的输入特征图连接在一起。
18.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法。
技术总结
本发明公开了一种基于粗、精训练的MRI图像分割方法,该方法利用分割软件对MRI图像进行组织类别的分割,将分割结果作为辅助标签数据,采用带有辅助标签的大量样本对全卷积神经网络进行粗训练;采用带有人工标注标签的小数据样本对全卷积神经网络进行精训练;在粗训练和精训练过程中,在损失函数的逻辑损失项中增加权重;训练完成的神经网络作用于需要分割的MRI图像实现图像分割。本发明还提供了一种基于粗、精训练的MRI图像分割装置和计算机可读存储介质。使用本发明能够在人工手动标注的训练数据有限的情况下,提高分割精度。
技术研发人员:郭宸芸;朱程;董家鸿;葛均波;赵宏
受保护的技术使用者:北京缙铖医疗科技有限公司
技术研发日:.10.14
技术公布日:.02.28