0引言磁共振(magnetic resonance,MR)成像作为一种非侵入式成像手段,能够提供高对比度和高空间分辨率的图像,在婴幼儿大脑研究中得到了广泛应用。生命的第1年是人脑发育最活跃的阶段,伴随着脑组织的快速生长和一系列认知及运动功能的提高(Knickmeyer等,2008;Fan等,2011;Paus等,2001)。在此阶段,将婴儿脑MR图像准确地分割为灰质、白质和脑脊液对研究早期大脑发育模式非常重要(Gilmore等,2012;Li等,2013, 2014)。婴儿脑发育可分为3个不同的阶段:1)婴儿期( 6月龄),此阶段T1图像中灰质比白质显示出更高的信号强度;2)等强度期(6~9月龄),此阶段白质的信号强度在发育过程中随着髓鞘化和成熟过程而增加,因此这个阶段的T1和T2图像中灰质和白质的信号强度差别最小,区分难度最大;3)早期成人阶段(9月龄),在T1图像中,灰质的信号强度远远低于白质,类似于成人MR图像中的组织对比度模式(Paus等,2001;Wang等,2014, 2019)。图 1(a)(b)展示了iSeg-2017 (http://iseg2017.web.unc.edu)提供的等强度期婴儿T1和T2脑图像(以6月龄和9月龄为例),可以观察到其中灰质和白质的亮度处于相似的范围,导致此阶段的脑组织图像对比度最低。同时由于婴儿脑MR图像受各种因素(如运动伪影、部分容积效应以及持续的白质髓鞘形成现象)的影响(Xue等,2007;Gui等,2012),使得等强度婴儿脑MR图像的自动分割成为一项艰巨的任务。 图1 iSeg-2017训练集图像示例 Images in training dataset of iSeg-2017Fig 1((a) T1 weighted MR image; (b) T2 weighted MR image; (c) manual label image) 因为婴儿脑MR图像分割对于探究婴儿脑疾病及人类大脑发育具有重要意义,越来越多的科学家对该领域展开了研究。魏颖等人(2017)提出了改进的基于自适应空间约束的模糊C均值聚类算法(adaptive spatial fuzzy C-means, ASFCM)用于婴幼儿脑MR图像分割,在保证分割能力的同时,去除了图像中的噪声,提高了算法的鲁棒性。李贤军等人(2019)提出基于迁移学习的分割算法,首先使用iSeg-2017数据集对模型进行预训练,之后使用预训练后的模型对新生儿脑T1加权图像进行分割,实验结果表明了方法的有效性。大多数婴儿脑MR图像分割方法集中于对新生婴儿脑MR图像进行分割(Cardoso等,2013;Wang等,2011, 2013;Kim等,2013),而该阶段的灰质和白质具有相对明显的组织对比度。但是在等强度期,灰质和白质在信号强度分布上存在很大程度的重叠,组织对比度极低,导致这些方法不能在等强度婴儿脑MR图像上实现准确的分割。由于临床应用分析和科学研究的需要,等强度期婴儿脑MR图像的分割受到了研究人员的广泛关注。Shi等人(2010)提出一个4D联合配准和分割的框架,用于第1年内婴儿脑时序MR图像的纵向分割,该方法使用婴儿期和早期成人阶段的纵向图像数据指导等强度阶段的分割。Wang等人(2014)提出了稀疏表征的方法,融合多模态比如T1、T2和各向异性分数(fractional anisotropy, FA)数据作为网络的输入,并且在网络中添加解剖学约束,提升了网络对等强度婴儿脑MR图像的分割性能。然而这些方法都有一定的缺点,Shi等人(2010)提出的这种方法过于依赖纵向扫描数据,但是大多数婴儿脑MR图像难以获得对应的纵向扫描数据,因此这种方法具有很大的局限性;Wang等人(2014)提出的方法为了提升模型的分割性能,使用了大量的模板(templates)图像及其对应的手工分割结果,但是对于等强度期婴儿脑MR图像来说,难以获取大量的手工分割结果。因此亟需开发性能更优的算法,对等强度婴儿脑MR图像进行分割,以促进人类大脑早期发育研究。深度学习方法由于其在计算机视觉任务中突出的表现而备受关注,卷积神经网络作为深度学习重要的分支,已经在目标检测(Ren等,2017)、图像分类(Krizhevsky等,2012)和语义分割(Long等,2015)等任务中取得了令人瞩目的成就。这些深度学习模型以数据驱动的方式,自动学习输入到输出的非线性映射,具有强大的特征提取能力,目前已广泛应用于医学图像处理,包括放射学、肿瘤学或神经影像学等领域的分析中(Litjens等,2017)。与此同时,基于深度学习的等强度期婴儿脑MR图像分割也受到了广泛关注。在医学图像计算和计算机辅助干预学会(Medical Image Computing and Computer Assisted Intervention Society, MICCAI) 2017国际会议中,iSeg-2017挑战赛提供了一个6月龄的婴儿脑MR图像数据集(http://iseg2017.web.unc.edu),供研究人员对其提出的分割方法进行测试,很大程度上推动了等强度婴儿脑MR图像分割方法的研究。本文尝试对现有等强度婴儿脑MR图像分割的深度学习方法进行较为全面的总结和分析,并按照方法所采用的网络结构形式,将其划分为基于2D卷积神经网络(convolutional neural networks, CNN)和基于全卷积网络(fully convolutional networks, FCN)两大类分割方法。首先简要介绍用于分割方法评估的iSeg-2017等强度婴儿脑MR图像数据集及分割结果评价指标;然后对应用于等强度婴儿脑分割的深度学习方法进行总结,重点介绍了两种典型方法的基本思想和网络架构,并对其在iSeg-2017数据集上的性能进行了详细的比较和分析;最后对基于深度学习的等强度婴儿脑MR图像分割方法的未来发展方向进行展望。1数据集及评价指标介绍1.1数据集为促进等强度婴儿脑MR图像分割算法的研究,2017年MICCAI举办了6月龄婴儿脑MR图像分割挑战赛即iSeg-2017(http://iseg2017.web.unc.edu), 并对各参赛方法的原理和结果进行了总结和分析,以评估当前(半)自动算法对等强度期婴儿脑MR图像的分割性能(Wang等,2019)。iSeg-2017数据集共包含23个6月龄婴儿脑磁共振数据(其中训练数据10个,测试数据13个),并提供训练集的手动分割结果即金标准。金标准包含4类标签,分别是背景(灰度值标记为0)、脑脊液(灰度值标记为10)、灰质(灰度值标记为150)、白质(灰度值标记为250),同时为了进行公平的结果比较,测试集的金标准不进行公开。图 1展示了iSeg-2017训练集中一个样本的T1和T2加权MR图像,以及对应的手动分割结果。1) 采集参数。所有被试的磁共振成像在同一台3.0 T扫描设备上进行,参数如下:T1加权图像TR(repetition time)/TE(echo time)=1 900/4.38 ms,翻转角=7°,分辨率=1×1×1 mm3;T2加权图像TR/TE=7 380/119 ms,翻转角=150°,分辨率=1.25×1.25×1.95 mm3。2) 预处理。首先将T2加权图像线性配准到对应的T1加权图像上,并将所有图像重新采样为各向同性的1×1×1 mm3分辨率。接下来进行去头骨、强度不均匀校正以及去除小脑和脑干等操作。3) 金标准。为了得到可靠的手动分割结果即金标准,首先使用iBEAT(infant Brain Extraction and Analysis Toolbox)软件(Dai等,2013)对T1和T2加权图像进行处理,以生成初始的分割结果。其次在神经放射科医生的指导下,使用ITK-SNAP软件(Yushkevich等,2006)手动校正初始分割结果的分割错误和拓扑结构错误,以生成金标准(Wang等,2019)。1.2评价指标在等强度期婴儿脑MR图像分割中,一般采用Dice系数(Dice coefficient, DICE)、95 %的霍斯多夫距离(95th-percentile Hausdorff distance, HD95)和平均表面距离(average symmetric surface distance, ASD)作为评估算法性能的指标,3种指标分别用$D$, $H$和$S$表示,具体计算方式为 1 $ D = \frac{{2\left| {\mathit{\boldsymbol{A}} \cap \mathit{\boldsymbol{B}}} \right|}}{{\left| {\mathit{\boldsymbol{A}} + \mathit{\boldsymbol{B}}} \right|}} $ 式中,$\boldsymbol{A}$表示手动分割结果,$\boldsymbol{B}$表示算法的分割结果,DICE用来描述算法分割结果与手动分割结果的重叠程度,DICE值的范围在0~1之间,1表示分割结果为最优。 2 $ H(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}) = {\rm{max}}(h(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}), h(\mathit{\boldsymbol{Y}}, \mathit{\boldsymbol{X}})) $ 3 $ h(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}) = \mathop {{\rm{max}}}\limits_{x \in \mathit{\boldsymbol{X}}} \mathop {{\rm{max}}}\limits_{y \in \mathit{\boldsymbol{Y}}} \left\| {x - y} \right\| $ 式中,$\boldsymbol{X}$和$\boldsymbol{Y}$分别表示手动分割结果和算法分割结果的一组点集,HD95用来描述两组点集的接近度,值越低表示算法分割结果与手动分割标准匹配度越高,即分割结果越好。 4 $\begin{array}{l}S = \frac{1}{2}\left({\frac{{\sum\limits_{{V_i} \in {\mathit{\boldsymbol{S}}_A}} {\mathop {{\rm{min}}}\limits_{{V_j} \in {\mathit{\boldsymbol{S}}_B}} d\left({{V_{i, }}{V_j}} \right)} }}{{\sum\limits_{{V_i} \in {\mathit{\boldsymbol{S}}_A}} 1 }} + } \right.\\\;\;\;\;\;\;\;\left. {\frac{{\sum\limits_{{V_j} \in {\mathit{\boldsymbol{S}}_B}} {\mathop {{\rm{min}}}\limits_{{V_i} \in {\mathit{\boldsymbol{S}}_A}} d\left({{V_{j, }}{V_i}} \right)} }}{{\sum\limits_{{V_j} \in {\mathit{\boldsymbol{S}}_B}} 1 }}} \right)\end{array}$ 式中,$\boldsymbol{S}_{A}$是手动分割结果的表面,$\boldsymbol{S}_{B}$是算法分割结果的表面,$d(V_{i, }V_{j})$表示手动分割结果表面顶点$V_{i}$与算法分割结果表面顶点$V_{j}$的欧氏距离(Euclidean distance)。ASD值越小表明算法分割结果与手动分割标准的偏离越小,即分割结果越好。2基于2D CNN的等强度婴儿脑分割基于2D CNN的等强度婴儿脑MR图像分割采用的是基于图像块的滑窗图像分割方法,即在训练过程中,采用滑动窗口的方式逐像素取相应的图像块作为训练样本输入CNN网络,使模型能够提取到深层次特征,之后基于模型提取到的特征训练分类器,最后通过分类器输出预测结果,从而将像素标签预测转换为像素所在局部图像块分类问题。这种方法可以从少量的训练数据中获取大量的图像块,在一定程度上解决了婴儿脑MR图像获取困难及手工标注图像少的问题。Zhang等人(2015)率先提出了基于2D CNN的用于等强度期婴儿脑MR图像的分割方法,网络以T1、T2和FA数据为输入,以学习不同模态数据的特征,得到的灰质、白质和脑脊液的DICE值分别为85.2 %、86.4 %和83.6 %。Moeskops等人(2016)为保证方法获得准确的分割细节及空间一致性,使用多尺度的图像块和卷积核获取每个体素的多尺度信息,在等强度婴儿脑MR数据集上得到了较好的分割效果。但Moeskops等人(2016)和Zhang等人(2015)方法存在一定的缺点,首先两种方法均采用滑动窗口策略进行卷积,因此存在过多的冗余卷积和池化操作,导致网络的运算效率较低;其次两种模型均使用2D图像块作为输入,使得模型学习到的特征信息有限,导致最终的分割精度并不高。3基于FCN的等强度婴儿脑分割全卷积网络FCN (Long等,2015)由于其在语义分割领域出色的性能,受到了研究人员的广泛关注。FCN作为图像语义分割任务的开山之作,是一种端到端(end to end)的图像分割方法。FCN将卷积神经网络中的全连接层替换为卷积层,在不破坏空间结构的基础上,可以对图像进行像素级别的分类,解决了下采样后的低分辨率问题。同时网络采用跳跃连接(skip connection)的方式,融合不同层级的特征信息,实现了对语义图像的准确分割。3.1基于2D FCN的等强度婴儿脑分割Nie等人(2016)在模型训练过程中单独为每个模态图像训练一个2D FCN网络,然后将不同网络获取的高层特征融合在一起,用于等强度期婴儿脑MR图像的分割,在和Zhang等人(2015)相同的数据集上获得了更好的实验结果,得到的灰质、白质和脑脊液的DICE值分别为87.3 %、88.7 %和85.5 %。为进一步提升模型的分割效果,Xu等人(2017)使用2D FCN网络结合迁移学习用于等强度期婴儿脑MR图像分割,首先将模型在自然图像集ImageNet上进行预训练,之后在iSeg-2017数据集上进行微调,获得的灰质、白质和脑脊液的DICE值分别为88.7 %、86.1 %和92.8 %。3.2基于3D FCN的等强度婴儿脑分割由于基于2D的网络模型无法很好地捕获到MR图像中丰富的空间信息,因此一些研究人员使用3D FCN进行婴儿脑图像的分割。这种方法可以更好地利用MR图像的3D特性,加强不同切片间的空间上下文联系,从而有效地提升模型对婴儿脑MR图像的分割精度。Moeskops和Pluim(2017)使用多尺度的网络架构,构建了2D和3D两个FCN网络,充分融合不同维度的MR图像信息,进一步提升了模型的分割性能,在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为90.4 %、89.0 %和94.7 %。Zeng和Zheng(2018)构建了多尺度的3D FCN网络以充分融合图像的空间上下文信息,同时为不同模态数据设计单独的输入路径以集成多模态信息,实现了对等强度期婴儿脑MR图像的准确分割,在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为91.6 %、89.6 %和95.4 %。Dolz等人(2020)在3D FCN网络的基础上,借鉴密集连接卷积网络(densely connected convolutional networks, DenseNet) (Huang等,2017)的思想,将所有卷积层的输出进行连接,使网络融合多尺度的特征信息,在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为91.9 %、89.7 %和95.7 %。Dolz等人(2019)设计了双路径的3D FCN网络以结合不同模态数据,同时进一步扩展了密集连接的思想,在不同的网络层以及不同路径之间添加密集连接,进一步融合多尺度的特征信息,在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为92.0 %、90.1 %和95.6 %。在基于FCN的等强度期婴儿脑MR图像分割上使用更广泛的是U-Net架构(Ronneberger等,2015)。U-Net基于全卷积网络拓展和修改而来,网络由两部分组成:收缩路径(contracting path)即编码器和扩张路径(expanding path)即解码器。其中收缩路径通过下采样操作获得图像的上下文信息,得到尺寸减小的特征图,实现对特征的逐层提取。扩张路径通过上采样操作将特征图逐步恢复至原图大小;同时下采样得到的特征图通过跳跃连接,与上采样过程得到的特征输出结合,使网络能够学习多尺度的特征。表 1列出的使用iSeg-2017数据集进行测试的方法中,多数使用了类似U-Net的网络架构。同时为更好地利用特征的空间上下文信息,进一步提高网络的分割性能,一些研究者使用了3D U-Net (Çiçek等, 2016)网络架构。Fonov等人(2018)首先使用3D U-Net模型在婴儿脑影像研究数据集(infant brain imaging study, IBIS) (Hazlett等,2017)上进行预训练,并在iSeg-2017数据集上进行微调,获得的灰质、白质和脑脊液的DICE值分别为90.2 %、88.5 %和93.5 %。为了进一步提升模型的分割性能,Bui等人(2017)使用类似3D U-Net的结构,并拓展DenseNet的思想用于等强度期婴儿脑MR图像分割,在iSeg-2017的首轮评估中获得了第1名的成绩,得到的灰质、白质和脑脊液的DICE值分别为91.9 %、90.1 %和95.8 %。 表1 基于深度学习的等强度婴儿脑MR图像分割方法比较 文献 关键技术 模态 数据集 评价指标(DICE)/% 灰质 白质 脑脊液 Zhang等人(2015) 2D CNN T1、T2、FA 10个健康被试 85.2 86.4 83.6 Nie等人(2016) 2D FCN T1、T2、FA 10个健康被试 87.3 88.7 85.5 Xu等人(2017)* 2D FCN T1、T2 iSeg-2017 88.7 86.1 92.8 Moeskops和Pluim (2017)* 2D/3D FCN T1、T2 iSeg-2017 90.4 89.0 94.7 Bui等人(2017) 3D FCN T1、T2 iSeg-2017 91.9 90.1 95.8 Zeng和Zheng(2018)* 3D FCN T1、T2 iSeg-2017 91.6 89.6 95.4 Fonov等人(2018) 3D FCN T1、T2 iSeg-2017 90.2 88.5 93.5 Dolz等人(2019) 3D FCN T1、T2 iSeg-2017 92.0 90.1 95.6 Dolz等人(2020)* 3D FCN T1、T2 iSeg-2017 91.9 89.7 95.7 Comparison of isointense infant brain MR image segmentation methods based on deep learningTable 1 “*”为保证所比较方法测试数据相同且结果精度一致,该部分数据参考iSeg2017网站公布数据。表 1列举了基于深度学习的等强度婴儿脑MR图像分割方法在私有数据集及iSeg-2017数据集上的分割结果。值得注意的是,相对于脑脊液的分割结果,大多数方法在灰质和白质上的分割精度明显较低,这是由于在等强度期婴儿脑MR图像中灰质和白质信号强度相似,二者组织对比度较差,导致分割算法无法获得更高的分割精度。通过使用多模态的图像数据、设计多尺度的网络架构以及添加更密集的网络连接等方式,在一定程度上提高了模型的分割精度。同时基于3D全卷积神经网络的分割方法以端到端的形式实现对图像语义级的预测,避免了传统卷积神经网络存在冗余卷积操作的问题,在明显提升分割精度的同时也提高了模型的分割效率。3.3典型等强度期深度学习分割算法接下来对两种分割性能较好的等强度期深度学习分割算法进行系统总结,介绍两种算法的基本思想和网络架构,并使用DICE、HD95和ASD这3个指标对其性能表现进行对比。两种方法均借鉴了DenseNet的思想,为了最大化网络中所有层之间的信息流,DenseNet将网络的所有层两两相连,使得网络中每一层都以前面所有层的特征作为输入。主要有以下两个特性:1)由于在网络反向传播时每一层都会接受其后所有层的梯度信号,所以随着网络深度的增加,靠近输入层的梯度不会越来越小,因此在一定程度上缓解了模型在训练过程中梯度弥散的问题;2)由于网络采用密集连接方式,使得大量的特征被复用,因此网络使用少量的卷积核可以生成大量的特征,最终模型的尺寸也较小。DenseNet由于其出色的性能为研究人员广泛使用,等强度期婴儿脑MR图像分割也受到DenseNet启发,通过在网络中融合密集连接的思想,在一定程度上提高了模型的分割精度。3.3.1基于3D密集卷积网络的等强度婴儿脑分割3D-DenseSeg (Bui等,2017)在iSeg-2017首轮结果评估中(http://iseg2017.web.unc.edu/rules/results/)排名第1。该方法在DenseNet基础上进行拓展以分割6月龄婴儿脑MR图像,通过将浅层到深层密集块的特征信息级联,网络可以充分捕获多个尺度的上下文信息,以产生准确的分割结果,婴儿脑分割网络架构如图 2所示。 图2 基于3D密集卷积网络的等强度婴儿脑分割方法基本架构图 Basic architecture of isointense infant brain segmentation method based on 3D densely convolutional networkFig 23D-DenseSeg模型共47层,155万个训练参数,由上采样和下采样两个路径组成。网络使用下采样降低特征图的分辨率,以增大感受野。下采样由4个密集块组成,每个密集块包含4个3×3×3的卷积核,同时在每个卷积核前进行标准化批处理(batch normalization, BN) (Ioffe和Szegedy,2015)和修正线性单元(rectified linear unit, ReLU) (Glorot等,2011)操作以提升网络的训练效率。在下采样的过程中添加了过渡块(transition block)、瓶颈层(bottleneck layer)和随机失活操作(dropout) (Srivastava等,2014),分别用于减少模型的训练参数,提升模型的运算效率及避免网络过拟合。上采样操作用于恢复输入图像的分辨率,由于浅层网络中包含局部特征信息,深层网络中包含全局特征信息,因此在每个密集块之后执行上采样,然后对这些上采样特征图进行组合,以获得多尺度的信息,最后使用1×1×1卷积组成的分类器对组合的特征图进行分类,生成最终的预测结果。3.3.2基于3D半密集卷积网络的等强度婴儿脑分割SemiDenseNet (Dolz等,2020)同样受DenseNet的启发,但是不同于DenseNet连接不同卷积层之间的输出,网络采用半密集连接的方式,将所有卷积层的输出在第1个全连接层之前进行连接。SemiDenseNet模型在对不同尺度的特征信息进行融合的同时,可以有效地传播网络梯度并且减少训练参数。该方法在iSeg-2017首轮结果评估中排名第2,分割网络架构如图 3所示。 图3 基于3D半密集卷积网络的等强度婴儿脑分割方法基本架构图 Basic architecture of isointense infant brain segmentation method based on 3D semi-densely convolutional networkFig 3SemiDenseNet网络共13层,90万个训练参数,包括9个卷积层、3个全连接层以及1个分类层。每个卷积层中的卷积核尺寸为3×3×3 (步长为1),数量由浅到深分别为25、25、25、50、50、50、75、75和75,并且在卷积前进行标准化批处理(BN)和参数修正线性单元(parametric rectified linear unit, PReLU) (He等,2015)操作。该网络将每个卷积层的输出在第1个全连接层之前进行连接,从而使模型在分割中可以充分利用多尺度信息,并且在全连接层中使用随机失活操作(dropout),避免网络出现过拟合现象,最后通过分类层输出预测结果。通过这种半密集的连接方式,极大地减少了网络的训练参数,提升了网络的运算效率,同时获得了较好的分割精度。3.3.3结果对比表 2展示的是使用DICE、HD95和ASD这3种评价指标对两种模型在iSeg-2017数据集上的评估结果。得益于多模态的数据输入以及密集的连接方式,两种分割模型在灰质、白质和脑脊液的分割中均获得了较好的结果。其中3D-DenseSeg在灰质、白质和脑脊液的分割中均获得了超过90 %的DICE值,SemiDenseNet在灰质的分割中获得了和3D-DenseSeg相同的DICE值,在白质和脑脊液的DICE结果中稍低于3D-DenseSeg,但二者的差距并不大。从脑脊液的HD95指标来看,SemiDenseNet取得了更好的结果,3D-DenseSeg在灰质和脑脊液的ASD指标上获得了更好的结果。在白质的HD95和ASD分割结果上二者各有优势,整体相差不大。从二者的网络结构来看,3D-DenseSeg在模型的输入部分对不同模态数据进行结合,采用了更加密集的连接方式,并使用跳跃连接对不同尺度的特征信息进行融合。所不同的是SemiDenseNet取消了不同层之间的密集连接,使用半密集连接的方式,将来自每个卷积层的输出在第1个全连接层之前进行连接,大量减少了模型的训练参数,提升了网络的运算效率,同时获得了较好的分割性能。 表2 3D-DenseSeg与SemiDenseNet分割结果比较 方法 数据集 评价指标 灰质 白质 脑脊液 DICE/% HD95 ASD DICE/% HD95 ASD DICE/% HD95 ASD 3D-DenseSeg iSeg-2017 91.9 5.980 0.330 90.1 6.444 0.391 95.8 9.072 0.116 SemiDenseNet iSeg-2017 91.9 6.415 0.338 89.7 6.975 0.376 95.7 9.029 0.138 Comparison of 3D-DenseSeg and SemiDenseNet segmentation resultsTable 2 为保证所比较方法结果精度一致,SemiDenseNet方法结果参考iSeg2017网站公布的数据。4结语随着深度学习的发展,越来越多的方法应用于婴儿脑影像分析中。基于深度学习的等强度婴儿脑MR图像分割算法受到了研究人员的广泛关注,其通过使用多模态的MR图像数据、更复杂的网络架构以及融合多尺度的特征信息等方式获得了较好的分割结果。相比传统分割方法在性能上有了明显提升,但还远远不能满足医学图像处理的实际应用对分割结果准确性的要求(林瑶和田捷,2002)。另外,对于等强度期婴儿脑MR图像分割来说,由于灰质和白质在此阶段极低的组织对比度,造成目前基于深度学习的分割算法性能无法进一步提升,而分割结果误差的出现会导致无法准确地表征大脑的发育属性。因此目前基于深度学习的等强度婴儿脑MR分割方法仍然需要研究人员进行更加系统而深入的研究。1) 目前基于深度学习的等强度婴儿脑MR图像分割方法取得了更优的性能,这得益于深度学习强大的学习能力和信息表征能力。因此将信息表征能力更强的方法,如注意力机制(Hu等,2018)嵌入等强度婴儿脑MR图像深度分割网络中,使网络能够学习灰质和白质中存在的更具判别力的特征,从而提升模型的分割性能,降低分割误差。这对于基于深度学习的等强度婴儿脑MR图像分割算法来说是一个重要的研究方向。2) 对于等强度期婴儿脑MR图像分割而言,在深度网络模型中添加解剖学约束信息,是一种合理的提高分割精度的方法。由于脑脊液和灰质之间的组织对比度远高于灰质和白质,因此可以首先从婴儿脑图像中识别出脑脊液以重建外皮质表面,因为婴儿大脑皮质厚度具有一定范围(约为1~3 mm),所以重建的外皮质表面可以作为内皮质表面估计的指导(Wang等,2019),以纠正算法分割错误,提升模型分割性能。因此在基于深度学习的等强度婴儿脑MR分割模型中添加解剖学约束信息,也将是该领域一个重要的研究方向。3) 由于婴儿脑MR数据获取相对困难,手工标注极其费时耗力,而现有的深度学习分割模型需要大量的手工标注数据进行训练。因此,利用有限的手工标注数据设计适用于等强度婴儿脑MR图像的半监督或弱监督(Xiao等,2015;Oquab等,2015)分割模型,或采用生成对抗网络(Goodfellow等,2014)模型生成一些高质量的标注数据训练网络,以提升网络的分割性能,是该领域未来可深入研究的方向。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读