|
|
|
发布时间: 2020-10-16 |
前沿进展 |
|
|
|
张航1, 王雅萍1, 耿秀娟2, 付鹏飞1 |
收稿日期: 2020-06-11; 修回日期: 2020-07-03; 预印本日期: 2020-07-10
基金项目: 国家自然科学基金项目（U1504606，31701002）；中国博士后科学基金项目（2016T90679，2015M582201）；河南省科技发展计划项目（172102310270）；河南省高等学校重点科研项目计划（20A510009）
第一作者简介:
张航, 1995年生, 男, 硕士研究生, 主要研究方向为医学图像处理与分析。E-mail:zhanghang0812@gs.zzu.edu.cn;
耿秀娟, 女, 研究助理教授, 主要研究方向为医学影像处理、分析与在神经科学中的应用。E-mail:gengx@cuhk.edu.hk; 付鹏飞, 男, 硕士研究生, 主要研究方向为医学图像处理与分析。E-mail:fupengfei18@gs.zzu.edu.cn.
中图法分类号: TP183
文献标识码: A
文章编号: 1006-8961(2020)10-2068-11
|
摘要
磁共振（magnetic resonance，MR）成像作为一种安全非侵入式的成像技术，可以提供高分辨率且具有不同对比度的大脑图像，被越来越多地应用于婴儿大脑研究中。将婴儿脑MR图像准确地分割为灰质、白质和脑脊液，是研究早期大脑发育模式不可或缺的基础处理环节。由于在等强度阶段（6~9月龄）婴儿脑MR图像中，灰质和白质信号强度基本一致，组织对比度极低，导致此阶段的脑组织分割非常具有挑战性。基于深度学习的等强度婴儿脑MR图像分割方法，由于其卓越的性能受到研究人员的广泛关注，但目前尚未有文献对该领域的方法进行系统总结和分析。因此本文对目前基于深度学习的等强度婴儿脑MR图像分割方法进行了系统总结，从基本思想、网络架构、性能及优缺点4个方面进行了介绍。并针对其中的典型算法在iSeg-2017数据集上的分割结果进行了对比分析，最后对等强度婴儿脑MR图像分割中存在的问题及未来研究方向进行展望。本文通过对目前基于深度学习的等强度婴儿脑MR图像分割方法进行总结，可以看出深度学习方法已经在等强度期婴儿脑分割中展现出巨大优势，相比传统方法在分割精度和效率上均有较大提升，将进一步促进人类人脑早期发育研究。
关键词
磁共振成像; 等强度期; 婴儿脑分割; 深度学习; 卷积神经网络
Zhang Hang1, Wang Yaping1, Geng Xiujuan2, Fu Pengfei1 Abstract
Emerging interest has been shown in the study of infant brain development by using magnetic resonance (MR) imaging because it provides a safe and noninvasive way of examining cross-sectional views of the brain in multiple contrasts. Quantitative analysis of brain MR images is a conventional routine for many neurological diseases and conditions, which relies on the accurate segmentation of structures of interest. Accurate segmentation of infant brain MR images into white matter (WM), gray matter (GM), and cerebrospinal fluid is of great importance in studying and measuring normal and abnormal early brain development. However, in the isointense phase (6-9 months of age), WM and GM exhibit similar levels of intensity in T1-weighted and T2-weighted MR images due to the inherent myelination and maturation, posing significant challenges for automated segmentation. Compared with traditional methods, deep learning-based methods have greatly improved the accuracy and efficiency of isointense infant brain segmentation. Thus, deep learning-based segmentation methods have been increasingly used by researchers due to their excellent performance. Nevertheless, no literature has systematically summarized and analyzed the methods in this field. The current study aims to review existing deep learning-based approaches for isointense infant brain MR image segmentation. With the extensive research in the literature, we systematically summarized the current deep learning-based methods for isointense infant brain MR image segmentation. We first introduced an authoritative isointense infant brain segmentation dataset, which was used in the iSeg-2017 challenge, hosted as a part of the Medical Image Computing and Computer Assisted Intervention Society Conference 2017. Afterward, several evaluation metrics, including Dice coefficient, 95th-percentile Hausdorff distance, and average symmetric surface distance, were briefly described. We classified the existing deep learning-based methods for isointense infant brain MR image segmentation into two categories: 2D and fully convolutional neural network-based methods. Fully convolutional neural network-based methods can be further divided into two subcategories: 2D and 3D network-based approaches. On the basis of the two categories, we comprehensively described and analyzed the basic ideas, network architecture, improvement schemes, and segmentation performance of each method. In addition, we compared the performance of some existing deep learning-based methods and summarized the analysis results of typical methods on the iSeg-2017 dataset. Lastly, three possible research directions of isointense infant brain MR image segmentation methods based on deep learning were discussed. We drew three main conclusions by reviewing the main work in this field, thereby providing a good overview of existing deep learning methods for isointense infant brain MR image segmentation. First, using multimodality data is beneficial for the network to obtain rich feature information, which can improve the segmentation accuracy. Second, compared with 2D fully convolutional network-based methods, 3D-based methods for MR image brain segmentation can integrate richer spatial context information, resulting in higher accuracy and efficiency. Third, adopting complicated network architecture and dense network connection could make the network achieve superior accuracy performance. Three possible future directions, namely, embedding powerful feature representation modules (e.g., attention mechanism), adding prior knowledge of the infant brain to the network model (e.g., the cortical thickness of infant brain is within a certain range), and constructing a semisupervised or weakly supervised network model trained with a small amount of labeled data, were recommended. Precise segmentation of infant brain tissues is an essential step towards comprehensive volumetric studies and quantitative analysis of early brain development. Deep learning has shown great advantages in isointense infant brain segmentation, and its accuracy and efficiency have been greatly improved compared with traditional methods. With the development of deep learning, it will bring further improvement in the research field of isointense infant brain segmentation and promote the research of early human brain development.
Key words
magnetic resonance imaging; isointense phase; infant brain segmentation; deep learning; convolutional neural network
0 引言
磁共振(magnetic resonance，MR)成像作为一种非侵入式成像手段，能够提供高对比度和高空间分辨率的图像，在婴幼儿大脑研究中得到了广泛应用。生命的第1年是人脑发育最活跃的阶段，伴随着脑组织的快速生长和一系列认知及运动功能的提高(Knickmeyer等，2008；Fan等，2011；Paus等，2001)。在此阶段，将婴儿脑MR图像准确地分割为灰质、白质和脑脊液对研究早期大脑发育模式非常重要(Gilmore等，2012；Li等，2013, 2014)。婴儿脑发育可分为3个不同的阶段：1)婴儿期(< 6月龄)，此阶段T1图像中灰质比白质显示出更高的信号强度；2)等强度期(6~9月龄)，此阶段白质的信号强度在发育过程中随着髓鞘化和成熟过程而增加，因此这个阶段的T1和T2图像中灰质和白质的信号强度差别最小，区分难度最大；3)早期成人阶段(>9月龄)，在T1图像中，灰质的信号强度远远低于白质，类似于成人MR图像中的组织对比度模式(Paus等，2001；Wang等，2014, 2019)。图 1(a)(b)展示了iSeg-2017 (http://iseg2017.web.unc.edu)提供的等强度期婴儿T1和T2脑图像(以6月龄和9月龄为例)，可以观察到其中灰质和白质的亮度处于相似的范围，导致此阶段的脑组织图像对比度最低。同时由于婴儿脑MR图像受各种因素(如运动伪影、部分容积效应以及持续的白质髓鞘形成现象)的影响(Xue等，2007；Gui等，2012)，使得等强度婴儿脑MR图像的自动分割成为一项艰巨的任务。
因为婴儿脑MR图像分割对于探究婴儿脑疾病及人类大脑发育具有重要意义，越来越多的科学家对该领域展开了研究。魏颖等人(2017)提出了改进的基于自适应空间约束的模糊C均值聚类算法(adaptive spatial fuzzy C-means, ASFCM)用于婴幼儿脑MR图像分割，在保证分割能力的同时，去除了图像中的噪声，提高了算法的鲁棒性。李贤军等人(2019)提出基于迁移学习的分割算法，首先使用iSeg-2017数据集对模型进行预训练，之后使用预训练后的模型对新生儿脑T1加权图像进行分割，实验结果表明了方法的有效性。大多数婴儿脑MR图像分割方法集中于对新生婴儿脑MR图像进行分割(Cardoso等，2013；Wang等，2011, 2013；Kim等，2013)，而该阶段的灰质和白质具有相对明显的组织对比度。但是在等强度期，灰质和白质在信号强度分布上存在很大程度的重叠，组织对比度极低，导致这些方法不能在等强度婴儿脑MR图像上实现准确的分割。
由于临床应用分析和科学研究的需要，等强度期婴儿脑MR图像的分割受到了研究人员的广泛关注。Shi等人(2010)提出一个4D联合配准和分割的框架，用于第1年内婴儿脑时序MR图像的纵向分割，该方法使用婴儿期和早期成人阶段的纵向图像数据指导等强度阶段的分割。Wang等人(2014)提出了稀疏表征的方法，融合多模态比如T1、T2和各向异性分数(fractional anisotropy, FA)数据作为网络的输入，并且在网络中添加解剖学约束，提升了网络对等强度婴儿脑MR图像的分割性能。然而这些方法都有一定的缺点，Shi等人(2010)提出的这种方法过于依赖纵向扫描数据，但是大多数婴儿脑MR图像难以获得对应的纵向扫描数据，因此这种方法具有很大的局限性；Wang等人(2014)提出的方法为了提升模型的分割性能，使用了大量的模板(templates)图像及其对应的手工分割结果，但是对于等强度期婴儿脑MR图像来说，难以获取大量的手工分割结果。因此亟需开发性能更优的算法，对等强度婴儿脑MR图像进行分割，以促进人类大脑早期发育研究。
深度学习方法由于其在计算机视觉任务中突出的表现而备受关注，卷积神经网络作为深度学习重要的分支，已经在目标检测(Ren等，2017)、图像分类(Krizhevsky等，2012)和语义分割(Long等，2015)等任务中取得了令人瞩目的成就。这些深度学习模型以数据驱动的方式，自动学习输入到输出的非线性映射，具有强大的特征提取能力，目前已广泛应用于医学图像处理，包括放射学、肿瘤学或神经影像学等领域的分析中(Litjens等，2017)。与此同时，基于深度学习的等强度期婴儿脑MR图像分割也受到了广泛关注。在医学图像计算和计算机辅助干预学会(Medical Image Computing and Computer Assisted Intervention Society, MICCAI) 2017国际会议中，iSeg-2017挑战赛提供了一个6月龄的婴儿脑MR图像数据集(http://iseg2017.web.unc.edu)，供研究人员对其提出的分割方法进行测试，很大程度上推动了等强度婴儿脑MR图像分割方法的研究。
本文尝试对现有等强度婴儿脑MR图像分割的深度学习方法进行较为全面的总结和分析，并按照方法所采用的网络结构形式，将其划分为基于2D卷积神经网络(convolutional neural networks, CNN)和基于全卷积网络(fully convolutional networks, FCN)两大类分割方法。首先简要介绍用于分割方法评估的iSeg-2017等强度婴儿脑MR图像数据集及分割结果评价指标；然后对应用于等强度婴儿脑分割的深度学习方法进行总结，重点介绍了两种典型方法的基本思想和网络架构，并对其在iSeg-2017数据集上的性能进行了详细的比较和分析；最后对基于深度学习的等强度婴儿脑MR图像分割方法的未来发展方向进行展望。
1 数据集及评价指标介绍
1.1 数据集
为促进等强度婴儿脑MR图像分割算法的研究，2017年MICCAI举办了6月龄婴儿脑MR图像分割挑战赛即iSeg-2017(http://iseg2017.web.unc.edu), 并对各参赛方法的原理和结果进行了总结和分析，以评估当前(半)自动算法对等强度期婴儿脑MR图像的分割性能(Wang等，2019)。iSeg-2017数据集共包含23个6月龄婴儿脑磁共振数据(其中训练数据10个，测试数据13个)，并提供训练集的手动分割结果即金标准。金标准包含4类标签，分别是背景(灰度值标记为0)、脑脊液(灰度值标记为10)、灰质(灰度值标记为150)、白质(灰度值标记为250)，同时为了进行公平的结果比较，测试集的金标准不进行公开。图 1展示了iSeg-2017训练集中一个样本的T1和T2加权MR图像，以及对应的手动分割结果。
1) 采集参数。所有被试的磁共振成像在同一台3.0 T扫描设备上进行，参数如下：T1加权图像TR(repetition time)/TE(echo time)=1 900/4.38 ms，翻转角=7°，分辨率=1×1×1 mm3；T2加权图像TR/TE=7 380/119 ms，翻转角=150°，分辨率=1.25×1.25×1.95 mm3。
2) 预处理。首先将T2加权图像线性配准到对应的T1加权图像上，并将所有图像重新采样为各向同性的1×1×1 mm3分辨率。接下来进行去头骨、强度不均匀校正以及去除小脑和脑干等操作。
3) 金标准。为了得到可靠的手动分割结果即金标准，首先使用iBEAT(infant Brain Extraction and Analysis Toolbox)软件(Dai等，2013)对T1和T2加权图像进行处理，以生成初始的分割结果。其次在神经放射科医生的指导下，使用ITK-SNAP软件(Yushkevich等，2006)手动校正初始分割结果的分割错误和拓扑结构错误，以生成金标准(Wang等，2019)。
1.2 评价指标
在等强度期婴儿脑MR图像分割中，一般采用Dice系数(Dice coefficient, DICE)、95 %的霍斯多夫距离(95th-percentile Hausdorff distance, HD95)和平均表面距离(average symmetric surface distance, ASD)作为评估算法性能的指标，3种指标分别用
| $ D = \frac{{2\left| {\mathit{\boldsymbol{A}} \cap \mathit{\boldsymbol{B}}} \right|}}{{\left| {\mathit{\boldsymbol{A}} + \mathit{\boldsymbol{B}}} \right|}} $ | (1) |
式中，
| $ H(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}) = {\rm{max}}(h(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}), h(\mathit{\boldsymbol{Y}}, \mathit{\boldsymbol{X}})) $ | (2) |
| $ h(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}) = \mathop {{\rm{max}}}\limits_{x \in \mathit{\boldsymbol{X}}} \mathop {{\rm{max}}}\limits_{y \in \mathit{\boldsymbol{Y}}} \left\| {x - y} \right\| $ | (3) |
式中，
| $ \begin{array}{l} S = \frac{1}{2}\left({\frac{{\sum\limits_{{V_i} \in {\mathit{\boldsymbol{S}}_A}} {\mathop {{\rm{min}}}\limits_{{V_j} \in {\mathit{\boldsymbol{S}}_B}} d\left({{V_{i, }}{V_j}} \right)} }}{{\sum\limits_{{V_i} \in {\mathit{\boldsymbol{S}}_A}} 1 }} + } \right.\\ \;\;\;\;\;\;\;\left. {\frac{{\sum\limits_{{V_j} \in {\mathit{\boldsymbol{S}}_B}} {\mathop {{\rm{min}}}\limits_{{V_i} \in {\mathit{\boldsymbol{S}}_A}} d\left({{V_{j, }}{V_i}} \right)} }}{{\sum\limits_{{V_j} \in {\mathit{\boldsymbol{S}}_B}} 1 }}} \right) \end{array} $ | (4) |
式中，
2 基于2D CNN的等强度婴儿脑分割
基于2D CNN的等强度婴儿脑MR图像分割采用的是基于图像块的滑窗图像分割方法，即在训练过程中，采用滑动窗口的方式逐像素取相应的图像块作为训练样本输入CNN网络，使模型能够提取到深层次特征，之后基于模型提取到的特征训练分类器，最后通过分类器输出预测结果，从而将像素标签预测转换为像素所在局部图像块分类问题。这种方法可以从少量的训练数据中获取大量的图像块，在一定程度上解决了婴儿脑MR图像获取困难及手工标注图像少的问题。
Zhang等人(2015)率先提出了基于2D CNN的用于等强度期婴儿脑MR图像的分割方法，网络以T1、T2和FA数据为输入，以学习不同模态数据的特征，得到的灰质、白质和脑脊液的DICE值分别为85.2 %、86.4 %和83.6 %。Moeskops等人(2016)为保证方法获得准确的分割细节及空间一致性，使用多尺度的图像块和卷积核获取每个体素的多尺度信息，在等强度婴儿脑MR数据集上得到了较好的分割效果。但Moeskops等人(2016)和Zhang等人(2015)方法存在一定的缺点，首先两种方法均采用滑动窗口策略进行卷积，因此存在过多的冗余卷积和池化操作，导致网络的运算效率较低；其次两种模型均使用2D图像块作为输入，使得模型学习到的特征信息有限，导致最终的分割精度并不高。
3 基于FCN的等强度婴儿脑分割
全卷积网络FCN (Long等，2015)由于其在语义分割领域出色的性能，受到了研究人员的广泛关注。FCN作为图像语义分割任务的开山之作，是一种端到端(end to end)的图像分割方法。FCN将卷积神经网络中的全连接层替换为卷积层，在不破坏空间结构的基础上，可以对图像进行像素级别的分类，解决了下采样后的低分辨率问题。同时网络采用跳跃连接(skip connection)的方式，融合不同层级的特征信息，实现了对语义图像的准确分割。
3.1 基于2D FCN的等强度婴儿脑分割
Nie等人(2016)在模型训练过程中单独为每个模态图像训练一个2D FCN网络，然后将不同网络获取的高层特征融合在一起，用于等强度期婴儿脑MR图像的分割，在和Zhang等人(2015)相同的数据集上获得了更好的实验结果，得到的灰质、白质和脑脊液的DICE值分别为87.3 %、88.7 %和85.5 %。为进一步提升模型的分割效果，Xu等人(2017)使用2D FCN网络结合迁移学习用于等强度期婴儿脑MR图像分割，首先将模型在自然图像集ImageNet上进行预训练，之后在iSeg-2017数据集上进行微调，获得的灰质、白质和脑脊液的DICE值分别为88.7 %、86.1 %和92.8 %。
3.2 基于3D FCN的等强度婴儿脑分割
由于基于2D的网络模型无法很好地捕获到MR图像中丰富的空间信息，因此一些研究人员使用3D FCN进行婴儿脑图像的分割。这种方法可以更好地利用MR图像的3D特性，加强不同切片间的空间上下文联系，从而有效地提升模型对婴儿脑MR图像的分割精度。Moeskops和Pluim(2017)使用多尺度的网络架构，构建了2D和3D两个FCN网络，充分融合不同维度的MR图像信息，进一步提升了模型的分割性能，在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为90.4 %、89.0 %和94.7 %。Zeng和Zheng(2018)构建了多尺度的3D FCN网络以充分融合图像的空间上下文信息，同时为不同模态数据设计单独的输入路径以集成多模态信息，实现了对等强度期婴儿脑MR图像的准确分割，在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为91.6 %、89.6 %和95.4 %。Dolz等人(2020)在3D FCN网络的基础上，借鉴密集连接卷积网络(densely connected convolutional networks, DenseNet) (Huang等，2017)的思想，将所有卷积层的输出进行连接，使网络融合多尺度的特征信息，在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为91.9 %、89.7 %和95.7 %。Dolz等人(2019)设计了双路径的3D FCN网络以结合不同模态数据，同时进一步扩展了密集连接的思想，在不同的网络层以及不同路径之间添加密集连接，进一步融合多尺度的特征信息，在iSeg-2017数据集上获得的灰质、白质和脑脊液的DICE值分别为92.0 %、90.1 %和95.6 %。
在基于FCN的等强度期婴儿脑MR图像分割上使用更广泛的是U-Net架构(Ronneberger等，2015)。U-Net基于全卷积网络拓展和修改而来，网络由两部分组成：收缩路径(contracting path)即编码器和扩张路径(expanding path)即解码器。其中收缩路径通过下采样操作获得图像的上下文信息，得到尺寸减小的特征图，实现对特征的逐层提取。扩张路径通过上采样操作将特征图逐步恢复至原图大小；同时下采样得到的特征图通过跳跃连接，与上采样过程得到的特征输出结合，使网络能够学习多尺度的特征。
表 1列出的使用iSeg-2017数据集进行测试的方法中，多数使用了类似U-Net的网络架构。同时为更好地利用特征的空间上下文信息，进一步提高网络的分割性能，一些研究者使用了3D U-Net (Çiçek等, 2016)网络架构。Fonov等人(2018)首先使用3D U-Net模型在婴儿脑影像研究数据集(infant brain imaging study, IBIS) (Hazlett等，2017)上进行预训练，并在iSeg-2017数据集上进行微调，获得的灰质、白质和脑脊液的DICE值分别为90.2 %、88.5 %和93.5 %。为了进一步提升模型的分割性能，Bui等人(2017)使用类似3D U-Net的结构，并拓展DenseNet的思想用于等强度期婴儿脑MR图像分割，在iSeg-2017的首轮评估中获得了第1名的成绩，得到的灰质、白质和脑脊液的DICE值分别为91.9 %、90.1 %和95.8 %。
表 1
基于深度学习的等强度婴儿脑MR图像分割方法比较
Table 1
Comparison of isointense infant brain MR image segmentation methods based on deep learning
| 文献 | 关键技术 | 模态 | 数据集 | 评价指标(DICE)/% | ||
| 灰质 | 白质 | 脑脊液 | ||||
| Zhang等人(2015) | 2D CNN | T1、T2、FA | 10个健康被试 | 85.2 | 86.4 | 83.6 |
| Nie等人(2016) | 2D FCN | T1、T2、FA | 10个健康被试 | 87.3 | 88.7 | 85.5 |
| Xu等人(2017)* | 2D FCN | T1、T2 | iSeg-2017 | 88.7 | 86.1 | 92.8 |
| Moeskops和Pluim (2017)* | 2D/3D FCN | T1、T2 | iSeg-2017 | 90.4 | 89.0 | 94.7 |
| Bui等人(2017) | 3D FCN | T1、T2 | iSeg-2017 | 91.9 | 90.1 | 95.8 |
| Zeng和Zheng(2018)* | 3D FCN | T1、T2 | iSeg-2017 | 91.6 | 89.6 | 95.4 |
| Fonov等人(2018) | 3D FCN | T1、T2 | iSeg-2017 | 90.2 | 88.5 | 93.5 |
| Dolz等人(2019) | 3D FCN | T1、T2 | iSeg-2017 | 92.0 | 90.1 | 95.6 |
| Dolz等人(2020)* | 3D FCN | T1、T2 | iSeg-2017 | 91.9 | 89.7 | 95.7 |
| 注：“*”为保证所比较方法测试数据相同且结果精度一致，该部分数据参考iSeg2017网站公布数据。 | ||||||
表 1列举了基于深度学习的等强度婴儿脑MR图像分割方法在私有数据集及iSeg-2017数据集上的分割结果。值得注意的是，相对于脑脊液的分割结果，大多数方法在灰质和白质上的分割精度明显较低，这是由于在等强度期婴儿脑MR图像中灰质和白质信号强度相似，二者组织对比度较差，导致分割算法无法获得更高的分割精度。
通过使用多模态的图像数据、设计多尺度的网络架构以及添加更密集的网络连接等方式，在一定程度上提高了模型的分割精度。同时基于3D全卷积神经网络的分割方法以端到端的形式实现对图像语义级的预测，避免了传统卷积神经网络存在冗余卷积操作的问题，在明显提升分割精度的同时也提高了模型的分割效率。
3.3 典型等强度期深度学习分割算法
接下来对两种分割性能较好的等强度期深度学习分割算法进行系统总结，介绍两种算法的基本思想和网络架构，并使用DICE、HD95和ASD这3个指标对其性能表现进行对比。
两种方法均借鉴了DenseNet的思想，为了最大化网络中所有层之间的信息流，DenseNet将网络的所有层两两相连，使得网络中每一层都以前面所有层的特征作为输入。主要有以下两个特性：1)由于在网络反向传播时每一层都会接受其后所有层的梯度信号，所以随着网络深度的增加，靠近输入层的梯度不会越来越小，因此在一定程度上缓解了模型在训练过程中梯度弥散的问题；2)由于网络采用密集连接方式，使得大量的特征被复用，因此网络使用少量的卷积核可以生成大量的特征，最终模型的尺寸也较小。DenseNet由于其出色的性能为研究人员广泛使用，等强度期婴儿脑MR图像分割也受到DenseNet启发，通过在网络中融合密集连接的思想，在一定程度上提高了模型的分割精度。
3.3.1 基于3D密集卷积网络的等强度婴儿脑分割
3D-DenseSeg (Bui等，2017)在iSeg-2017首轮结果评估中(http://iseg2017.web.unc.edu/rules/results/)排名第1。该方法在DenseNet基础上进行拓展以分割6月龄婴儿脑MR图像，通过将浅层到深层密集块的特征信息级联，网络可以充分捕获多个尺度的上下文信息，以产生准确的分割结果，婴儿脑分割网络架构如图 2所示。
3D-DenseSeg模型共47层，155万个训练参数，由上采样和下采样两个路径组成。网络使用下采样降低特征图的分辨率，以增大感受野。下采样由4个密集块组成，每个密集块包含4个3×3×3的卷积核，同时在每个卷积核前进行标准化批处理(batch normalization, BN) (Ioffe和Szegedy，2015)和修正线性单元(rectified linear unit, ReLU) (Glorot等，2011)操作以提升网络的训练效率。在下采样的过程中添加了过渡块(transition block)、瓶颈层(bottleneck layer)和随机失活操作(dropout) (Srivastava等，2014)，分别用于减少模型的训练参数，提升模型的运算效率及避免网络过拟合。上采样操作用于恢复输入图像的分辨率，由于浅层网络中包含局部特征信息，深层网络中包含全局特征信息，因此在每个密集块之后执行上采样，然后对这些上采样特征图进行组合，以获得多尺度的信息，最后使用1×1×1卷积组成的分类器对组合的特征图进行分类，生成最终的预测结果。
3.3.2 基于3D半密集卷积网络的等强度婴儿脑分割
SemiDenseNet (Dolz等，2020)同样受DenseNet的启发，但是不同于DenseNet连接不同卷积层之间的输出，网络采用半密集连接的方式，将所有卷积层的输出在第1个全连接层之前进行连接。SemiDenseNet模型在对不同尺度的特征信息进行融合的同时，可以有效地传播网络梯度并且减少训练参数。该方法在iSeg-2017首轮结果评估中排名第2，分割网络架构如图 3所示。
SemiDenseNet网络共13层，90万个训练参数，包括9个卷积层、3个全连接层以及1个分类层。每个卷积层中的卷积核尺寸为3×3×3 (步长为1)，数量由浅到深分别为25、25、25、50、50、50、75、75和75，并且在卷积前进行标准化批处理(BN)和参数修正线性单元(parametric rectified linear unit, PReLU) (He等，2015)操作。该网络将每个卷积层的输出在第1个全连接层之前进行连接，从而使模型在分割中可以充分利用多尺度信息，并且在全连接层中使用随机失活操作(dropout)，避免网络出现过拟合现象，最后通过分类层输出预测结果。通过这种半密集的连接方式，极大地减少了网络的训练参数，提升了网络的运算效率，同时获得了较好的分割精度。
3.3.3 结果对比
表 2展示的是使用DICE、HD95和ASD这3种评价指标对两种模型在iSeg-2017数据集上的评估结果。得益于多模态的数据输入以及密集的连接方式，两种分割模型在灰质、白质和脑脊液的分割中均获得了较好的结果。其中3D-DenseSeg在灰质、白质和脑脊液的分割中均获得了超过90 %的DICE值，SemiDenseNet在灰质的分割中获得了和3D-DenseSeg相同的DICE值，在白质和脑脊液的DICE结果中稍低于3D-DenseSeg，但二者的差距并不大。从脑脊液的HD95指标来看，SemiDenseNet取得了更好的结果，3D-DenseSeg在灰质和脑脊液的ASD指标上获得了更好的结果。在白质的HD95和ASD分割结果上二者各有优势，整体相差不大。从二者的网络结构来看，3D-DenseSeg在模型的输入部分对不同模态数据进行结合，采用了更加密集的连接方式，并使用跳跃连接对不同尺度的特征信息进行融合。所不同的是SemiDenseNet取消了不同层之间的密集连接，使用半密集连接的方式，将来自每个卷积层的输出在第1个全连接层之前进行连接，大量减少了模型的训练参数，提升了网络的运算效率，同时获得了较好的分割性能。
表 2
3D-DenseSeg与SemiDenseNet分割结果比较
Table 2
Comparison of 3D-DenseSeg and SemiDenseNet segmentation results
| 方法 | 数据集 | 评价指标 | ||||||||||
| 灰质 | 白质 | 脑脊液 | ||||||||||
| DICE/% | HD95 | ASD | DICE/% | HD95 | ASD | DICE/% | HD95 | ASD | ||||
| 3D-DenseSeg | iSeg-2017 | 91.9 | 5.980 | 0.330 | 90.1 | 6.444 | 0.391 | 95.8 | 9.072 | 0.116 | ||
| SemiDenseNet | iSeg-2017 | 91.9 | 6.415 | 0.338 | 89.7 | 6.975 | 0.376 | 95.7 | 9.029 | 0.138 | ||
| 注：为保证所比较方法结果精度一致，SemiDenseNet方法结果参考iSeg2017网站公布的数据。 | ||||||||||||
4 结语
随着深度学习的发展，越来越多的方法应用于婴儿脑影像分析中。基于深度学习的等强度婴儿脑MR图像分割算法受到了研究人员的广泛关注，其通过使用多模态的MR图像数据、更复杂的网络架构以及融合多尺度的特征信息等方式获得了较好的分割结果。相比传统分割方法在性能上有了明显提升，但还远远不能满足医学图像处理的实际应用对分割结果准确性的要求(林瑶和田捷，2002)。另外，对于等强度期婴儿脑MR图像分割来说，由于灰质和白质在此阶段极低的组织对比度，造成目前基于深度学习的分割算法性能无法进一步提升，而分割结果误差的出现会导致无法准确地表征大脑的发育属性。因此目前基于深度学习的等强度婴儿脑MR分割方法仍然需要研究人员进行更加系统而深入的研究。
1) 目前基于深度学习的等强度婴儿脑MR图像分割方法取得了更优的性能，这得益于深度学习强大的学习能力和信息表征能力。因此将信息表征能力更强的方法，如注意力机制(Hu等，2018)嵌入等强度婴儿脑MR图像深度分割网络中，使网络能够学习灰质和白质中存在的更具判别力的特征，从而提升模型的分割性能，降低分割误差。这对于基于深度学习的等强度婴儿脑MR图像分割算法来说是一个重要的研究方向。
2) 对于等强度期婴儿脑MR图像分割而言，在深度网络模型中添加解剖学约束信息，是一种合理的提高分割精度的方法。由于脑脊液和灰质之间的组织对比度远高于灰质和白质，因此可以首先从婴儿脑图像中识别出脑脊液以重建外皮质表面，因为婴儿大脑皮质厚度具有一定范围(约为1~3 mm)，所以重建的外皮质表面可以作为内皮质表面估计的指导(Wang等，2019)，以纠正算法分割错误，提升模型分割性能。因此在基于深度学习的等强度婴儿脑MR分割模型中添加解剖学约束信息，也将是该领域一个重要的研究方向。
3) 由于婴儿脑MR数据获取相对困难，手工标注极其费时耗力，而现有的深度学习分割模型需要大量的手工标注数据进行训练。因此，利用有限的手工标注数据设计适用于等强度婴儿脑MR图像的半监督或弱监督(Xiao等，2015；Oquab等，2015)分割模型，或采用生成对抗网络(Goodfellow等，2014)模型生成一些高质量的标注数据训练网络，以提升网络的分割性能，是该领域未来可深入研究的方向。
致谢 感谢郑州大学(郑州)超级计算中心对本课题研究的支持, 并感谢iSeg-2017组织者提供的公开数据。
参考文献
-
Bui T D, Shin J and Moon T. 2017.3D densely convolutional networks for volumetric segmentation[EB/OL].[2020-05-15]. https://arxiv.org/pdf/1709.03199.pdf
-
Cardoso M J, Melbourne A, Kendall G S, Modat M, Robertson N J, Marlow N, Ourselin S. 2013. AdaPT:an adaptive preterm segmentation algorithm for neonatal brain MRI. NeuroImage, 65: 97-108 [DOI:10.1016/j.neuroimage.2012.08.009]
-
Çiçek Ö, Abdulkadir A, Lienkamp S S, Brox T and Ronneberger O. 2016.3D U-Net: learning dense volumetric segmentation from sparse annotation//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens: Springer: 424-432[DOI:10.1007/978-3-319-46723-8_49]
-
Dai Y K, Shi F, Wang L, Wu G R, Shen D G. 2013. iBEAT:a toolbox for infant brain magnetic resonance image processing. Neuroinformatics, 11(2): 211-225 [DOI:10.1007/s12021-012-9164-z]
-
Dolz J, Desrosiers C, Wang L, Yuan J, Shen D G, Ayed I B. 2020. Deep CNN ensembles and suggestive annotations for infant brain MRI segmentation. Computerized Medical Imaging and Graphics, 79: #101660 [DOI:10.1016/j.compmedimag.2019.101660]
-
Dolz J, Gopinath K, Yuan J, Lombaert H, Desrosiers C, Ayed I B. 2019. HyperDense-Net:a hyper-densely connected CNN for multi-modal image segmentation. IEEE Transactions on Medical Imaging, 38(5): 1116-1126 [DOI:10.1109/TMI.2018.2878669]
-
Fan Y, Shi F, Smith J K, Lin W L, Gilmore J H, Shen D G. 2011. Brain anatomical networks in early human brain development. NeuroImage, 54(3): 1862-1871 [DOI:10.1016/j.neuroimage.2010.07.025]
-
Fonov V S, Doyle A, Evans A C and Collins D L. 2018. NeuroMTL iSEG challenge methods[EB/OL].[2020-05-15]. https://www.biorxiv.org/content/10.1101/278465v1
-
Gilmore J H, Shi F, Woolson S L, Knickmeyer R C, Short S J, Lin W L, Zhu H T, Hamer R M, Styner M, Shen D G. 2012. Longitudinal development of cortical and subcortical gray matter from birth to 2 years. Cerebral Cortex, 22(11): 2478-2485 [DOI:10.1093/cercor/bhr327]
-
Glorot X, Bordes A and Bengio Y. 2011. Deep sparse rectifier neural networks//Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Florida: PMLR: 315-323
-
Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal: Curran Associates Inc.: 2672-2680
-
Gui L, Lisowski R, Faundez T, Hüppi P S, Lazeyras F, Kocher M. 2012. Morphology-driven automatic segmentation of MR images of the neonatal brain. Medical Image Analysis, 16(8): 1565-1579 [DOI:10.1016/j.media.2012.07.006]
-
Hazlett H C, Gu H B, Munsell B C, Kim S H, Styner M, Wolff J J, Elison J T, Swanson M R, Zhu H T, Botteron K N, Collins D L, Constantino J N, Dager S R, Estes A M, Evans A C, Fonov V S, Gerig G, Kostopoulos P, McKinstry R C, Pandey J, Paterson S, Pruett J R, Schultz R T, Shaw D W, Zwaigenbaum L, Piven J, The IBIS Network. 2017. Early brain development in infants at high risk for autism spectrum disorder. Nature, 542(7641): 348-351 [DOI:10.1038/nature21369]
-
He K M, Zhang X Y, Ren S Q and Sun J. 2015. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE: 1026-1034[DOI:10.1109/ICCV.2015.123]
-
Hu J, Shen L and Sun G. 2018. Squeeze-and-excitation networks//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 7132-7141[DOI:10.1109/CVPR.2018.00745]
-
Huang G, Liu Z, Van Der Maaten L and Weinberger K Q. 2017. Densely connected convolutional networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 2261-2269[DOI:10.1109/CVPR.2017.243]
-
Ioffe S and Szegedy C. 2015. Batch normalization: accelerating deep network training by reducing internal covariate shift[EB/OL].[2020-05-15]. https://arxiv.org/pdf/1502.03167.pdf
-
Kim S H, Fonov V S, Dietrich C, Vachet C, Hazlett H C, Smith R G, Graves M M, Piven J, Gilmore J H, Dager S R, McKinstry R C, Paterson S, Evans A C, Collins D L, Gerig G, Styner M, The IBIS network. 2013. Adaptive prior probability and spatial temporal intensity change estimation for segmentation of the one-year-old human brain. Journal of Neuroscience Methods, 212(1): 43-55 [DOI:10.1016/j.jneumeth.2012.09.018]
-
Knickmeyer R C, Gouttard S, Kang C, Evans D, Wilber K, Smith J K, Hamer R M, Lin W L, Gerig G, Gilmore J H. 2008. A structural MRI study of human brain development from birth to 2 years. The Journal of Neuroscience, 28(47): 12176-12182 [DOI:10.1523/JNEUROSCI.3479-08.2008]
-
Krizhevsky A, Sutskever I and Hinton G E. 2012. ImageNet classification with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: Curran Associates Inc: 1097-1105
-
Li G, Nie J X, Wang L, Shi F, Lin W L, Gilmore J H, Shen D G. 2013. Mapping region-specific longitudinal cortical surface expansion from birth to 2 years of age. Cerebral Cortex, 23(11): 2724-2733 [DOI:10.1093/cercor/bhs265]
-
Li G, Wang L, Shi F, Lin W L and Shen D G. 2014. Constructing 4D infant cortical surface atlases based on dynamic developmental trajectories of the cortex//Proceedings of the 17th International Conference on Medical Image Computing and Computer-Assisted Intervention. Boston: Springer: 89-96[DOI:10.1007/978-3-319-10443-0_12]
-
Li X J, Chen J, Xia J, Wang M M, Li M X, Wang L, Li G, Shen D G, Yang J. 2019. Quantitative evaluation of the cortical development on neonates based on segmentation of 3D T1 WI images using transfer learning. Chinese Journal of Magnetic Resonance Imaging, 10(10): 736-742 (李贤军, 陈健, 夏菁, 王苗苗, 李梦轩, 王利, 李刚, 沈定刚, 杨健. 2019. 基于迁移学习算法对新生儿大脑3D T1 WI的灰白质分割及其发育量化研究. 磁共振成像, 10(10): 736-742) [DOI:10.12015/issn.1674-8034.2019.10.004]
-
Lin Y, Tian J. 2002. A survey on medical image segmentation methods. Pattern Recognition and Artificial Intelligence, 15(2): 192-204 (林瑶, 田捷. 2002. 医学图像分割方法综述. 模式识别与人工智能, 15(2): 192-204) [DOI:10.3969/j.issn.1003-6059.2002.02.012]
-
Litjens G, Kooi T, Bejnordi B E, Setio A A A, Ciompi F, Ghafoorian M, van Der Laak J A W M, van Ginneken B, Sánchez C I. 2017. A survey on deep learning in medical image analysis. Medical Image Analysis, 42: 60-88 [DOI:10.1016/j.media.2017.07.005]
-
Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 3431-3440[DOI:10.1109/CVPR.2015.7298965]
-
Moeskops P and Pluim J P W. 2017. Isointense infant brain MRI segmentation with a dilated convolutional neural network[EB/OL].[2020-05-15]. https://arxiv.org/pdf/1-708.02757.pdf
-
Moeskops P, Viergever M A, Mendrik A M, De Vries L S, Benders M J N L, Išgum I. 2016. Automatic segmentation of MR brain images with a convolutional neural network. IEEE Transactions on Medical Imaging, 35(5): 1252-1261 [DOI:10.1109/TMI.2016.2548501]
-
Nie D, Wang L, Gao Y Z and Shen D G. 2016. Fully convolutional networks for multi-modality isointense infant brain image segmentation//Proceedings of 13th International Symposium on Biomedical Imaging. Prague: IEEE: 638-642[DOI:10.1109/ISBI.2016.7493515]
-
Oquab M, Bottou L, Laptev I, Laptev I and Sivic J. 2015. Is object localization for free?-Weakly-supervised learning with convolutional neural networks//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 685-694[DOI:10.1109/CVPR.2015.7298668]
-
Paus T, Collins D L, Evans A C, Leonard G, Pike B, Zijdenbos A. 2001. Maturation of white matter in the human brain:a review of magnetic resonance studies. Brain Research Bulletin, 54(3): 255-266 [DOI:10.1016/S0361-9230(00)00434-2]
-
Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN:towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]
-
Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer: 234-241[DOI:10.1007/978-3-319-24574-4_28]
-
Shi F, Yap P T, Gilmore J H, Lin W L and Shen D G. 2010. Spatial-temporal constraint for segmentation of serial infant brain MR images//Proceedings of the 5th International Workshop on Medical Imaging and Augmented Reality. Beijing: Springer: 42-50[DOI:10.1007/978-3-642-15699-1_5]
-
Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. 2014. Dropout:a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, 15(1): 1929-1958
-
Wang L, Nie D, Li G N, Puybareau É, Dolz J, Zhang Q, Wang F, Xia J, Wu Z W, Chen J W, Thung K H, Bui T D, Shin J, Zeng G D, Zheng G Y, Fonov V S, Doyle A, Xu Y C, Moeskops P, Pluim J P W, Desrosiers C, Ayed I B, Sanroma G, Benkarim O M, Casamitjana A, Vilaplana V, Lin W L, Li G, Shen D G. 2019. Benchmark on automatic six-month-old infant brain segmentation algorithms:the iSeg-2017 Challenge. IEEE Transactions on Medical Imaging, 38(9): 2219-2230 [DOI:10.1109/TMI.2019.2901712]
-
Wang L, Shi F, Gao Y Z, Li G, Gilmore J H, Lin W L, Shen D G. 2014. Integration of sparse multi-modality representation and anatomical constraint for isointense infant brain MR image segmentation. NeuroImage, 89: 152-164 [DOI:10.1016/j.neuroimage.2013.11.040]
-
Wang L, Shi F, Lin W L, Gilmore J H, Shen D G. 2011. Automatic segmentation of neonatal images using convex optimization and coupled level sets. NeuroImage, 58(3): 805-817 [DOI:10.1016/j.neuroimage.2011.06.064]
-
Wang L, Shi F, Yap P T, Lin W L, Gilmore J H, Shen D G. 2013. Longitudinally guided level sets for consistent tissue segmentation of neonates. Human Brain Mapping, 34(4): 956-972 [DOI:10.1002/hbm.21486]
-
Wei Y, Zhang K, Han F. 2017. Improved ASFCM-based algorithm for infant brain MRI segmentation. Journal of Northeastern University (Natural Science), 38(8): 1079-1084 (魏颖, 张开, 韩枫. 2017. 改进的基于ASFCM婴幼儿脑部MRI分割算法. 东北大学学报(自然科学版), 38(8): 1079-1084) [DOI:10.12068/j.issn.1005-3026.2017.08.004]
-
Xiao T J, Xu Y C, Yang K Y, Zhang J X, Peng Y X and Zhang Z. 2015. The application of two-level attention models in deep convolutional neural network for fine-grained image classification//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 842-850[DOI:10.1109/CVPR.2015.7298685]
-
Xu Y C, Géraud T and Bloch I. 2017. From neonatal to adult brain MR image segmentation in a few seconds using 3D-like fully convolutional network and transfer learning//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing: IEEE: 4417-4421[DOI:10.1109/icip.2017.8297117]
-
Xue H, Srinivasan L, Jiang S Z, Rutherford M, Edwards A D, Rueckert D, Hajnal J V. 2007. Automatic segmentation and reconstruction of the cortex from neonatal MRI. NeuroImage, 38(3): 461-477 [DOI:10.1016/j.neuroimage.2007.07.030]
-
Yushkevich P A, Piven J, Hazlett H C, Smith R G, Ho S, Gee J C, Gerig G. 2006. User-guided 3D active contour segmentation of anatomical structures:significantly improved efficiency and reliability. NeuroImage, 31(3): 1116-1128 [DOI:10.1016/j.neuroimage.2006.01.015]
-
Zeng G D and Zheng G Y. 2018. Multi-stream 3D FCN with multi-scale deep supervision for multi-modality isointense infant brain MR image segmentation//Proceedings of the 15th International Symposium on Biomedical Imaging. Washington: IEEE: 136-140[DOI:10.1109/isbi.2018.8363540]
-
Zhang W L, Li R J, Deng H T, Wang L, Lin W L, Ji S W, Shen D G. 2015. Deep convolutional neural networks for multi-modality isointense infant brain image segmentation. NeuroImage, 108: 214-224 [DOI:10.1016/j.neuroimage.2014.12.061]
