Print

发布时间: 2022-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.210330
2022 | Volume 27 | Number 3




    磁共振图像    




  <<上一篇 




  下一篇>> 




融合跨阶段深度学习的脑肿瘤MRI图像分割
expand article info 夏峰1, 邵海见1,2, 邓星1,2
1. 江苏科技大学计算机学院，镇江 212003;
2. 东南大学自动化学院复杂工程系统测量与控制教育部重点实验室，南京 210009
收稿日期: 2021-05-18; 修回日期: 2021-10-29; 预印本日期: 2021-11-05
基金项目: 国家自然科学基金项目(61806087，61902158)
作者简介: 夏峰，1997年生，男，硕士研究生，主要研究方向为机器学习、计算机视觉。E-mail：209070060@stu.just.edu.cn
邵海见，通信作者，男，副教授，主要研究方向为机器学习、计算机视觉。E-mail：jsj_shj@just.edu.cn
邓星，女，副教授，主要研究方向为机器学习、计算机视觉。E-mail：xdeng@just.edu.cn
*通信作者: 邵海见  jsj_shj@just.edu.cn
中图法分类号: TP302
文献标识码: A
文章编号: 1006-8961(2022)03-0873-12

摘要

目的 磁共振成像(magnetic resonance imaging，MRI)作为一种非侵入性的软组织对比成像方式，可以提供有关脑肿瘤的形状、大小和位置等有价值的信息，是用于脑肿瘤患者检查的主要方法，在脑肿瘤分割任务中发挥着重要作用。由于脑肿瘤本身复杂多变的形态、模糊的边界、低对比度以及样本梯度复杂等问题，导致高精度脑肿瘤MRI图像分割非常具有挑战性，目前主要依靠专业医师手动分割，费时且可重复性差。对此，本文提出一种基于U-Net的改进模型，即CSPU-Net(cross stage partial U-Net)脑肿瘤分割网络，以实现高精度的脑肿瘤MRI图像分割。方法 CSPU-Net在U-Net结构的上下采样中分别加入两种跨阶段局部网络结构(cross stage partial module，${\rm{CSP}}$)提取图像特征，结合${\rm{GDL}}$(general Dice loss)和${\rm{WCE}}$(weighted cross entropy)两种损失函数解决训练样本类别不平衡问题。结果 在BraTS (brain tumor segmentation) 2018和BraTS 2019两个数据集上进行实验，在BraTS 2018数据集中的整体肿瘤分割精度、核心肿瘤分割精度和增强肿瘤分割精度分别为87.9%、80.6%和77.3%，相比于传统U-Net的改进模型(ResU-Net)分别提升了0.80%、1.60%和2.20%。在BraTS 2019数据集中的整体肿瘤分割精度、核心肿瘤分割精度和增强肿瘤分割精度分别为87.8%、77.9%和70.7%，相比于ResU-Net模型提升了0.70%、1.30%和1.40%。结论 本文提出的跨阶段局部网络结构，通过增加梯度路径、减少信息损失，可以有效提高脑肿瘤分割精度，实验结果证明了该模块对脑肿瘤分割任务的有效性。

关键词

脑肿瘤分割; 深度学习; U-Net; 跨阶段局部网络结构; 残差模块

Cross-stage deep-learning-based MRI fused images of human brain tumor segmentation
expand article info Xia Feng1, Shao Haijian1,2, Deng Xing1,2
1. School of Computer Science, Jiangsu University of Science and Technology, Zhenjiang 212003, China;
2. Key Laboratory of Complex Engineering System Measurement and Control, School of Automation, Southeast University, Ministry of Education, Nanjing 210009, China
Supported by: National Natural Science Foundation of China (61806087, 61902158)

Abstract

Objective Human brain tumors are a group of mutant cells in the brain or skull. These benign or malignant brain tumors can be classified based on their growth characteristics and influence on the human body. Gliomas are one of the most frequent forms of malignant brain tumors, accounting for approximately 40% to 50% of all brain tumors. Glioma is classified as high-grade glioma (HGG) or low-grade glioma (LGG) depending on the degree of invasion. Low-grade glioma (LGG) is a well-differentiated glioma with a prompt prognosis. High-grade glioma (HGG) is a poorly differentiated glioma with a in qualified prognosis. Gliomas with varying degrees of differentiation are appeared following the varied degrees of peritumoral edema, edema types, and necrosis. the boundary of gliomas and normal tissues is often blurred. It is difficult to identify the scope of lesions and surgical area, which has a significant impact on surgical quality and patient prognosis. As a non-invasive and clear soft tissue contrast imaging tool, magnetic resonance imaging (MRI) can provide vital information on the shape, size, and location of brain tumors. High-precision brain tumor MRI image segmentation is challenged due to the complicated and variable morphology, fuzzy borders, low contrast, and complicated sample gradients of brain tumors. Manual segmentation is time-consuming and inconsistent. The International Association for Medical Image Computing and Computer-Aided Intervention (MICCAI)'s Brain Tumor Segmentation (BraTS) is a global medical image segmentation challenge concentrating on the evaluation of automatic segmentation methods for human brain tumors. There are four types of automatic brain tumor segmentation algorithms as mentioned below: supervised learning, semi-supervised learning, unsupervised learning, and hybrid learning. Supervised-learning-based algorithm is currently the effective method. Various depth neural network models for computer vision problems, such as Visual Geometry Group Network (VGGNet), GoogLeNet, ResNet, and DenseNet, have been presented in recent years. The above deep neural network model proposes a novel approach to the problem of MRI brain image segmentation, and it significantly advances the development of deep learning-based brain tumor diagnosis methods. As a result, deep learning method is to develop the task of automatic segmentation of brain tumor MRI images. Method Our research integrates low resolution information and high resolution information via the U-Net structure of the all convolutional neural network. An improved cross stage partial U-Net(CSPU-Net) brain tumor segmentation network derived from the U-Net network achieves high-precision brain tumor MRI image segmentation. The basic goal of the cross stage partial (CSP) module is to segment the grass-roots feature mapping into two sections as following: 1)Dividing the gradient flow to extend distinct network paths, and then 2) fusing the two portions based on horizontal hierarchy. The conveyed gradient information can have huge correlation discrepancies by alternating series and transition procedures. To extract image features, CSPU-Net adds two types of cross stage partial network structures to the up and down sampling of the U-Net network. The number of gradient routes is increased using the splitting and merging technique. The drawbacks of utilizing explicit feature map replication for connection are mitigated, enhancing the model's feature learning capabilities. To overcome the imbalance issue of sample class, two loss functions, general dice loss and weighted cross-entropy are combined. The cross stage partial structure is final compared to ResU-Net, which adds a residual block, to in identify the effectiveness of cross stage partial structure as ResU-Net in the brain tumor segmentation test. Result Our experimental results of the CSPU-Net model in the context of the BraTS 2018 and BraTS 2019 datasets has its priority. The BraTS 2018 dataset yielded 87.9% accuracy in whole tumor segmentation, 80.6% accuracy in core tumor segmentation, and 77.3% accuracy in enhanced tumor segmentation, respectively. This method enhances the segmentation accuracy of brain tumor MRI images by 0.80%, 1.60%, and 2.20% each. In the BraTS 2019 dataset, the whole tumor segmentation accuracy is 87.8%, the core tumor segmentation accuracy is 77.9%, and the improved tumor segmentation accuracy is 70.7%, respectively. This method enhances the segmentation accuracy of brain tumor MRI images by 0.70%, 1.30%, and 1.40%, respectively in comparison of the traditional improved ResU-Net. Conclusion This research provides a cross-stage deep learning-based 2D segmentation network for human brain tumor MRI images. Using cross stage partial network structure in U-Net up and down sampling, the model enhances the accuracy of brain tumor segmentation via gradient path expansion and information loss deduction. The demonstrated results illustrate that our model has its potentials on BraTS datasets on 2D segmentation models development and demonstrates the module's efficiency in the brain tumor segmentation task.

Key words

brain tumor segmentation; deep learning; U-Net; cross stage partial network structure; residual module

0 引言

脑肿瘤是在大脑或头骨中生长的异常细胞，在医学上根据其生长特性以及对人体的影响分为良性脑肿瘤和恶性脑肿瘤，后者比前者具有更高的发病率以及危害性(孙佳伟，2020)。恶性神经胶质瘤是最常见的恶性脑肿瘤类型之一，约占颅脑肿瘤的40 % ~50 %，根据神经胶质瘤的浸润程度分为高级别脑胶质瘤(high-grade glioma，HGG)和低级别脑胶质瘤(low-grade glioma，LGG)。高级别脑胶质瘤(HGG)为低分化胶质瘤，患者生存预后较差；低级别脑胶质瘤(LGG)为分化良好的胶质瘤，患者预后相对较好(Haris等，2008)。由于不同分化级别的神经胶质瘤通常伴有不同的瘤周水肿程度、水肿类型以及坏死程度，并且与正常组织之间的界限模糊，导致医生难以确定病变的范围和手术区域，严重影响了手术质量和患者预后。因此，在手术前根据影像资料确认肿瘤部位、识别整体肿瘤有助于减少手术中不必要的组织损伤，最大限度地保护神经功能(Işın等，2016)。由于脑肿瘤组织的磁场信号与人体正常脑组织相差无几，并且增强核磁共振注射的造影能清晰地区分恶性肿瘤(马凤，2013)，因此增强核磁共振成像(magnetic resonance imaging，MRI)检查是目前脑肿瘤患者检查的主要手段之一，能有效提供有关脑肿瘤的形状、大小和位置等信息(Gondal和Khan，2013)，有利于提高临床医生对脑肿瘤的诊断水平。脑肿瘤影像分析的最终目标是提取患者重要的临床信息及诊断特征，并嵌入多维图像数据中，以便在发现疾病后进行相关的指导和监测，进而实施相关干预措施，最终获得相应的临床诊断、分期和治疗方法(Wong，2005)，具有非常重要的现实意义。由于在脑肿瘤诊断过程中使用核磁共振图像具有非常多的优点，也使得计算机辅助诊疗脑肿瘤成为医学影像领域最热门的研究问题之一。

国际医学图像计算和计算机辅助干预协会举办的多模态脑肿瘤分割(brain tumor segmentation，BraTS)是一项全球范围的医学图像分割挑战，专注于评估脑肿瘤的自动分割算法。脑肿瘤自动分割算法分为基于监督学习、半监督学习、无监督学习以及混合学习的算法，基于监督学习的算法是目前的主流方法(Guo等，2020)。由于深度神经网络在监督学习领域中展现出强大的自动提取判别特征功能，其在脑肿瘤分割领域的应用也成为计算机视觉任务的研究热点(Litjens等，2017)，并提出了用于计算机视觉任务的各种深度神经网络模型，例如VGGNet(Visual Geometry Group network)(Simonyan和Zisserman，2015)，GoogLeNet(Szegedy等，2015)，ResNet(He等，2016)和DenseNet(Huang等，2017)。以上深度神经网络模型为解决MRI脑图像分割问题提供了新思路，极大促进了基于深度学习的脑肿瘤诊断方法的发展(Shaikh等，2018；田伟倩，2020；孙浩，2020)。基于深度学习的图像分割方法主要分为卷积神经网络(convolutional neural network，CNN)和全卷积神经网络(fully convolutional network，FCN)两种。基于卷积神经网络的脑肿瘤分割方法主要采用小尺度图像块的分类方法设计包含单路径和多路径方法的MRI脑肿瘤分割网络。与单路径卷积神经网络相比，多路径卷积神经网络可以从不同路径获取各种信息并进行汇总。Havaei等人(2017)提出一种新颖的卷积神经网络架构，构建多路径网络并使用不同大小的卷积核提取重要的上下文特征，用于分析2D MRI图像中脑肿瘤相关信息。Pereira等人(2016)提出另一种基于VGGNet的3×3小卷积核的分割网络，有效降低了模型的过拟合。Zhao和Jia(2016)使用类似的卷积神经网络方法从2D MRI脑胶质瘤图像中自动提取病灶，克服了人工处理存在的费时、重复性差的缺点。Moeskops等人(2016)使用3条具有不同大小感受野的卷积路径，用以获取更多细节特征以及分析空间一致性来进行脑肿瘤分割。但由于卷积神经网络架构是一种基于小图像块的方法，需要较大存储空间并且缺乏空间连续性，导致效率低下，分割效果并不理想。而全卷积神经网络基于编码—解码概念逐像素执行计算的方法，不仅提高了图像分割效率，而且解决了空间连续性问题，是目前图像语义分割任务的重要方法之一(Shelhamer等，2017)。Ronneberger等人(2015)提出一种适用于各种医学图像分割问题的U-Net体系结构，该体系基于编码和解码路径的概念，利用编码路径提取上下文特征，解码路径保证精确跟踪位置，两者之间的横向连接用于减少下采样中带来的信息损失。U-Net非常适合数据量少的多模态医学图像分割任务，已经成为脑肿瘤分割领域的主流算法。Dong等人(2017)提出一种基于U-Net的2D分割网络，并利用实时数据增强的方法，提高了脑肿瘤分割的精度。Kong等人(2018)在U-Net架构中添加了特征金字塔模块，通过集成位置信息和多尺度语义特征提高准确性。Wang等人(2019a)证明使用卷积神经网络和测试时间增强技术(test-time augmentation，TTA) 有助于提高脑肿瘤分割的准确性。Isensee等人(2019)通过改进数据预处理过程，在传统U-Net模型基础上提出了NNU-Net，进一步提高了脑肿瘤分割的精度。Nvidia团队的Myronenko (2019)采用带有VAE(variational auto encoder)模块的多分支级联结构，获得了BraTS 2018挑战赛的第1名。Jiang等人(2020)设计了一种新型的两阶段级联U-Net，在BraTS 2019训练数据集中进行端到端训练，将脑肿瘤图像由粗略到精细进行分割，在BraTS 2019竞赛中获得了第1名。

但是，由于脑肿瘤中复杂的特征分布和医学图像数据集数量的局限性，相较于整体肿瘤，小范围的核心肿瘤和增强肿瘤难以实现较高MRI图像分割精度的问题仍亟需解决。为了解决这个问题，需要增强上下采样过程中网络的特征学习能力，减少下采样过程中的信息损失。Alom等人(2019)提出在U-Net中上下采样加入递归残差卷积层(recurrent residual convolutional neural network，RRCNN)，在视网膜图像血管分割、皮肤癌分割和肺部病变分割等任务皆取得了更好的效果。Li等人(2018)提出使用dense结构改进U-Net结构中的常规卷积层，将紧密连接路径的优势与U-Net特点相结合，设计了一类DenseU-Net模型来有效地分析肝脏和肿瘤特征。跨阶段局部网络结构(cross stage partial module，CSP)是Wang等人(2020)提出用于增强卷积神经网络学习能力的一种网络结构，在ImageNet数据集上获得了更高的准确率。Bochkovskiy等人(2020)在YOLO(you only look once)模型中使用CSP方法，达到了目标检测任务的最优速度和精度。针对上述问题与研究现状，本文提出在U-Net上下采样过程中加入跨阶段局部网络结构(CSP)来增强普通卷积核的分析能力，并提出一种$\text{CSPU-Net}$(cross stage partial U-Net)的新型脑肿瘤分割模型。实验结果表明，相较于原始U-Net以及ResU-Net，该模型在脑肿瘤分割数据库上取得了更优越的图像分割性能。

本文工作包含3部分：1)将跨阶段局部网络结构引入脑肿瘤分割任务中，通过分裂合并策略使梯度路径的数目翻倍，减轻使用显式特征映射复制进行连接的缺点，增强模型特征学习能力；2)使用general Dice loss和weighted cross-entropy两种损失函数解决MRI脑肿瘤图像类别不平衡问题；3)在BraTS 2018和BraTS 2019数据集上进行实验，将本文方法分割结果与U-Net以及ResU-Net进行比较，证明跨阶段局部网络结构在脑肿瘤分割任务中的有效性。

1 $\text{CSPU-Net}$模型结构设计与分析

1.1 数据集

实验使用两个用于脑肿瘤分割的基准数据库：BraTS 2018以及BraTS 2019数据集。BraTS 2018数据集是来自285名胶质瘤患者的脑肿瘤图像合集，其中训练集包含210名高级胶质瘤患者和75名低级胶质瘤患者的图像，验证数据集包括66名未知级别的患者的图像。BraTS 2019数据集包含335个胶质瘤病例的训练集，其中259个属于高级胶质瘤，76个属于低级胶质瘤，验证集包含125个未知级别案例。数据标签共4类，即肿瘤增强区、水肿区、坏死区以及健康组织。分割结果通过整体(whole tumor，WT)、核心(tumor core，TC)以及增强(enhance tumor，ET)等指标评估。WT包括肿瘤增强区、水肿区以及坏死区，TC包括肿瘤增强区和坏死区，ET包括肿瘤增强区。如图 1所示，每个患者数据有5幅图像，分别是flair、T1、T1CE和T2共4种MRI模式以及专家手动分割用于进行比较的真实标签，红色部分表示坏死区，绿色部分为水肿区，黄色部分为增强肿瘤区，黑色区域为背景。



图 1 脑肿瘤MRI图像
Fig. 1 MRI images of brain tumor
((a)flair; (b)T1;(c)T1CE; (d)T2;(e)ground truth)

1.2 数据预处理

由于脑肿瘤形态和位置的不确定性、界限的模糊以及手动注释偏差，因此脑肿瘤图像的数据预处理尤为重要。本文采用多模态3D MRI脑肿瘤图像，每个3D MRI图像数据的大小240×240×155。由于图像包含有效的信息和许多无用的背景部分，因此首先将3D图像的大小调整为146×192×152，以消除无关背景并降低计算量。进而去除1 % 的最高和1 % 的最低3D图像像素强度，以消除一些极端值的影响。由于本文采用2D卷积神经网络框架，故将每个3D图像切片为2D图像并提取128×128像素大小的有效像素作为模型输入。同时，使用归一化公式处理相关MRI图像，提高图像预处理的合理性，具体为

$ \boldsymbol{x}_{p}=\frac{\boldsymbol{x}-\overline{\boldsymbol{x}}}{\sigma} $ (1)

式中，${\mathit{\pmb{x}}}$是输入的3D图像，${\mathit{\pmb{x}}}$$_{p}$是处理后的归一化图像，$\bar{\boldsymbol{x}}$是输入图像的平均值，$σ$是输入图像的标准偏差。

1.3 $\text{CSPU-Net}$结构

在脑肿瘤分割任务上，大多数情况下可以很容易地检测到异常组织的存在，但是准确、可重复地分割出肿瘤区域边界极为困难(Gordillo等，2013)。特别是对于具有复杂形态和模糊边界的小规模脑肿瘤，在脑肿瘤分割任务中很难做到高精度的小规模脑肿瘤分割。除此之外，在网络上采样和下采样过程中，由于连续卷积和非线性变换过程导致大量信息损失，使得小规模肿瘤识别任务更为困难。为解决这些问题，本文将CSP模块分别应用到U-Net模型中的编码器和解码器当中，集成为$\text{CSPU-Net}$模型，可以将网络前段所有层的输出特征连接起来作为后面的输入，能够有效地增强信息的表述能力。$\text{CSPU-Net}$的整体架构如图 2所示。$\text{CSPU-Net}$保持了传统的编码器—解码器架构，由图像压缩路径(左侧编码器)和图像扩展路径(右侧解码器)组成。整体网络的输入维度是128×128×4，其中128×128像素表示每个图像的尺寸，4表示输入图像的通道数。编码器和解码器结构分别具有3个块。编码器一侧中的每个块由两个卷积层组成，其中第1个卷积层使用CSP模块替代传统的3 × 3卷积结构，第2个卷积层则用于替换传统U-Net下采样中的最大池化操作，以减少信息损失、避免梯度消失以及加速网络融合。当每个图像进入编码器块中第2个卷积层时，其尺寸将减少到一半且同时通道将扩充一倍。解码器一侧中的每个块由上采样加卷积和CSP模块两个部分组成，上采样层中通过步长为2的双线性插值使图像大小翻倍，再经过卷积核数量减半的卷积层使通道数量减半，完成上采样过程。同时，为了增加非线性和模型收敛速度，模型的每个卷积层之后都进行批量标准化和非线性激活函数操作。在模型的最后一个解码器块中额外加入${\rm{PReLU}}$(parameteric ${\rm{ReLU}}$)激活函数以及使用SoftMax激活函数功能的1 × 1卷积将多通道特征映射到相应的类别。${\rm{PReLU}}$和SoftMax激活函数计算为

$ {PReLU}\left(x_{i}\right)=\left\{\begin{array}{ll} x_{i} & x_{i}>0 \\ \alpha_{i} x_{i} & x_{i} \leqslant 0 \end{array}\right. $ (2)



图 2 $\text{CSPU-Net}$整体结构图
Fig. 2 Structure of $\text{CSPU-Net}$

式中，$i$表示不同的通道，$α$$_{i}$是一个需要学习的参数，其值更新采用带动量的更新方式，对于第$i$个通道，$a_{i}$值是相同的，$x_{i}$表示第$i$个通道的输入矩阵的值。

$ P(y \mid c)=\frac{\mathrm{e}^{h\left(c_{i} y_{i}\right)}}{\sum\limits_{j=1}^{n} \mathrm{e}^{h\left(c_{i} y_{i}\right)}} $ (3)

式中，$c$表示预测结果类别，$y_{i}$表示预测结果为$c_{i}$的概率，$h$表示元素的指数，$n$表示预测结果类别总数，最终求得的$y$表示每个分类被取到的概率，该激活函数常用于多分类问题。

1.4 CSP模块

ResNeXt证明了分支路径的数量在提升网络性能方面比宽度和深度的提升更显著。因此，使用CSP模块的主要目的是将基层的特征映射分为两部分，通过分割梯度流使梯度流通过不同的网络路径传播，然后通过横级层次结构合并这两部分。通过交替进行串联和过渡操作，传播的梯度信息可以具有较大的相关性差异。如图 3所示，本文使用了先过渡再串联加过渡以及过渡后串联直接输出两种融合方式的${\rm{CSP}}$模块。其中串联操作表示将多个卷积特征提取框架提取的特征沿通道维度进行拼接。图 3(a)为先经过过渡操作再串联再进行过渡的融合方式，可以保证输出图像通道数不变，并且截断梯度流，保证梯度流不会重复使用，由此降低模型参数量。在图 3(b)中，路径$B$的输出将通过过渡层，然后使用路径$A$的特征映射进行串联，将输出图像通道翻倍。



图 3 ${\rm{CSP}}$模块的两种融合方式
Fig. 3 Two fusion methods of ${\rm{CSP}}$ block
((a)concatenate between transitions; (b)concatenate after transition)

下采样过程中使用的${\rm{CSP}}$模块结构如图 4所示。该模块首先对输入数据进行一个3 × 3的卷积操作，并将网络结构分成两条路径，其中路径$A$直接与路径$B$的输出串联起来，形成一种相似于残差网络的结构。路径$B$则先经过一个卷积核数量减半的3 × 3卷积层，使得通道数减半且参数量减少，随后再分成两条路径，将3 × 3卷积层的输出与上一层输入串联起来。该方法总体思路是最大化梯度组合的差异，通过跨阶段的拆分和合并策略，能够有效减少信息集成过程中复制的可能性。



图 4 下采样中${\rm{CSP}}$模块结构
Fig. 4 ${\rm{CSP}}$ module structure in downsampling

${\rm{CSP}}$模块计算为

$ p(A)=B N\left(F\left(\boldsymbol{x}, \omega_{i}\right)\right) $ (4)

$ p(B)=T\left(\left[F\left(p(A), \omega_{i}^{l}, F\left(F\left(p(A), \omega_{i}^{l}\right), \omega_{i}^{l}\right)\right]\right)\right. $ (5)

$ {csp}(x)=B N([p(A), p(B)]) $ (6)

式中，${\mathit{\pmb{x}}}$为输入图像，$F$(${\mathit{\pmb{x}}}$, $ω$$_{i}$)表示对输入图像进行3×3卷积操作，卷积核数目为$ω$$_{i}$，$ω$$_{i}$$^{l}$表示$ω$$_{i}$一半数目的卷积核，$T$表示为过渡层操作，[·, ·]表示串联操作。$p$($A$)表示路径$A$的输出结果，$p$($B$)表示路径$B$的输出结果，$csp$(${\mathit{\pmb{x}}}$)表示该模块最终输出结果。模型中每个3 × 3卷积层之后都添加了${\rm{BN}}$(batch normalization)层以及LeakyReLU激活函数，用以解决反向传播过中梯度方向锯齿问题。${\rm{BN}}$层的计算为

$ y_{i}^{(b)}=B N\left(\boldsymbol{x}_{i}\right)^{(b)}=\gamma \cdot\left(\frac{x_{i}^{(b)}-\mu\left(x_{i}\right)}{\sqrt{\sigma\left(x_{i}\right)^{2}+\varepsilon}}\right)+\beta $ (7)

式中，${\mathit{\pmb{x}}}$$_{i}$为[$x_{i}$$^\text{(1)}$, $x_{i}$$^\text{(2)}$, …, $x_{i}$$^\text{($m$)}$]构成的行向量，$m$表示每次送入训练的样本数，$x_{i}$$^\text{($b$)}$表示输入批次中的第$b$个样本时该层第$i$个输入节点的值。$μ$(${\mathit{\pmb{x}}}$$_{i}$)和$σ$(${\mathit{\pmb{x}}}$$_{i}$)$^\text{2}$分别表示求该行向量的均值和方差，$ε$为防止除0引入的极小值，$γ$和$β$为待学习的缩放比例和偏移值参数。

1.5 损失函数

类别不平衡问题是脑肿瘤分割任务中最关键的问题之一。不同类别在BraTS 2018数据集的分布及占有区域如表 1所示。可以看出，各类之间存在明显差异。在脑肿瘤MRI中，健康组织的平均占用区域为98.46 %。而水肿、增强肿瘤和非增强肿瘤占据的区域分别为1.02 %、0.29 %和0.23 %。脑肿瘤MRI中不同类别的区域占用率的巨大差异对其分割准确性产生了巨大影响。

表 1 脑肿瘤MRI图像中不同类别占用区域
Table 1 Areas occupied by different categories in MRI images of brain tumors  

下载CSV
/%
类别 占有区域比重
健康组织 98.46
水肿 1.02
增强肿瘤 0.29
非增强肿瘤 0.23

为解决类别不平衡问题，添加general Dice loss(Sudre等，2017)和weighted cross-entropy(Ren等，2019)两种损失函数，以便更好地评价模型性能，两种损失函数的计算分别为

$ L_{\mathrm{GDL}}=1-\frac{2 \sum\limits_{c=1}^{Q} w_{c} l_{c} f_{c}}{\sum\limits_{c=1}^{Q} w_{c}\left(l_{c}+f_{c}\right)} $ (8)

$ L_{\mathrm{WCE}}=-\sum\limits_{c=1}^{Q} \omega_{c} l_{c} \log \left(f_{c}\right) $ (9)

式中，$L_\text{WCE}$表示加权交叉熵(weighted cross entropy，${\rm{WCE}}$)损失函数，该方法是对多类别不平衡问题的良好解决方案，可以降低训练样本和评估度量之间的差异，使网络重视样本占有率较小的类别。$L_\text{GDL}$表示general Dice loss函数，该函数常用于医学图像中的小目标分割，允许模型专注于难以学习的样本。每个标签的权重通过其体积的倒数进行校正，从而减少区域大小与Dice分数之间的相关性。$L_\text{GDL}$负责预测分割区域，$L_\text{WCE}$用于进行组织细胞的分类。$Q$表示标签的总数，在脑肿瘤分割数据集中，标签总数为4，$c$代表标签的序号，$ω$$_{c}$表示分配给第$c$个标签的权重。$f_{c}$表示被分割的2维图像像素值，$l_{c}$是2维图像像素的真实值。完整的损失函数$L$为

$ L=L_{\mathrm{GDL}}+L_{\mathrm{WCE}} $ (10)

2 实验设计与性能评估

2.1 实验环境与配置

本文模型使用的深度学习框架是以Tensorflow为后端的Keras 2.2.4，硬件环境为32 GB内存和TESLA V100 GPU的集群。每个模型使用随机梯度下降(stochastic gradient descent，SGD)算法作为优化器，初始学习率为0.085，动量为0.95，权重衰减为5E-6。模型的输入为flair、T1、T1CE、T2共4种MRI模式图像以及专家手动分割标签图像，批量大小设置为10，训练5个周期。

2.2 评价指标

对本文提出模型的性能评估，采用Dice系数(Dice similarity coefficient，${\rm{DSC}}$)作为分割网络的评价指标。Dice系数主要用于衡量两个集合之间的相似性，值在0~1之间。目前脑肿瘤分割任务普遍采用Dice系数评价模型优劣，具体为

$ \mathrm{DSC}=\frac{2 T P}{F P+2 T P+F N} $ (11)

式中，$TP$(true positive)表示通过深度学习模型正确归类为脑肿瘤的像素总数，$FP$(false positive)为错误分类的像素数。$TN$(true negative)和$FN$(false negative)分别表示模型正确归类为健康组织的像素数和错误归类为健康组织的像素数。

2.3 实验结果与分析

首先使用BraTS 2018和BraTS 2019两个训练数据集分别训练模型，再将训练得到的模型验证BraTS 2018和BraTS 2019验证数据集。随后将验证得到的分割结果上传到官方在线网站，由网站给出模型最终的分割精度，并与其他方法得到精度进行对比。最后根据实验结果，讨论本文使用的基本模块，即${\rm{CSP}}$模块对模型分割精度的影响。

2.3.1 BraTS 2018实验结果

首先在BraTS 2018验证数据集中评估模型，在保证同样训练条件与超参数的条件下，分别在编码器和解码器阶段使用两种${\rm{CSP}}$策略，并对验证结果进行对比，评估结果如表 2所示。$\text{CSPU-Net}$1在编码和解码阶段都使用图 3(a)的方法，$\text{CSPU-Net}$2和$\text{CSPU-Net}$3分别在上采样和下采样使用图 3(b)的融合策略，即先过渡再融合的方法，在分割精度上相对于$\text{CSPU-Net}$1又有提升。由此可见，使用先过渡后融合的方法精度最高，本文最终采用的$\text{CSPU-Net}$是在上下采样中皆使用先过渡后融合的方法。

表 2 BraTS 2018验证集的评估结果
Table 2 Evaluation results of BraTS 2018 validation set

下载CSV
网络模型 分割精度
整体肿瘤 肿瘤核心 增强肿瘤
U-Net 0.865 0.782 0.743
ResU-Net 0.871 0.790 0.751
$\text{CSPU-Net}$1 0.874 0.797 0.754
$\text{CSPU-Net}$2 0.875 0.800 0.755
$\text{CSPU-Net}$3 0.877 0.801 0.754
$\text{CSPU-Net}$ 0.879 0.806 0.773
注：加粗字体为各列最优结果。

从表 2可以看出，本文提出的$\text{CSPU-Net}$在模型对比中表现出最佳性能，在整体肿瘤、核心肿瘤和增强肿瘤上的${\rm{DSC}}$值分别为87.9 %、80.6 %和77.3 %，与原始模型U-Net相比，分别提升了1.40 %、2.40 %和3.00 %。与相对于另一组模型ResU-Net实现的87.1 %、79.0 %和75.1 % 的${\rm{DSC}}$相比，本文模型仍有0.80 %、1.60 %和2.20 % 的提升。在增强肿瘤分割结果上，本文模型表现效果显著，相比于其他两种方法分别取得了3.00 %和2.20 % 的提升，证明了${\rm{CSP}}$模块可以增强网络模型提取图像特征能力以及减少信息损失。

为验证本文方法在小规模脑肿瘤分割任务上的有效性，将模型在BraTS 2018数据集上的分割结果与其他方法进行对比，结果如表 3所示，可以看出，本文提出的$\text{CSPU-Net}$与其他先进方法相比，在整体肿瘤分割方面表现一般。这主要是由GPU显存大小产生的问题，本文采用的2D网络只能利用脑图像的2D切片进行训练，在整体肿瘤分割上相比于3D网络与2.5D网络尚有一定差距。在核心肿瘤分割方面，$\text{CSPU-Net}$仅次于Chen等人(2019)提出的可分离3D U-Net。但是在增强肿瘤分割方面，本文方法仍取得了最好的表现，这证明了本文方法可以显著提高小规模肿瘤的分割性能。

表 3 BraTS 2018验证集与其他先进方法的比较
Table 3 Compared with the-state-of-art methods on BraTS 2018 validation set

下载CSV
网络模型 分割精度
整体肿瘤 肿瘤核心 增强肿瘤
Shen等人(2017) 0.833 0.747 0.681
Ma和Yang(2019) 0.872 0.773 0.743
Marcinkiewicz等人(2019) 0.862 0.768 0.723
Wang等人(2019b) 0.869 0.796 0.733
Hu等人(2019) 0.882 0.748 0.718
Wang等人(2019a) 0.873 0.783 0.754
Chen等人(2019) 0.894 0.831 0.749
冯博文(2020) 0.900 0.730 0.710
Zhou等人(2020) 0.864 0.773 0.752
本文 0.879 0.806 0.773
注：加粗字体为各列最优结果。

2.3.2 BraTS 2019实验结果

使用与BraTS 2018数据集上同样的策略在BraTS 2019数据集中进行实验评估，验证本文模型性能，实验结果如表 4所示。可以看出，在BraTS 2019数据集中，本文提出的$\text{CSPU-Net}$相比于传统U-Net及其改进ResU-Net，分割精度仍有提升，在整体肿瘤、核心肿瘤和增强肿瘤上的${\rm{DSC}}$值分别为87.8 %、77.9 %和70.7 %，与原始模型U-Net相比，分别提升了1.30 %、3.10 %和2.90 %。相对于另一组模型ResU-Net实现的87.1 %、76.6 %和69.3 % 的${\rm{DSC}}$，本文提出模型仍有0.70 %、1.3 %和1.40 % 的提升。

表 4 BraTS 2019验证集的评估结果
Table 4 Evaluation results of BraTS 2019 validation set

下载CSV
网络模型 分割精度
整体肿瘤 肿瘤核心 增强肿瘤
U-Net 0.865 0.748 0.678
ResU-Net 0.871 0.766 0.693
本文 0.878 0.779 0.707
注：加粗字体为各列最优结果。

为进一步验证本文方法在脑肿瘤分割任务中的有效性，将模型在BraTS 2019数据集上的分割结果与其他先进方法进行对比，结果如表 5所示。相比于2020—2021年提出的2D模型，本文方法在整体肿瘤分割精度上与Ding等人(2020)提出的多路径自适应融合网络基本持平，在其他两项指标上都有明显提高。在增强肿瘤分割精度上略低于Amian和Soltaninejad(2020)使用的3D ResU-Net，但其他两项指标上都明显高于该方法，表明即使与更复杂的3D网络比较，本文提出的2D网络仍具有一定竞争力。

表 5 BraTS 2019验证集与其他先进方法的比较
Table 5 Compared with the-state-of-art methods on BraTS 2019 validation set

下载CSV
网络模型 分割精度
整体肿瘤 肿瘤核心 增强肿瘤
Bhalerao和Thakur(2020) 0.852 0.709 0.666
Amian和Soltaninejad(2020) 0.860 0.770 0.710
Baid等人(2020) 0.870 0.770 0.700
Guo等人(2020) 0.872 0.728 0.677
Di Ieva等人(2021) 0.878 0.731 0.699
Ding等人(2020) 0.880 0.730 0.670
本文 0.878 0.779 0.707
注：加粗字体为各列最优结果。

2.4 实验结果展示

最后，分别使用3种网络训练得出的模型对BraTS 2018训练集进行分割，模型的输入图像与分割结果如图 5所示。可以看出，本文方法对于肿瘤边缘分割更为平滑。从图像1和图像3的分割结果可以看出，U-Net与ResU-Net相较于GT(ground truth)图像，在核心肿瘤区域上都存在过分割问题。在图像3中，U-Net与ResU-Net都将核心肿瘤区域上方的像素错误归类于核心肿瘤，相比之下，本文方法分割出的核心肿瘤区域与GT图像更加接近。



图 5 各模型输入图像与分割结果
Fig. 5 Input images and segmentation results of each model
((a)flair; (b)T1;(c)T1CE; (d)T2;(e)ground truth; (f)U-Net; (g)ResU-Net; (h)ours)

3 结论

本文针对传统U-Net以及ResU-Net在上下采样结构中的不足，通过将跨阶段局部网络结构引入到U-Net中，提出一种新型脑肿瘤分割模型$\text{CSPU-Net}$，通过分裂合并策略分割梯度流，减少信息损失并增强模型特征学习能力，结合general Dice loss和weighted cross-entropy两种损失函数解决脑肿瘤MRI图像类别不平衡问题，从而获得更高的脑肿瘤MRI分割精度。为证明本文方法的有效性，分别使用BraTS 2018和BraTS 2019数据集进行实验。实验结果表明，本文方法在脑肿瘤分割任务上的性能明显优于其他2D分割网络，在整体肿瘤、核心肿瘤和增强肿瘤分割精度上都有显著提升。相较于部分3D分割网络，本文方法在核心肿瘤和增强肿瘤分割精度上仍有一定优势。但是，由于使用2D网络对3D图像数据进行分割本身就具有一定局限性，只能使用2D切片进行训练，导致模型无法获取图层之间的关系信息，造成大量信息损失。因而在整体肿瘤分割精度上，本文提出的2D网络模型相较于3D网络模型仍存在差距。此外，本文仅在脑肿瘤MRI分割任务上验证了本文方法的有效性，并未在新增的肿瘤像素点不确定性评估任务上进行研究。在后续工作中，将使用3D网络模型来有效利用3D图像数据，将本文方法应用于3D网络模型中，并对肿瘤像素点的不确定性评估任务进行尝试，从而进一步提升脑肿瘤MRI分割精度。

参考文献

  • Alom M Z, Yakopcic C, Hasan M, Taha T M, Asari V K. 2019. Recurrent residual U-Net for medical image segmentation. Journal of Medical Imaging, 6(1): #014006 [DOI:10.1117/1.JMI.6.1.014006]
  • Amian M and Soltaninejad M. 2020. Multi-resolution 3D CNN for MRI brain tumor segmentation and survival prediction//Proceedings of the 5th International MICCAI Brainlesion Workshop. Shenzhen, China: Springer: 221-230[DOI: 10.1007/978-3-030-46640-4_21]
  • Baid U, Shah N A and Talbar S. 2020. Brain tumor segmentation with cascaded deep convolutional neural network//Proceedings of the 5th International MICCAI Brainlesion Workshop. Shenzhen, China: Springer: 90-98[DOI: 10.1007/978-3-030-46643-5_9]
  • Bhalerao M and Thakur S. 2020. Brain tumor segmentation based on 3D residual U-Net//Proceedings of the 5th International MICCAI Brainlesion Workshop. Shenzhen, China: Springer: 218-225[DOI: 10.1007/978-3-030-46643-5_21]
  • Bochkovskiy A, Wang C Y and Liao H Y M. 2020. YOLOv4: optimal speed and accuracy of object detection[EB/OL]. [2021-05-03]. https://arxiv.org/pdf/2004.10934.pdf
  • Chen W, Liu B Q, Peng S T, Sun J W and Qiao X. 2019. S3D-UNet: separable 3DU-Net for brain tumor segmentation//Proceedings of the 4th International MICCAI Brainlesion Workshop. Granada, Spain: Springer: 358-368[DOI: 10.1007/978-3-030-11726-9_32]
  • Di Ieva A, Russo C, Liu S D, Jian A N, Bai M Y, Qian Y, Magnussen J S. 2021. Application of deep learning for automatic segmentation of brain tumors on magnetic resonance imaging: a heuristic approach in the clinical scenario. Neuroradiology, 63(8): 1253-1262 [DOI:10.1007/s00234-021-02649-3]
  • Ding Y, Gong L P, Zhang M F, Li C, Qin Z G. 2020. A multi-path adaptive fusion network for multimodal brain tumor segmentation. Neurocomputing, 412: 19-30 [DOI:10.1016/j.neucom.2020.06.078]
  • Dong H, Yang G, Liu F D, Mo Y H and Guo Y K. 2017. Automatic brain tumor detection and segmentation using U-Net based fully convolutional networks//Proceedings of the 21st Annual Conference on Medical Image Understanding and Analysis. Edinburgh, UK: Springer: 506-517[DOI: 10.1007/978-3-319-60964-5_44]
  • Feng B W. 2020. Research on multi-scale feature segmentation of Brain Tumors MRI based on parallel CNN (冯博文. 2020. 脑肿瘤MRI的并行CNN多尺度特征分割技术研究. 内蒙古: 内蒙古科技大学[DOI:10.27724/d.cnki.gnmgk.2020.000421])
  • Gondal A H, Khan M N A. 2013. A review of fully automated techniques for brain tumor detection from MR images. International Journal of Modern Education and Computer Science, 5(2): 55-61 [DOI:10.5815/ijmecs.2013.02.08]
  • Gordillo N, Montseny E, Sobrevilla P. 2013. State of the art survey on MRI brain tumor segmentation. Magnetic Resonance Imaging, 31(8): 1426-1438 [DOI:10.1016/j.mri.2013.05.002]
  • Guo X T, Yang C S, Ma T, Zhou P Z, Lu S F, Ji N, Li D L, Wang T and Lyu H Y. 2020. Brain tumor segmentation based on attention mechanism and multi-model fusion//Proceedings of the 5th International MICCAI Brainlesion Workshop. Shenzhen, China: Springer: 50-60[DOI: 10.1007/978-3-030-46643-5_5]
  • Haris M, Gupta R K, Singh A, Husain N, Husain M, Pandey C M, Srivastava C, Behari R K S, Rathore R K S. 2008. Differentiation of infective from neoplastic brain lesions by dynamic contrast-enhanced MRI. Neuroradiology, 50(6): 531-540 [DOI:10.1007/s00234-008-0378-6]
  • Havaei M, Davy A, Warde-Farley D, Biard A, Courville A, Bengio Y, Pal C, Jodoin P M, Larochelle H. 2017. Brain tumor segmentation with deep neural networks. Medical Image Analysis, 35: 18-31 [DOI:10.1016/j.media.2016.05.004]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
  • Hu K, Gan Q H, Zhang Y, Deng S H, Xiao F, Huang W, Cao C H, Gao X P. 2019. Brain tumor segmentation using multi-cascaded convolutional neural networks and conditional random field. IEEE Access, 7: 92615-92629 [DOI:10.1109/ACCESS.2019.2927433]
  • Huang G, Liu Z, Van Der Maaten L and Weinberger K Q. 2017. Densely connected convolutional networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 2261-2269[DOI: 10.1109/CVPR.2017.243]
  • Isensee F, Kickingereder P, Wick W, Bendszus M and Maier-Hein K H. 2019. No New-Net//Proceedings of the 4th International MICCAI Brainlesion Workshop. Granada, Spain: Springer: 234-244[DOI: 10.1007/978-3-030-11726-9_21]
  • Işın A, Direkoǧlu C, Şah M. 2016. Review of MRI-based brain tumor image segmentation using deep learning methods. Procedia Computer Science, 102: 317-324 [DOI:10.1016/j.procs.2016.09.407]
  • Jiang Z Y, Ding C X, Liu M F and Tao D C. 2020. Two-stage cascaded U-Net: 1st place solution to brats challenge 2019 segmentation task//Proceedings of the 5th International MICCAI Brainlesion Workshop. Shenzhen, China: Springer: 231-241[DOI: 10.1007/978-3-030-46640-4_22]
  • Kong X M, Sun G X, Wu Q, Liu J and Lin F M. 2018. Hybrid pyramid U-Net model for brain tumor segmentation//Proceedings of the 10th International Conference on Intelligent Information Processing. Nanning, China: Springer: 346-355[DOI: 10.1007/978-3-030-00828-4_35]
  • Li X M, Chen H, Qi X J, Dou Q, Fu C W, Heng P A. 2018. H-DenseUNet: hybrid densely connected UNet for liver and tumor segmentation from CT volumes. IEEE Transactions on Medical Imaging, 37(12): 2663-2674 [DOI:10.1109/TMI.2018.2845918]
  • Litjens G, Kooi T, Bejnordi B E, Setio A A A, Ciompi F, Ghafoorian M, Van Der Laak J A W M, Van Ginneken B, Sánchez C I. 2017. A survey on deep learning in medical image analysis. Medical Image Analysis, 42: 60-88 [DOI:10.1016/j.media.2017.07.005]
  • Ma F. 2013. 3D Volume Enhanced Scanning Techniques of Magnetic Resonance Imaging Used in Intracranial Tumors. Yinchuan: Ningxia Medical University (马凤. 2013. 磁共振三维容积增强扫描技术在颅内肿瘤中的应用. 银川: 宁夏医科大学) [DOI:10.7666/d.D421508]
  • Ma J and Yang X P. 2019. Automatic brain tumor segmentation by exploring the multi-modality complementary information and cascaded 3D lightweight CNNs//Proceedings of the 4th International MICCAI Brainlesion Workshop. Granada, Spain: Springer: 25-36[DOI: 10.1007/978-3-030-11726-9_3]
  • Marcinkiewicz M, Nalepa J, Lorenzo P R, Dudzik W and Mrukwa G. 2019. Segmenting brain tumors from MRI using cascaded multi-modal U-Nets//Proceedings of the 4th International MICCAI Brainlesion Workshop. Granada, Spain: Springer: 13-24[DOI: 10.1007/978-3-030-11726-9_2]
  • Moeskops P, Viergever M A, Mendrik A M, deVries L S, Benders I, Išgum I. 2016. Automatic segmentation of MR brain images with a convolutional neural network. IEEE Transactions on Medical Imaging, 35(5): 1252-1261 [DOI:10.1109/TMI.2016.2548501]
  • Myronenko A. 2019. 3D MRI brain tumor segmentation using autoencoder regularization//4th International MICCAI Brainlesion Workshop. Granada, Spain: Springer: 311-320[DOI: 10.1007/978-3-030-11726-9_28]
  • Pereira S, Pinto A, Alves V, Silva C A. 2016. Brain tumor segmentation using convolutional neural networks in MRI images. IEEE Transactions on Medical Imaging, 35(5): 1240-1251 [DOI:10.1109/TMI.2016.2538465]
  • Ren X X, Xing Z C, Xia X, Lo D, Wang J, Grundy J. 2019. Neural network-based detection of self-admitted technical debt: from performance to explainability. ACM transactions on software engineering and methodology, 28(3): #15 [DOI:10.1145/3324916]
  • Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241[DOI: 10.1007/978-3-319-24574-4_28]
  • Shaikh M, Anand G, Acharya G, Amrutkar A, Alex V and Krishnamurthi G. 2018. Brain tumor segmentation using dense fully convolutional neural network//Proceedings of the 3rd International MICCAI Brainlesion Workshop. Quebec City, Canada: Springer: 309-319[DOI: 10.1007/978-3-319-75238-9_27]
  • Shelhamer E, Long J, Darrell T. 2017. Fully convolutional networks for semantic segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(4): 640-651 [DOI:10.1109/TPAMI.2016.2572683]
  • Shen H C, Wang R X, Zhang J G and McKenna S. 2017. Multi-task fully convolutional network for brain tumour segmentation//Proceedings of the 21st Annual Conference on Medical Image Understanding and Analysis. Edinburgh, UK: Springer: 239-248[DOI: 10.1007/978-3-319-60964-5_21]
  • Simonyan K and Zisserman A. 2015. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-05-03]. https://arxiv.org/pdf/1409.1556.pdf
  • Sudre C H, Li W Q, Vercauteren T, Ourselin S and Cardoso M J. 2017. Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations//Proceedings of the 3rd International Workshop on Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Québec City, Canada: Springer: 240-248[DOI: 10.1007/978-3-319-67558-9_28]
  • Sun H. 2020. Research on Classification and Segmentation of MRI of Brain Tumor based on Deep Learning. Hangzhou: Zhejiang University (孙浩. 2020. 基于深度学习的脑肿瘤MRI分类与分割技术研究. 杭州: 浙江大学) [DOI:10.27461/d.cnki.gzjdx.2020.000444]
  • Sun J W. 2020. Application of Deep Learning Methods in Brain Tumors. Ji'nan: Shandong University (孙佳伟. 2020. 深度学习在脑肿瘤中的应用. 济南: 山东大学) [DOI:10.27272/d.cnki.gshdu.2020.004996]
  • Sun L, Zhang S T, Chen H, Luo L. 2019. Brain tumor segmentation and survival prediction using multimodal MRI scans with deep learning. Frontiers in Neuroscience, 13 [DOI:10.3389/fnins.2019.00810]
  • Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE: 1-9[DOI: 10.1109/CVPR.2015.7298594]
  • Tian W Q. 2020. The Study of Medical Image Segmentation based on Convolution Neural Network. Baoding: Hebei University (田伟倩. 2020. 基于卷积神经网络的医学图像分割算法研究. 保定: 河北大学) [DOI:10.27103/d.cnki.ghebu.2020.001097]
  • Wang C Y, Liao H Y M, Wu Y H, Chen P Y, Hsieh J W and Yeh I H. 2020. CSPNet: a new backbone that can enhance learning capability of CNN//Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle, USA: IEEE: 1571-1580[DOI: 10.1109/CVPRW50498.2020.00203]
  • Wang G T, Li W Q, Ourselin S and Vercauteren T. 2019a. Automatic brain tumor segmentation using convolutional neural networks with test-time augmentation//Proceedings of the 4th International MICCAI Brainlesion Workshop. Granada, Spain: Springer: 61-72[DOI: 10.1007/978-3-030-11726-9_6]
  • Wang W, Yu K C, Hugonot J, Fua P and Salzmann M. 2019b. Recurrent U-Net for resource-constrained segmentation//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea (South): IEEE: 2142-2151[DOI: 10.1109/ICCV.2019.00223]
  • Wong K P. 2005. Medical image segmentation: methods and applications in functional imaging//Handbook of Biomedical Image Analysis. Boston, USA: Springer: 111-182[DOI: 10.1007/0-306-48606-7_3]
  • Zhao L Y, Jia K B. 2016. Multiscale CNNs for brain tumor segmentation and diagnosis. Computational and Mathematical Methods in Medicine, 2016: #8356294 [DOI:10.1155/2016/8356294]
  • Zhou Z X, He Z S, Shi M F, Du J L, Chen D D. 2020. 3D dense connectivity network with atrous convolutional feature pyramid for brain tumor segmentation in magnetic resonance imaging of human heads. Computers in Biology and Medicine, 121: #103766 [DOI:10.1016/j.compbiomed.2020.103766]