Print

发布时间: 2020-02-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190173
2020 | Volume 25 | Number 2




    综述    




  <<上一篇 




  下一篇>> 




MRI脑肿瘤图像分割的深度学习方法综述
expand article info 江宗康1, 吕晓钢1, 张建新1, 张强1,2, 魏小鹏1,2
1. 大连大学先进设计与智能计算省部共建教育部重点实验室, 大连 116622;
2. 大连理工大学计算机科学与技术学院, 大连 116024
收稿日期: 2019-05-08; 修回日期: 2019-07-29; 预印本日期: 2019-08-05
基金项目: 国家自然科学基金项目（61972062，91546123）；国家重点研发计划课题项目（2018YFC0910500）；教育部长江学者与创新团队发展计划项目（IRT_15R07）；大连市高层次人才创新支持计划项目（2016RQ078）；辽宁省"百千万人才工程"项目
作者简介: 江宗康，1995年生，男, 硕士研究生，主要研究方向为智能医疗影像分析。E-mail: jiangzk2018@gmail.com
吕晓钢，男，硕士研究生，主要研究方向为智能医疗影像分析。E-mail：lvxiaogang0428@163.com
张强，男，教授，博士生导师，主要研究方向为生物计算与人工智能、医疗大数据分析和智能机器人。E-mail：zhangq@dlut.edu.cn
魏小鹏，男，教授，博士生导师，主要研究方向为生物计算与人工智能、医疗大数据分析和智能机器人。E-mail：xpwei@dlut.edu.cn
*通信作者: 张建新，通信作者，男，教授，硕士生导师，主要研究方向为计算机视觉和医疗大数据分析。E-mail：jxzhang0411@163.com
中图法分类号: TP391.7
文献标识码: A
文章编号: 1006-8961(2020)02-0215-14

摘要

磁共振成像（MRI）作为一种典型的非侵入式成像技术，可产生高质量的无损伤和无颅骨伪影的脑影像，为脑肿瘤的诊断和治疗提供更为全面的信息，是脑肿瘤诊疗的主要技术手段。MRI脑肿瘤自动分割利用计算机技术从多模态脑影像中自动将肿瘤区（坏死区、水肿区、非增强肿瘤区和增强肿瘤区）和正常组织区进行分割和标注，对于辅助脑肿瘤的诊疗具有重要作用。本文对MRI脑肿瘤图像分割的深度学习方法进行了总结与分析，给出了各类方法的基本思想、网络架构形式、代表性改进方案以及优缺点总结等，并给出了部分典型方法在BraTS（multimodal brain tumor segmentation）数据集上的性能表现与分析结果。通过对该领域研究方法进行综述，对现有基于深度学习的MRI脑肿瘤分割研究方法进行了梳理，作为新的发展方向，MRI脑肿瘤图像分割的深度学习方法较传统方法已取得明显的性能提升，已成为领域主流方法并持续展现出良好的发展前景，有助于进一步推动MRI脑肿瘤分割在临床诊疗上的应用。

关键词

磁共振成像; 脑肿瘤; 人工神经网络; 深度学习; 分割

Review of deep learning methods for MRI brain tumor image segmentation
expand article info Jiang Zongkang1, Lyu Xiaogang1, Zhang Jianxin1, Zhang Qiang1,2, Wei Xiaopeng1,2
1. Key Laboratory of Advanced Design and Intelligence Computing(Ministry of Education), Dalian University, Dalian 116622, China;
2. School of Computer Science and Technology, Dalian University of Technology, Dalian 116024, China
Supported by: National Natural Science Foundation of China (61972062, 91546123); National Key Research and Development Program of China (2018YFC0910500)

Abstract

Brain tumors,abnormal cells growing in the human brain,are common neurological diseases that are extremely harmful to human health. Malignant brain tumors can lead to high mortality. Magnetic resonance imaging (MRI),a typical noninvasive imaging technology,can produce high-quality brain images without damage and skull artifacts,as well as provide comprehensive information to facilitate the diagnosis and treatment of brain tumors. Additionally,the segmentation of MRI brain tumors utilizes computer technology to segment and label tumors (necrosis,edema,and nonenhanced and enhanced tumors) and normal tissues automatically on multimodal brain images,which assists in their diagnosis and treatment. However,given the complexity of brain tissue structure,the diversity of spatial location,the shape and size of brain tumors,and various influence factors,such as field offset effect,volume effect,and equipment noise,during the processing of MRI brain images,automatically achieving accurate tumor segmentation results from MRI brain images has been challenging. With the continuous breakthroughs of deep learning technology in computer vision and medical image analysis,MRI brain tumor segmentation methods based on deep learning have also attracted wide attention in recent years. A series of important research results have been reported,illuminating the promising potential of deep learning methods for MRI brain tumor segmentation task. Therefore,this work aims to review deep learning-based MRI brain tumor segmentation methods,i.e.,the current mainstream of MRI brain tumor segmentation. Through an extensive study of the literature on MRI brain tumor segmentation problem,we comprehensively summarize and analyze the existing deep learning methods for MRI brain tumor segmentation. To provide a further understanding of this task,we first introduce a family of authoritative brain tumor segmentation databases,i.e.,BraTS (2012-2018) Databases,which run in conjunction with the Medical Image Computing and Computer Assisted Intervention (MICCAI) 2012-2018 Conferences. Several important evaluation metrics,including dice similarity coefficient,predictive positivity value,and sensitivity,are also briefly described. On the basis of the basic network architecture for brain tumor segmentation,we classify the existing deep learning-based MRI brain tumor segmentation methods into three categories,namely,convolutional neural network-,fully convolutional network-,and generative adversarial network-based MRI brain tumor segmentation methods. Convolutional neural network-based methods can be further divided into three sub-categories:single network-based,multinetwork-based,and traditional-method-combination-based approaches. On the basis of the three categories,we comprehensively describe and analyze the basic ideas,network architecture,and typical improvement schemes for each type of method. In addition,we compare the performance results of the representative methods achieved on the BraTS series datasets and summarize the comparative analysis results as well as the advantages and disadvantages of the representative methods. Finally,we discuss three possible future research directions.By reviewing the main work in this field,the existing deep learning methods for MRI brain tumor segmentation are examined well,and our threefold conclusion follows:1) Embedding advanced network architecture or introducing prior information of brain tumors into the deep segmentation network will achieve superior accuracy performance for each type of method. 2) Fully convolutional network-based MRI brain tumor segmentation methods can obtain improved balance between accuracy and efficiency. 3) Generative adversarial network-based MRI brain tumor segmentation methods,a novel and powerful semi-supervised method,has shown good potential for the extremely challenging construction of a large-scale MRI brain tumor segmentation dataset with fine labels. Three possible future research directions are recommended,namely,embedding numerous powerful feature representation modules (e.g.,squeeze-and-excitation block,matrix power normalization unit),constructing semi-supervised networks with prior medical knowledge (e.g.,constraint information,location,and size and shape information of brain tumors),and transferring networks from other image tasks (e.g.,promising detection networks of faster and masker region-based convolutional neural networks). MRI brain tumor segmentation is an important step in the diagnosis and treatment of brain tumors. This process can quickly obtain further accurate MRI brain tumor segmentation results through computer technology,which can effectively assist doctors in computing the location and size of tumors and formulating numerous reasonable treatment and rehabilitation strategies for patients with brain tumors. As a new development direction in recent years,deep learning-based MRI brain tumor segmentation has achieved significant performance improvement over traditional methods. As the mainstream in this field,this method will further promote the clinical diagnosis and treatment level of computer-aided MRI brain tumor segmentation technology.

Key words

magnetic resonance imaging(MRI); brain tumor; artificial neural networks; deep learning; segmentation

0 引言

脑肿瘤是一种生长在大脑中的异常细胞，按照异常细胞的来源一般可分为原发性脑肿瘤和继发性脑肿瘤两类(俞海平和邬立保，2011)。原发性脑肿瘤是直接源于脑组织中异常生长的细胞，继发性脑肿瘤是身体其他部位正常细胞变成癌细胞后扩散到大脑中的异常细胞。磁共振成像(MRI)作为一种典型的非侵入式成像技术，可产生高质量的无损伤和无颅骨伪影的脑影像，能为脑肿瘤的诊断和治疗提供更为全面的信息，是脑肿瘤诊疗的主要技术手段。MRI脑肿瘤分割是脑肿瘤诊疗过程中非常重要的一步，借助多模态脑影像对肿瘤进行分割(江贵平等，2015)，医生可以从脑肿瘤中进行定量分析从而测量大脑病变组织的最大直径、体积和数量，为患者制定最佳的诊断和治疗方案(葛婷等，2017)，以量化脑肿瘤治疗前后的反应。

由于临床应用和科学研究的需要，MRI脑肿瘤分割也成为医疗图像领域内的重要组成内容并长期受到广泛关注，研究者提出了许多MRI影像脑肿瘤的分割方法，但现有方法仍无法在临床MRI脑影像分割上始终取得满意效果(林瑶和田捷，2002)，这也是由MRI脑影像的复杂性决定的。总体来说，MRI脑影像分割的难点可归结为(邓万凯，2011)：1)成像技术限制和影像采集过程因素等影响导致MRI脑影像存在场偏移效应、容积效应、运动伪影和噪声等；2)脑的组织结构非常复杂、不易区分，MRI脑影像中不仅包括脑皮层、脑脊液、白质、灰质等正常组织，还包括增强肿瘤、非增强肿瘤、水肿以及肿瘤内部的坏死区域等病变组织，部分组织结构成像相似性高、不易区分；3)脑肿瘤空间位置、形状和尺寸大小多变，且不同软组织之间或软组织与病变组织之间边界可能比较模糊；4)不同个体之间的正常组织和病变组织的结构存在较大差异，甚至同一个人在不同时期也会有较大的差别。这些因素对脑肿瘤分割中的特征提取以及精准分割具有重大影响，在实际分割过程中，较为准确且及时地处理这些因素所造成的影响才能保证脑肿瘤分割的精确性与鲁棒性。

以AlexNet、VGGNet、残差网络(ResNet)、密集连接网络(DenseNet)和生成对抗网络(GAN)等(Goodfellow等，2014；He等，2016；Huang等，2017；Krizhevsky等，2012；Simonyan和Zisserman，2014)为代表的深度神经网络模型成功地应用于诸多计算机视觉任务中，获得了学术界和工业界的广泛关注。鉴于深度神经网络所展现出的强大的高判别特征自动抽取能力，其快速应用到医疗图像处理与分析领域(Esteva等，2017；Gulshan等，2016；Liu等，2017)。与此同时，基于深度学习的脑肿瘤计算机辅助诊断研究也获得了广泛关注，特别是国际医学图像计算和计算机辅助干预协会(MICCAI)从2012年起连续多年组织多模态脑肿瘤分割竞赛，极大程度地推动了基于深度学习的MRI脑肿瘤分割研究的发展。由于深度学习通过端到端学习方式从训练样本集中自动获取MRI肿瘤特征信息，改变了传统方法的人工特征提取方式，较传统方法取得了突破的性能进展。根据网络训练时对样本数据标签的使用情况，可将深度神经网络分为监督、半监督和无监督深度神经网络。由于有监督网络在训练中能够充分利用数据类标签信息，其较半监督和无监督网络一般可获得更好的精度性能。在MRI脑肿瘤图像分割的深度学习方法研究上，现有深度分割网络也大多采用有监督学习的方式，并在网络架构、全局或局部上下文信息特征提取、多尺度特征融合等多方面都进行了有效的探索。此外，由于精细标注的脑肿瘤样本规模相对较小，一些学者也开展了半监督和无监督的MRI脑肿瘤分割网络研究并获得了有效进展。

本文尝试对现有MRI脑肿瘤图像分割的深度学习方法进行较为全面的总结和分析，并按照所采用基础网络架构的形式将其划分为基于卷积神经网络(CNN)、基于全卷积网络(FCN)和基于生成对抗网络3类脑肿瘤分割方法。为更好地进行描述与分析，首先简要介绍评估脑肿瘤分割方法的BraTS(multimodal brain tumor segmentation)数据集及评价指标；然后，分别介绍3类分割方法的基本思想、网络架构、代表性改进方案以及优缺点总结等，并对典型方法在BraTS数据集上的性能进行总结和分析；最后，对MRI脑肿瘤分割方法的未来发展方向进行了初步展望。

1 数据库及评价指标介绍

1.1 数据库

从多模态磁共振影像数据中精确分割脑肿瘤是医学图像分析中最具挑战性的任务之一，为了对不断涌现的脑肿瘤分割方法进行统一客观的比较，国际MICCAI协会从2012年开始每年组织一次多模态脑肿瘤分割挑战赛，并发布了相应的MRI脑肿瘤分割数据集(BraTS 2012—2018)，BraTS系列数据集也成为MRI脑肿瘤分割方法评估的权威数据集。

BraTS数据集包括训练集、验证集和测试集这3部分。其中，训练集对外发布；验证集和测试集不对外发布，其主要用于方法的在线评估。最初的BraTS 2012训练集仅包含20例高级别胶质瘤(HGG)病例和10例低级别胶质瘤(LGG)病例，所有脑影像带有专家手动分割的真值标签，该训练集也在2013年继续采用。2014年，组委会则对数据集数量进行了显著扩充，BraTS 2014训练集包含了252例HGG病例和57例LGG病例。2015年发布的BraTS 2015数据集则对BraTS 2014数据集进行了筛选，其训练集包含220例HGG病例和54例LGG病例，该数据集也在2016年得到沿用，是使用较多的数据集。在BraTS 2012—2016系列数据集中，每个病例都包括4个不同的影像模态，分别是FLAIR，T1，T2和T1c，每个MRI影像的维度是155×240×240。数据集中影像数据共有5类标签，分别是正常组织(标签0)、坏死(标签1)、水肿(标签2)、非增强(标签3)和增强肿瘤(标签4)。根据实际的临床应用，对于多类别的脑肿瘤分割任务，采用标记完整肿瘤(complete tumor)、核心肿瘤(core tumor)和增强肿瘤(enhancing tumor)来进行影像自动分割。其中完整肿瘤包括所有4种肿瘤内部结构类别，即标签为1、2、3和4部分；核心肿瘤包括除水肿以外的其他3种肿瘤内部结构类别，即标签为1、3和4区域；增强肿瘤是仅包括增强肿瘤的区域，即仅标签4区域。

BraTS数据集在2017年发生了较大变化，BraTS 2017训练集由210例HGG病例和75例LGG病例构成。与之前数据集相比较，BraTS 2017数据集中的影像数据仅包括4类标签，分别是正常组织(标签0)、坏死和非增强肿瘤(标签1)、水肿(标签2)、增强肿瘤(标签4)。因此，不同肿瘤区域分别定义为完整肿瘤：标签为1、2和4部分；核心肿瘤：标签为1和4部分；增强肿瘤：标签为4部分。BraTS 2018训练集使用了与2017年相同的数据，但在验证集上有所改变。BraTS 2017训练集中一个典型脑肿瘤影像如图 1所示，图 1从左至右依次为同一病人的FLAIR, T1，T2和T1c不同模态成像结果。



图 1 BraTS 2017训练集中典型MRI脑肿瘤影像示例
Fig. 1 Typical MRI brain images in training dataset of BraTS 2017

1.2 评价指标

在多模态MRI脑肿瘤分割任务中，一般采用Dice相似性系数(DSC)、阳性预测值(PPV)以及灵敏度(sensitivity)等评价指标来对分割方法进行性能评估。其中，DSC用来描述分割结果与实际真值标签的重叠程度；PPV用来描述实验分割结果中所有分割正确的肿瘤像素点占真值肿瘤像素点的比例；灵敏度用来描述在所有真值肿瘤像素点中检测到分割结果中也为肿瘤像素点的比例。

在3种常用评价指标中，以DSC指标最为常用，其有效衡量了分割结果与真值标签之间的重合度，反映了实验分割结果与专家手动分割结果的相似程度，能够更有效反映分割方法的精度性。DSC指标具体计算为

$ D = \frac{{{P_1} \cap {T_1}}}{{\left({{P_1} + {T_1}} \right)/2}} $ (1)

式中，T1是真值标签情况，P1是评估方法的分割结果。DSC指标范围是01之间，0表示方法分割结果区域完全偏离了实际医生标记区域，1则表示方法分割结果区域与实际医生标记区域完全重合。显然，DSC数值越大表示脑肿瘤分割的结果越好。

2 基于卷积神经网络的脑肿瘤分割

基于卷积神经网络的脑肿瘤分割方法采用小尺度图像块分类的思想来进行MRI脑肿瘤分割网络的设计，从而将像素标签预测转换为像素所在局部图像块分类问题。在具体实施上，该类方法从原始MRI脑影像中分割出大量的小尺度图像块，采用图像块来训练一个分类网络，在分割时则以滑动窗口的方式逐像素对相应图像块进行前后景分类，然后采用后处理方式完成脑肿瘤的分割。该类方法从有限标记的脑影像样本中获得大量再标记的小图像块(如肿瘤、非肿瘤)，一定程度上解决了脑肿瘤标注影像少和深度神经网络训练样本需求量大之间的矛盾。典型的基于卷积神经网络的脑肿瘤分割网络方法基本架构如图 2所示，其沿用视觉分类任务中的典型卷积网络架构，依次包含多个卷积、激活、池化和全连接层以及后处理CRF(conditional randorn fields), LSTM(long short-term memory)等。根据方法中卷积神经网络架构的方式，又可将其分为单网络脑肿瘤分割方法、多网络脑肿瘤分割方法以及与传统方法相结合的脑肿瘤分割方法。



图 2 基于卷积神经网络的MRI脑肿瘤分割方法基本架构图
Fig. 2 Basic architecture of MRI brain tumor segmentation method based on convolutional neural network

2.1 单网络脑肿瘤分割方法

单网络脑肿瘤分割方法是较早出现的一种深度学习图像分割方法，其采用的是单一形式的网络架构进行脑肿瘤的分割，该网络结构首先输入数据通过卷积、池化和非线性层处理，然后进入全连接层和分类层用于预测相应类别的标签。针对不同的卷积维数可将单网络的脑肿瘤分割方法分为2D和3D两类。表 1列举了部分典型单网络MRI脑肿瘤分割方法在BraTS系列数据集上的性能表现结果。

表 1 单网络MRI脑肿瘤分割方法评估结果
Table 1 Evaluation results of single network based MRI brain tumor segmentation methods

下载CSV
方法 数据集 评价指标DSC
完整肿瘤 核心肿瘤 增强肿瘤
Zikic等人(2014) BraTS 2013 0.84 0.74 0.69
Pereira等人(2016) BraTS 2013 0.88 0.83 0.77
Urban等人(2014) BraTS 2013 0.86 0.75 0.73
Dvořák和Menze (2016) BraTS 2014 0.83 0.75 0.77
Randhawa等人(2016) BraTS 2016 0.87 0.75 0.71
Ben Naceur等人(2018) BraTS 2017 0.89 0.76 0.81

第1类方法是使用2D卷积神经网络来进行脑肿瘤分割，该方法具有占用资源少、训练速度快的优势。一些研究者较早开展了2D网络的脑肿瘤分割研究，如Zikic等人(2014)提出一种采用AlexNet网络4输入通道的2D脑肿瘤分割网络；Pereira等人(2016)采用类似VGGNet网络结构，构建了一种卷积神经网络的自动分割方法，探索小型3×3卷积核，小卷积核可以设计更深的网络架构，通过减少参数量可以有效减轻过拟合，并且使用强度归一化和数据增强技术在BraTS 2013挑战赛上获得第1名。

由于基础的2D卷积神经网络无法很好捕获MRI脑影像切片的上下文特性，一些研究者则考虑将先验知识加入到2D卷积神经网络中，所做的主要工作如下: Zhao和Jia(2015)尝试使用横断面、矢状面和冠状面切片作为网络输入来实施脑肿瘤分割；Randhawa等人(2016)通过增强损失函数采用边界像素更大权重的方式来提高脑肿瘤边缘分割的准确性；Dvořák和Menze (2016)提出局部结构预测方法来提高MRI脑影像的局部分割能力；Cui等人(2016)则着重考虑根据标签像素的不同，把图像块切分成了32×32或者13×13像素尺度，从而取得了更好的分割精度；为了设计出一个更加有效的脑肿瘤分割模型，Ben Naceur等人(2018)则采用了多网络集成学习的思想实现脑肿瘤准确分割，这种方法提升了脑肿瘤分割精度，为后来一系列方法的提出奠定了基础。

第2类方法是采用3D卷积神经网络来进行脑肿瘤的分割，这种方法可以更好地利用MRI图像3D特性，加强不同切片间的上下文联系，从而有效提升脑肿瘤的分割精度。如Urban等人(2014)提出了基于3D卷积神经网络的多模态脑肿瘤分割网络模型，网络主要采用5×5×5大小的卷积核，获得了接近于当时该数据库上最优分割性能。

2.2 多网络脑肿瘤分割方法

多网络脑肿瘤分割方法是一类分割精度相对比较高的深度学习分割方法，其采用多个基础网络架构来进行脑肿瘤的分割，按照多网络是采用串行还是并行方式来实现肿瘤分割，此类方法又可分为级联路径的卷积神经网络(cascade-path CNN)和双路径的卷积神经网络(dual-path CNN)。该方法将多个基础网络进行结合，增强了特征表达能力，捕获了全局和局部的特征信息，能够有效提高网络的整体分割精度。表 2列举了多网络MRI脑肿瘤分割方法在BraTS系列数据集上的评估结果。

表 2 多网络MRI脑肿瘤分割方法评估结果
Table 2 Evaluation results of multinetwork based MRI brain tumor segmentation methods

下载CSV
方法 数据集 评价指标DSC
完整肿瘤 核心肿瘤 增强肿瘤
Hussain等人(2017) BraTS 2013 0.80 0.67 0.85
Havaei等人(2017) BraTS 2013 0.88 0.79 0.73
Kamnitsas等人(2016) BraTS 2015 0.90 0.76 0.73
Casamitjana等人(2016) BraTS 2015 0.92 0.84 0.77
Chen等人(2018b) BraTS 2017 0.72 0.83 0.81

级联路径的卷积神经网络的核心思想是将上一个网络的输出作为下一个网络的输入，从而可以提取更多不同的图像特征集合。Hussain等人(2017)采用37×37和19×19像素的两种不同尺寸大小的图像块来构建一种级联路径的2D CNN脑肿瘤分割网络。针对级联网络存在的参数多、计算代价高的问题，Havaei等人(2017)探索了一种级联架构，其中基本CNN的输出被视为后续CNN的输入，在BraTS 2013数据集上取得了优异的分割性能。

与级联路径分割网络方法所不同，双路径卷积神经网络分割方法则是将两个不同的网络并行在一起，分别用于捕获脑影像的全局和局部特征信息。Havaei等人(2017)构建了一种双路径的2D CNN脑肿瘤分割网络，该网络框架包含局部和全局两个路径，每个路径采用不同大小卷积核提取不同上下文特征信息，其中一个路径采用2个Maxout卷积层来关注像素局部小区域，另一条路径采用全连接Maxout层以关注更大感受野，Softmax用于两条路径的合并与标签分类。

为了提高网络捕获MRI脑影像中的3D特性能力，Kamnitsas、Casamitjana等结合使用3D卷积核和双通路模式，其中Kamnitsas等人(2016)构建基于3D局部块和多尺度的密集CNN分割架构，提出的网络通过对每条路径使用不同的输入大小来组合多尺度信息；而Casamitjana等人(2016)则在Kamnitsas的基础上进行改进，对两条路径使用相同的输入大小，这样可以使不同的接收区域重点关注不同的信息。为进一步提高性能，ResNet(He等，2016)和DenseNet(Huang等，2017)等先进网络思想也逐渐被引入，同时3D卷积和双路径模式也逐渐结合使用。Kamnitsas等人(2017)将双路、3D卷积和残差连接块结合，构建了面向脑肿瘤分割的3D双路径残差分割网络，在使用较少训练数据和较少滤波器情况下仍能获得较好分割性能；为了准确地对每个像素进行分类，Chen等人(2018b)提出了一种新的结构，可以分层地分割坏死和非增强肿瘤，肿瘤周围水肿和增强肿瘤的不同病变区域，通过使用两个感受野提取特征来捕获多尺度的上下文信息。

2.3 与传统方法相结合的脑肿瘤分割方法

CNN架构与传统方法结合体现在两方面：一是深度分割网络作为分割使用的特征提取器，提取深度特征采用传统分类器预测标签来实施分割；二是使用深度分割网络作为粗糙分割网络，在获得初步分割结果基础上再采用传统分割方法进行后处理操作。表 3列举了CNN架构与传统方法相结合的MRI脑肿瘤分割方法在BraTS系列数据集上的性能表现结果。

表 3 与传统方法结合的MRI脑肿瘤分割方法评估结果
Table 3 Evaluation results of traditional-method-combination based MRI brain tumor segmentation methods

下载CSV
方法 数据集 评价指标DSC
完整肿瘤 核心肿瘤 增强肿瘤
Zhao等人(2018b) BraTS 2013 0.81 0.65 0.60
Soltaninejad等人(2017) BraTS 2015 0.88 0.80 0.73
Kamnitsas等人(2017) BraTS 2015 0.90 0.75 0.72
Zhao等人(2018a) BraTS 2017 0.88 0.76 0.76

在使用深度分割网络作为特征提取器上，Soltaninejad等人(2017)采用FCN网络和Gabor滤波器组分别生成分割图谱与纹理特征图谱，在此基础上进行特征提取并采用RF(random forests)分类器来对脑肿瘤分割。

在使用传统方法做后处理操作上，Zhao等人(2018b)整合全卷积神经网络和条件随机场用于脑肿瘤分割；为了利用空间一致性，Zhao等人(2018a)又集成了3种不同视觉下的3个2D全卷积神经网络(FCNN)进行提取特征，并应用3D条件随机场来优化融合分割结果，大大降低了分割误报，提高了肿瘤边界准确性分割；同时Kamnitsas等人(2017)也采用了3D条件随机场方法，有效地消除误报，实现了肿瘤的软分割，提高脑肿瘤边缘的分割精度。

总体来说，基于卷积神经网络的脑肿瘤分割方法在训练阶段从MRI图像中提取大量的小块，可以很容易控制每个像素数量避免训练样本不平衡问题，并且由于其将有限标注样本进行大量有效扩充，使得深度网络能够得到很好训练，因此可达到很好的分割性能。但是由于该类网络对输入图像中几乎每个像素位置都要进行相应局部图像块的分类，存在的主要缺点是在预测标签时需要的存储空间大，分割效率低，空间连续性差和训练过程复杂。同时，综合表 1—表 3结果可以看出，在该类MRI脑肿瘤深度分割方法中，采用复杂的网络架构(如结合使用3D卷积核、双通路或级联模式等)来加强切片间的上下文联系、增强网络对脑肿瘤的特征表达能力，可以有效地提高脑肿瘤的分割精度。另外，使用条件随机场CRF等作为网络的后处理在一定程度上有效解决了由于分块操作导致的边缘分割效果差的问题，通过提高肿瘤边界的分割精度达到了优化整体分割的结果。

3 基于全卷积网络的脑肿瘤分割方法

基于全卷积网络的脑肿瘤分割方法主要是基于编码—解码思想来进行MRI脑肿瘤分割网络的设计，其是对整幅脑影像的每个像素进行分类预测来完成分割，属于典型的语义分割网络模型。在具体实施上，该类网络通过卷积—反卷积操作进行下采样—上采样来实现脑影像的分割，该类方法的优点是不受脑影像大小的限制，并可以直接获得整幅图像的分割结果，是近年比较流行的一类MRI脑影像分割网络。典型的基于全卷积网络的MRI脑肿瘤分割架构图如图 3所示。



图 3 基于全卷积网络的MRI脑肿瘤分割方法基本架构图
Fig. 3 Basic architecture of fully convolutional network based MRI brain tumor segmentation method

FCN(fully convolutional networks)(Long等，2015)是解决图像语义分割的开山之作，是一种端到端的语义分割模型，其采用全卷积化的方式来解决逐像素的预测问题。FCN网络最大的创新点在于使用了跳跃结构，用于融合高低层特征信息，通过跨层连接结构，结合了网络浅层的纹理信息，以及深层的语义信息，实现精准的分割任务。Shen等人(2017b)率先将FCN架构应用于多模态的脑肿瘤分割网络，提出了一种基于全卷积网络的对称驱动网络，减少了计算成本，同时提高了脑肿瘤分割的速度和精度。由于FCN分割存在边缘分割不精细问题，为了提高边缘分割精度，Shen等人(2017a)又在原有的FCN架构上进行改进，引入了一种树结构的多任务FCN，可以隐含地编码肿瘤子结构的层次关系，加强各像素上下文关系，这种方法在BraTS 2013测试集中排名第1；为了提高脑肿瘤边缘细节的分割精度，Wang等人(2018)将3个FCN网络级联起来进行脑肿瘤分割，级联设计用于根据子区域层次将多类分割问题分解为3个二元分割问题，与此同时，在这些网络中还采用了残差连接和多尺度预测来提高分割性能；针对一旦网络加深就会在反向传播的时候出现梯度弥散从而导致分割性能下降的问题，Chen等人(2018a)在3D FCN分割网络中引入残差连接块，并整合多模态、多层切片来提高分割性能。

在基于FCN的MRI脑肿瘤分割上更广泛使用的是U-Net网络架构。U-Net是由Ronneberger等人(2015)提出的网络结构, 该结构最初是应用在生物医疗细胞分割领域。U-Net架构采用全卷积网络思想，整体由一个编码器(收缩路径)和一个解码器(扩张路径)组成，形成了一个U型结构，因而被称为U-Net。U-Net中的编码器使用了具有代表性的卷积神经网络操作，用来完成图像的下采样和提取特征，每个下采样模块包括两个卷积层和一个最大池化层。对于每一次下采样操作，特征图的尺寸大小会减半，但相应的通道数会加倍。解码器则主要负责上采样，每一个上采样模块包含一个反卷积层和两个卷积层。同时，反卷积层的结果与相对应的编码器部分的特征图做特征融合，以恢复在下采样过程中所丢失的位置信息。对于每一次上采样操作，恢复的特征图尺寸大小会加倍，特征图的通道数会减半。最后，通过1×1卷积层将64通道特征向量映射到所期望的分类结果，从而对每个像素进行预测。U-Net具有灵活、简单并且在样本数据集较少的情况下能获得很好的分割效果等优点，很快成为医疗影像分割的一类主流方法。

在基于U-Net的MRI脑肿瘤分割网络上，Dong等人(2017)较早将2D U-Net网络用于脑肿瘤分割。为提高网络分割性能，一些更先进的基础网络加入到2D U-Net分割网络中，如Shaikh等人(2018)引入密集连接块、Liu等人(2018)引入空洞卷积细化结构以及Iqbal等人(2018)引入序列积压模块。此外，在加强影像多模态和多尺度信息上，Tseng等人(2017)提出多模态交叉卷积的脑肿瘤分割架构，其在网络中使用编码—解码方式，并采用带卷积的LSTM以保留较长系列的空间信息从而来加强多种模态之间的连接；Kong等人(2018)则提出混合金字塔2D U-Net网络，其采用图像金字塔辅助分割路径用于提取多尺度信息，并有效地将语义和位置信息结合起来。

尽管2D U-Net有着更高的计算效率和对内存容量的要求低，但是它缺乏空间上下文的一致性，为了解决这个限制并且充分利用立体数据中的空间信息，一些研究者开始使用3D卷积进行脑肿瘤分割。Çiçek等人(2016)使用了3D U-Net的网络架构，实现执行动态弹性形变，以在训练期间进行有效的数据增强，从而取得了良好的分割性能；Beers等人(2017)为了更加有效地利用MRI图像中的空间信息，提出了一种基于3D卷积块的U-Net网络架构；Colmeiro等人(2018)在3D U-Net的基础上首先从低分辨率图像中分割整个肿瘤，然后再进行精细组织分割；Erden等人(2017)考虑使用基于Dice损失函数来进行优化网络并解决数据类别不平衡问题。为了进一步提高分割精度；Isensee等人(2018)基于3D U-Net架构，在下采样阶段加入残差连接块，与此同时在上采样阶段加入深度监督模块。为了取得更加精确的分割结果，模型集成思想被引入到脑肿瘤分割网络中，如：Kamnitsas等人(2018)将Deep-Medic、3D FCNs和3D U-Net架构集成，在BraTS 2017上获得比较好的分割性能，而Feng等人(2018)则是将6个具有不同超参数的3D U-Net架构进行集成，实现网络集成分割，提升脑肿瘤分割精度。

同样，在表 4中列举了基于全卷积网络的MRI脑肿瘤分割方法在BraTS系列数据集上性能表现结果。从表 4可以发现，该类方法在完整肿瘤分割上一般均可以获得较好的精度。相对于完整肿瘤分割，该类方法在瘤内子区中的核心肿瘤和增强肿瘤部分的分割上整体要差一些，其主要原因在于核心肿瘤和增强肿瘤部分在整个影像中占据的比例过小，在下采样过程中相应特征并不能很好保留。当然，通过提取多尺度的特征信息、将语义信息和位置信息有效结合等，也可以有效提升全卷积网络对MRI脑肿瘤的分割精度。另外，相比于采用图像块输入的卷积神经网络分割方法，基于全卷积网络的脑肿瘤分割方法使用端对端方式实现了语义级的密集预测，避免了使用图像块方式带来的重复存储和卷积计算问题，在获得有效分割精度同时也明显提高了脑肿瘤分割的效率。

表 4 基于全卷积网络的MRI脑肿瘤分割方法评估结果
Table 4 Evaluation results of MRI brain tumor segmentation methods based on fully convolutional network

下载CSV
方法 数据集 评价指标DSC
完整肿瘤 核心肿瘤 增强肿瘤
Shen等人(2017b) BraTS 2013 0.87 0.82 0.75
Dong等人(2017) BraTS 2015 0.86 0.86 0.65
Shen等人(2017a) BraTS 2015 0.86 0.73 0.73
Iqbal等人(2018) BraTS 2015 0.87 0.86 0.79
Liu等人(2018) BraTS 2015 0.87 0.62 0.68
Tseng等人(2017) BraTS 2015 0.85 0.68 0.69
Wang等人(2018) BraTS 2017 0.79 0.87 0.77
Shaikh等人(2018) BraTS 2017 0.83 0.65 0.65
Kong等人(2018) BraTS 2017 0.92 0.80 0.76
Beers等人(2017) BraTS 2017 0.88 0.73 0.73
Colmeiro等人(2018) BraTS 2017 0.86 0.69 0.66
Isensee等人(2018) BraTS 2017 0.86 0.78 0.65
Kamnitsas等人(2017) BraTS 2017 0.89 0.79 0.73
Feng等人(2018) BraTS 2018 0.91 0.84 0.79

4 基于生成对抗网络的脑肿瘤分割方法

生成对抗网络(GAN)是由Google Brain的研究者Goodfellow等人(2014)提出，其可认为是近年来最具代表性的无监督生成式方法。生成对抗网络由生成器(G)、鉴别器(D)以及真实数据X的训练数据集组成，生成器用来生成逼真的对象(如人或动物照片)，使该生成对象尽量逼近真实对象，从而做到真假难辨；鉴别器则主要用来鉴别生成器所产生的逼真对象和真实对象之间的差异，从而对二者进行区分；在训练过程中，生成器和鉴别器互相交叠，在对抗中不断优化并产生最优结果。生成对抗网络具有通过关注数据的潜在概率密度，找到模型的数据分布的内在优点，克服了一般网络模型过于依赖数据数量及标签的缺点。生成对抗网络与卷积神经网络相比具有一定内在优势，但由于在优化过程中的梯度消失问题，生成对抗网络容易受到网络崩溃和网络不稳定性的困扰，此时网络会把所有不同的输入映射到相同的数据或者导致相同输入产生不同的输出。批处理归一化是解决生成对抗网络不稳定性的一种方法，尽管它不足以使生成对抗网络的性能达到最优的稳定性。然而，作为近年来最具创造性的无监督生成网络，生成对抗网络一经提出就在图像分类和分割等多领域获得了广泛的关注，近年来也被有效迁移到医疗图像分析任务上，其中也包括了MRI脑肿瘤分割问题。表 5列举了基于生成对抗网络的MRI脑肿瘤分割方法在BraTS系列数据集上的性能表现结果。

表 5 基于生成对抗网络的MRI脑肿瘤分割方法评估结果
Table 5 Evaluation results of MRI brain tumor segmentation methods based on generative adversarial network

下载CSV
方法 数据集 评价指标DSC
完整肿瘤 核心肿瘤 增强肿瘤
Xue等人(2018) BraTS 2015 0.85 0.70 0.66
Li等人(2018b) BraTS 2017 0.87 0.72 0.68
Rezaei等人(2018) BraTS 2017 0.70 0.55 0.40
Rezaei等人(2019) BraTS 2018 0.84 0.79 0.63

2016年底，Facebook的Luc等人(2016)首次提出了基于对抗网络的语义分割模型，将分割网络看做生成器来训练网络。在2017年9月的MICCAI分会上，Li等人和Moeskops等人率先尝试将GAN用于MRI脑影像分割。其中，由于基于CNN的方法有效性受到小的感受野的限制，并且分割结果在空间连续性方面表现不佳，于是Li等人(2018b)将生成器网络和鉴别器网络一起训练来减少合成标签和真实标签之间的差异，并通过高阶损失项来增强分割结果的空间连续性；而Moeskops等人(2017)所设计的分割网络由17层完全卷积(顶部)和8层扩张(底部)卷积网络所组成，其在分割网络中加入了空洞卷积，较传统CNN分割模型均有一定性能提升，而分割网络的输出作为鉴别器网络的输入，在训练过程中通过一个额外的损失函数用于生成难以与手动分割所区分的图像且这个额外的损失函数与传统的交叉熵损失函数在训练中一起被优化；Rezaei等人(2018)则基于GAN网络，提出了一种新的端到端可训练的条件生成对抗网络(cGAN)，分割网络由FCN换成了U-Net架构，鉴别器网络采用Markovian GAN(Radford等，2015)，通过反向传播同时训练这两个网络，来达到分割网络和鉴别器网络的优化，从而提升了分割精度。

由于图像分割需要密集的像素级标记，因此经典GAN鉴别器的单个标量实/假输出可能无法为网络产生稳定且充分的梯度反馈，为此Xue等人(2018)在GAN的基础上使用完全卷积神经网络作为分割网络来生成分割标签图，提出了一个多尺度的L1损失函数，迫使鉴别器网络和分割网络通过捕获像素之间的长距离和短距离空间关系来学习全局和局部特征，比U-Net分割方法有更好的性能。另外，Rezaei等人(2019)提出了一种称为voxel-GAN新的对抗网络，主要用于缓解脑肿瘤语义分割中的数据不平衡问题，因为在脑影像中大多数像素属于健康区域而肿瘤或非健康区域比例很小。该方法还引入了3D条件生成对抗网络，基于分割网络和鉴别器网络同时训练新的加权对抗性损失，来减轻脑肿瘤数据不平衡的问题。

基于生成对抗网络的脑肿瘤分割方法采用半监督学习方式，在训练时通过GAN网络进行实时数据增强，使得数据样本得到了有效的扩充，从而会一定程度地减轻脑肿瘤数据样本不平衡的问题，是一种新颖的数据增强方式，通过这种方式又可望增强原有基础网络的分割性能。应当说，GAN网络的出现，为脑肿瘤分割领域提供了一种新的研究思路，从另外一个角度解决了脑肿瘤分割问题中精细标注样本不足的问题。然而，其存在的主要问题仍然是GAN网络训练的网络崩溃和不稳定性问题，其在训练时候很不稳定、容易发生网络崩溃，经常会使得训练过程无法继续进行，甚至还会出现梯度消失的问题导致网络无法收敛，这些都会对网络的性能造成一定的影响。

5 结语

以深度学习为代表的新一代人工智能技术为医疗领域带来了新变革，基于深度学习的MRI脑肿瘤自动分割研究也获得了广泛关注，在深度分割网络架构、全局或局部上下文信息特征提取、多尺度特征融合等多方面都进行了较为深入的探索，较传统脑肿瘤分割方法获得了显著的性能提升，有效推进了自动脑肿瘤分割研究的发展。然而，MRI脑肿瘤自动分割是一项复杂的医学任务，尽管已取得明显性能突破，但现有脑肿瘤图像分割的深度学习方法仍无法在临床脑影像分割上始终取得满意效果，距离广泛的临床应用仍有一定距离，仍然需要进一步的深入探索和研究。

1) MRI脑肿瘤图像分割的深度学习方法取得成功的一个关键因素在于其能够自动提取深层次具有更强表达性与区分性的脑影像特征，从而突破了传统MRI脑分割方法在脑影像特征表达上的瓶颈问题。同时，分割网络对输入脑影像的特征表达能力越强则最终的分割效果也越好，因此将具有高判别能力的特征方法，如近两年新发展起来的注意力机制和高阶统计建模方法等(Hu等，2018；Li等，2019; Li等，2018a)，嵌入到MRI脑肿瘤深度分割网络中，通过加强网络的特征表达能力来提高现有MRI脑肿瘤分割网络的性能，仍然是未来基于深度学习的MRI脑肿瘤分割研究的一个主要研究方向。

2) 当前的MRI脑肿瘤深度分割网络大多依赖于专家标注样本进行训练，而获得大规模专家标注的脑分割样本极其困难，不仅需要花费大量的人力物力，而且进行专家标注其耗时非常长。因此，基于现有较少的专家标记的脑肿瘤数据，利用脑影像自身医学知识(如脑肿瘤的大小、约束信息、位置信息和形状信息等)开展半监督的脑肿瘤分割网络、或者利用生成对抗网络来丰富分割网络的训练标注样本，从而提高脑肿瘤分割网络的分割性能，也将是该领域的一个重要研究方向。

3) 现有MRI脑肿瘤分割网络大多采用图像块或逐像素分类来实施脑肿瘤分割。然而，深度神经网络作为近年来广受关注的变革性方法，已出现许多有效的网络架构，如何将其他视觉任务网络引入到脑肿瘤分割问题中，如利用近年来在自然图像检测任务上出现的高性能检测网络Faster R-CNN(Ren等，2017)和Mask R-CNN(He等，2017)来提高脑肿瘤的定位能力，从而提高脑肿瘤分割网络的性能，是未来可探索的方向。

参考文献

  • Beers A, Chang K, Brown J, Sartor E, Mammen C P, Gerstner E, Rosen B and Kalpathy-Cramer J. 2017. Sequential 3D U-Nets for Biologically-informed brain tumor segmentation[EB/OL].[2019-07-27]. https://arxiv.org/pdf/1709.02967.pdf
  • Ben Naceur M, Saouli R, Akil M, Kachouri R. 2018. Fully automatic brain tumor segmentation using end-to-end incremental deep neural networks in MRI images. Computer Methods and Programs in Biomedicine, 166: 39-49 [DOI:10.1016/j.cmpb.2018.09.007]
  • Casamitjana A, Puch S, Aduriz A and Vilaplana V. 2016. 3D Convolutional Neural Networks for Brain Tumor Segmentation: a comparison of multi-resolution architectures//Proceedings of the 2nd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Athens, Greece: Springer: 150-161[DOI:10.1007/978-3-319-55524-9_15]
  • Chen H, Dou Q, Yu L Q, Qin J, Heng P A. 2018a. VoxResNet:deep voxelwise residual networks for brain segmentation from 3D MR images. NeuroImage, 170: 446-455 [DOI:10.1016/j.neuroimage.2017.04.041]
  • Chen L L, Wu Y, Dsouza A M, Abidin A Z, Wismüller A and Xu C L. 2018b. MRI tumor segmentation with densely connected 3D CNN//Proceedings of SPIE 10571, Medical Imaging 2018: Image Processing. Houston, USA: SPIE: 105741F[DOI:10.1117/12.2293394]
  • Çiçek Ö, Abdulkadir A, Lienkamp S S, Brox T and Ronneberger O. 2016. 3D U-Net: learning dense volumetric segmentation from sparse annotation//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens, Greece: Springer: 424-432[DOI:10.1007/978-3-319-46723-8_49]
  • Colmeiro R G R, Verrastro C A and Grosges T. 2018. Multimodal brain tumor segmentation using 3D convolutional networks//Proceedings of the 3rd International MICCAI Brainlesion Workshop. Quebec City, Canada: Springer: 226-240[DOI:10.1007/978-3-319-75238-9_20]
  • Cui Z P, Yang J and Qiao Y. 2016. Brain MRI segmentation with patch-based CNN approach//Proceedings of the 35th Chinese Control Conference. Chengdu, China: IEEE: 7026-7031[DOI:10.1109/ChiCC.2016.7554465]
  • Deng W K. 2011. A Study on MRI Brain Tumor Segmentation Approach. Wuhan: Huazhong University of Science and Technology (邓万凯. 2011. MRI图像的脑肿瘤分割方法研究. 武汉: 华中科技大学) [DOI:10.7666/d.d201431]
  • Dong H, Yang G, Liu F D, Mo Y H and Guo Y K. 2017. Automatic brain tumor detection and segmentation using U-Net based fully convolutional networks//Proceedings of the 21st Annual Conference on Medical Image Understanding and Analysis. Edinburgh, United Kingdom: Springer: 506-517[DOI:10.1007/978-3-319-60964-5_44]
  • Dvořák P and Menze B. 2016. Local structure prediction with convolutional neural networks for multimodal brain tumor segmentation//Proceedings of International MICCAI Workshop on Medical Computer Vision. Munich, Germany: Springer: 59-71[DOI:10.1007/978-3-319-42016-5_6]
  • Erden B, Gamboa N and Wood S. 2017. 3D convolutional neural network for brain tumor segmentation[EB/OL].[2019-07-27]. http://cs231n.stanford.edu/reports/2017/pdfs/526.pdf
  • Esteva A, Kuprel B, Novoa R A, Ko J, Swetter S M, Blau H M, Thrun S. 2017. Dermatologist-level classification of skin cancer with deep neural networks. Nature, 542(7639): 115-118 [DOI:10.1038/nature21056]
  • Feng X, Tustison N and Meyer C. 2018. Brain tumor segmentation using an ensemble of 3D U-nets and overall survival prediction using radiomic features//Proceedings of the 4th International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Granada, Spain: Springer: 279-288[DOI:10.1007/978-3-030-11726-9_25]
  • Ge T, Mu N, Li L. 2017. A Brain tumor segmentation method based on softmax regression and graph cut. Acta Electronica Sinica, 45(3): 644-649 (葛婷, 牟宁, 李黎. 2017. 基于softmax回归与图割法的脑肿瘤分割算法. 电子学报, 45(3): 644-649) [DOI:10.3969/j.issn.0372-2112.2017.03.021]
  • Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press: 2672-2680
  • Gulshan V, Peng L, Coram M, Stumpe M C, Wu D, Narayanaswamy A, Venugopalan S, Widner K, Madams T, Cuadros J, Kim R, Raman R, Nelson P C, Mega J L, Webster D R. 2016. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA, 316(22): 2402-2410 [DOI:10.1001/jama.2016.17216]
  • Havaei M, Davy A, Warde-Farley D, Biard A, Courville A, Bengio Y, Pal C, Jodoin P M, Larochelle H. 2017. Brain tumor segmentation with deep neural networks. Medical Image Analysis, 35: 18-31 [DOI:10.1016/j.media.2016.05.004]
  • He K M, Gkioxari G, Dollár P and Girshick R. 2017. Mask R-CNN//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 2980-2988[DOI:10.1109/ICCV.2017.322]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 770-778[DOI:10.1109/CVPR.2016.90]
  • Hu J, Shen L and Sun G. 2018. Squeeze-and-excitation networks//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 7132-7141[DOI:10.1109/CVPR.2018.00745]
  • Huang G, Liu Z, Van Der Maaten L and Weinberger K Q. 2017. Densely connected convolutional networks//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu Hawaii, USA: IEEE: 2261-2269[DOI:10.1109/CVPR.2017.243]
  • Hussain S, Anwar S M and Majid M. 2017. Brain tumor segmentation using cascaded deep convolutional neural network//Proceedings of the 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Seogwipo, South Korea: IEEE: 1998-2001[DOI:1109/EMBC.2017.8037243]
  • Iqbal S, Ghani M U, Saba T, Rehman A. 2018. Brain tumor segmentation in multi-spectral MRI using convolutional neural networks (CNN). Microscopy Research and Technique, 81(4): 419-427 [DOI:10.1002/jemt.22994]
  • Isensee F, Kickingereder P, Wick W, Bendszus M and Maier-Hein K H. 2018. Brain tumor segmentation and radiomics survival prediction: contribution to the BRATS 2017 challenge//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 287-297[DOI:10.1007/978-3-319-75238-9_25]
  • Jiang G P, Qin W J, Zhou S J, Wang C M. 2015. State-of-the-art in medical image segmentation. Chinese Journal of Computers, 38(6): 1222-1242 (江贵平, 秦文健, 周寿军, 王昌淼. 2015. 医学图像分割及其发展现状. 计算机学报, 38(6): 1222-1242) [DOI:10.11897/SP.J.1016.2015.01222]
  • Kamnitsas K, Bai W, Ferrante E, McDonagh S, Sinclair M, Pawlowski N, Rajchl M, Lee M, Kainz B, Rueckert D and Glocker B. 2018. Ensembles of multiple models and architectures for robust brain tumour segmentation//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 450-462[DOI:10.1007/978-3-319-75238-9_38]
  • Kamnitsas K, Ferrante E, Parisot S, Ledig C, Nori A V, Criminisi A, Rueckert D and Glocker B. 2016. DeepMedic for brain tumor segmentation//Proceedings of the 2nd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Athens, Greece: Springer: 138-149[DOI:10.1007/978-3-319-55524-9_14]
  • Kamnitsas K, Ledig C, Newcombe V F J, Simpson J P, Kane A D, Menon D K, Rueckert D, Glocker B. 2017. Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation. Medical Image Analysis, 36: 61-78 [DOI:10.1016/j.media.2016.10.004]
  • Kong X M, Sun G X, Wu Q, Liu J and Lin F M. 2018. Hybrid pyramid U-Net model for brain tumor segmentation//Proceedings of the 10th International Conference on Intelligent Information Processing IX. Nanning, China: Springer: 346-355[DOI:10.1007/978-3-030-00828-4_35]
  • Krizhevsky A, Sutskever I and Hinton G E. 2012. Imagenet classification with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe, USA: Curran Associates Inc.: 1097-1105
  • Li P H, Xie J T, Wang Q L and Gao Z L. 2018a. Towards faster training of global covariance pooling networks by iterative matrix square root normalization//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, USA: IEEE: 947-955[DOI:10.1109/CVPR.2018.00105]
  • Li X, Wang W H, Hu X L and Yang J. 2019. Selective kernel networks//Proceedings of the 2019 IEEE Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 510-519
  • Li Z J, Wang Y Y and Yu J H. 2018b. Brain tumor segmentation using an adversarial network//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 123-132[DOI:10.1007/978-3-319-75238-9_11]
  • Lin Y, Tian J. 2002. A survey on medical image segmentation methods. Pattern Recognition and Artificial Intelligence, 15(2): 192-204 (林瑶, 田捷. 2002. 医学图像分割方法综述. 模式识别与人工智能, 15(2): 192-204) [DOI:10.3969/j.issn.1003-6059.2002.02.012]
  • Liu D, Zhang H, Zhao M M, Yu X J, Yao S W and Zhou W. 2018. Brain tumor segmention based on dilated convolution refine networks//Proceedings of the 16th IEEE International Conference on Software Engineering Research, Management and Applications. Kunming, China: IEEE: 113-120[DOI:10.1109/SERA.2018.8477213]
  • Liu Y, Gadepalli K, Norouzi M, Dahl G E, Kohlberger T, Boyko A, Venugopalan S, Timofeev A, Nelson P Q, Corrado G S, Hipp J D, Peng L and Stumpe M C. 2017. Detecting cancer metastases on gigapixel pathology images[EB/OL].[2019-07-27]. https://arxiv.org/pdf/1703.02442.pdf
  • Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 3431-3440[DOI:10.1109/CVPR.2015.7298965]
  • Luc P, Couprie C, Chintala S and Verbeek J. 2016. Semantic segmentation using adversarial networks[EB/OL].[2019-07-27]. https://arxiv.org/pdf/1611.08408.pdf
  • Moeskops P, Veta M, Lafarge M W, Eppenhof K A J and Pluim J P W. 2017. Adversarial training and dilated convolutions for brain MRI segmentation//Proceedings of the 3rd International on Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Québec City, Canada: Springer: 56-64[DOI:10.1007/978-3-319-67558-9_7]
  • Pereira S, Pinto A, Alves V, Silva C A. 2016. Brain tumor segmentation using convolutional neural networks in MRI images. IEEE Transactions on Medical Imaging, 35(5): 1240-1251 [DOI:10.1109/TMI.2016.2538465]
  • Radford A, Metz L and Chintala S. 2015. Unsupervised representation learning with deep convolutional generative adversarial networks[EB/OL].[2019-07-27]. https://arxiv.org/pdf/1511.06434.pdf
  • Randhawa R S, Modi A, Jain P and Warier P. 2016. Improving boundary classification for brain tumor segmentation and longitudinal disease progression//Proceedings of the 2nd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Athens, Greece: Springer: 65-74[DOI:10.1007/978-3-319-55524-9_7]
  • Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN:Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]
  • Rezaei M, Harmuth K, Gierke W, Kellermeier T, Fischer M, Yang H J and Meinel C. 2018. A conditional adversarial network for semantic segmentation of brain tumor//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 241-252[DOI:10.1007/978-3-319-75238-9_21]
  • Rezaei M, Yang H J and Meinel C. 2019. voxel-GAN: adversarial framework for learning imbalanced brain tumor segmentation//Proceedings of the 4th International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Granada, Spain: Springer: 321-333[DOI:10.1007/978-3-030-11726-9_29]
  • Ronneberger O, Fischer P and Brox T. 2015. U-net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241[DOI:10.1007/978-3-319-24574-4_28]
  • Shaikh M, Anand G, Acharya G, Amrutkar A, Alex V and Krishnamurthi G. 2018. Brain tumor segmentation using dense fully convolutional neural network//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 309-319[DOI:10.1007/978-3-319-75238-9_27]
  • Shen H C, Wang R X, Zhang J G and McKenna S. 2017a. Multi-task fully convolutional network for Brain tumour segmentation//Proceedings of the 21st Annual Conference on Medical Image Understanding and Analysis. Edinburgh, United Kingdom: Springer: 239-248[DOI:10.1007/978-3-319-60964-5_21]
  • Shen H C, Zhang J G and Zheng W S. 2017b. Efficient symmetry-driven fully convolutional network for multimodal brain tumor segmentation//Proceedings of 2017 IEEE International Conference on Image Processing. Beijing, China: IEEE: 3864-3868[DOI:10.1109/ICIP.2017.8297006]
  • Simonyan K and Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition[EB/OL].[2019-07-27]. https://arxiv.org/pdf/1409.1556.pdf
  • Soltaninejad M, Zhang L, Lambrou T, Allinson N and Ye X J. 2017. Multimodal MRI brain tumor segmentation using random forests with features learned from fully convolutional neural network[EB/OL].[2019-07-27]. https://arxiv.org/pdf/1704.08134.pdf
  • Tseng K L, Lin Y L, Hsu W and Huang C Y. 2017. Joint sequence learning and cross-modality convolution for 3D biomedical segmentation//Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, Hawaii, USA: IEEE: 3739-3746[DOI:10.1109/CVPR.2017.398]
  • Urban G, Bendszus M, Hamprecht F A and Kleesiek J. 2014. Multi-modal brain tumor segmentation using deep convolutional neural networks//Proceedings of the MICCAI-BraTSs. Boston, USA: [s.n.]: 31-35
  • Wang G T, Li W Q, Ourselin S and Vercauteren T. 2018. Automatic brain tumor segmentation using cascaded anisotropic convolutional neural networks//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 178-190[DOI:10.1007/978-3-319-75238-9_16]
  • Xue Y, Xu T, Zhang H, Long L R, Huang X L. 2018. Segan:adversarial network with multi-scale L1 loss for medical image segmentation. Neuroinformatics, 16(3/4): 383-392 [DOI:10.1007/s12021-018-9377-x]
  • Yu H P, Wu L B. 2011. Brain tumors and brain tumor research progress in image classification. Progress in Modern Biomedicine, 11(22): 4398-4400 (俞海平, 邬立保. 2011. 脑肿瘤及脑肿瘤图像分类的研究进展. 现代生物医学进展, 11(22): 4398-4400) [DOI:10.13241/j.cnki.pmb.2011.22.047]
  • Zhao L Y and Jia K B. 2015. Deep feature learning with discrimination mechanism for brain tumor segmentation and diagnosis//Proceedings of 2015 International Conference on Intelligent Information Hiding and Multimedia Signal Processing. Adelaide, Australia: IEEE: 306-309[DOI:10.1109/IIH-MSP.2015.41]
  • Zhao X M, Wu Y H, Song G D, Li Z Y, Zhang Y Z and Fan Y. 2018a. 3D Brain tumor segmentation through integrating multiple 2D FCNNs//Proceedings of the 3rd International Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Quebec City, Canada: Springer: 191-203[DOI:10.1007/978-3-319-75238-9_17]
  • Zhao X M, Wu Y H, Song G D, Li Z Y, Zhang Y Z, Fan Y. 2018b. A deep learning model integrating FCNNs and CRFs for brain tumor segmentation. Medical Image Analysis, 43: 98-111 [DOI:10.1016/j.media.2017.10.002]
  • Zikic D, Ioannou Y, Brown M and Criminisi A. 2014. Segmentation of brain tumor tissues with convolutional neural networks//Proceedings of the MICCAI-BRATS. Boston, USA: [s.n.]: 36-39