发布时间: 2020-10-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200234
2020 | Volume 25 | Number 10

前沿进展

肝脏肿瘤CT图像深度学习分割方法综述

马金林, 邓媛媛, 马自萍

北方民族大学计算机科学与工程学院, 银川 750021

收稿日期: 2020-05-31; 修回日期: 2020-07-01; 预印本日期: 2020-07-08

基金项目: 国家自然科学基金项目（61462002，61762003）；宁夏自然科学基金项目（2020AAC3215）；国家民委“图像与智能信息处理”创新团队项目；北方民族大学“计算机视觉与虚拟现实”创新团队项目；北方民族大学重大专项（ZDZX201801）

第一作者简介: 马金林, 1976年生, 男, 副教授, 硕士生导师, 主要研究方向为计算机图形学。E-mail:62160@163.com;
邓媛媛, 女, 硕士研究生, 主要研究方向为计算机图形学。E-mail:1365934940@qq.com;
马自萍, 女, 副教授, 硕士生导师, 主要研究方向为计算机图形学。E-mail:maziping@tom.com.

中图法分类号: TP391.7

文献标识码: A

文章编号: 1006-8961(2020)10-2024-23

摘要

肝脏肿瘤的精确分割是肝脏疾病诊断、手术计划和术后评估的重要步骤。计算机断层成像（computed tomography，CT）能够为肝脏肿瘤的诊断和治疗提供更为全面的信息，分担了医生繁重的阅片工作，更好地提高诊断的准确性。但是由于肝脏肿瘤的类型多样复杂，使得分割成为计算机辅助诊断的重难点问题。肝脏肿瘤CT图像的深度学习分割方法较传统的分割方法取得了明显的性能提升，并获得快速的发展。通过综述肝脏肿瘤图像分割领域的相关文献，本文介绍了肝脏肿瘤分割的常用数据库，总结了肝脏肿瘤CT图像的深度学习分割方法：全卷积网络（fully convolutional network，FCN）、U-Net网络和生成对抗网络（generative adversarial network，GAN）方法，重点给出了各类方法的基本思想、网络架构形式、改进方案以及优缺点等，并对这些方法在典型数据集上的性能表现进行了比较。最后，对肝脏肿瘤深度学习分割方法的未来研究趋势进行了展望。

关键词

计算机断层成像(CT); 肝脏肿瘤; 深度学习; 医学图像分割; 全卷积网络(FCN); U-Net; 生成对抗网络(GAN)

Review of deep learning segmentation methods for CT images of liver tumors

Ma Jinlin, Deng Yuanyuan, Ma Ziping

College of Computer Science and Engineering, North Minzu University, Yinchuan 750021, China

Supported by: National Natural Science Foundation of China (61462002, 61762003)

Abstract

Hepatocellular carcinoma is one of the most common malignant tumors of the digestive system in clinic. It ranks third after gastric cancer and lung cancer in the death ranking of malignant tumors. Computed tomography (CT) can well display the organs composed of soft tissue and show the lesions in the abdominal image. It has become a typical method for the diagnosis and treatment of liver diseases. It produces high-quality liver imaging that can provide comprehensive information for the diagnosis and treatment of liver tumors, alleviate the heavy workload of doctors, and have an important value for subsequent diagnosis and treatment. Segmentation of CT images of liver tumors is a crucial step in the diagnosis of liver cancer. In accordance with the maximum diameter, volume, and number of liver lesions, medical workers can give patients accurate diagnosis results and treatment plans conveniently and rapidly. However, the manual three-dimensional segmentation of liver tumors is time consuming and requires substantial work. Therefore, a method for automatically segmenting liver tumors is urgently needed. Many challenges occur in the segmentation of liver tumors. First, the CT image of a liver tumor shows the cross section of the human body, and the contrast of the liver and liver tumor tissue is inconsiderably different from that of the surrounding adjacent tissues (such as the stomach, pancreas, and heart). The segmentation by using grayscale differences is difficult. Second, the individual differences of patients result in diverse sizes and shapes of liver tumors. Third, CT images are susceptible to various external factors, such as noise, partial volume effects, and magnetic field bias. The interference of the shift makes the image blurry. Dealing with the effects of these factors in a timely manner is a great challenge for medical imaging researchers. Accurate segmentation can ensure that clinicians can make wise surgical treatment plans. With the rise of big data and artificial intelligence in recent years, assisted diagnosis of liver cancer based on deep learning has gradually become a popular research topic. Its combination with medicine can realize and predict the condition and assist diagnosis, which has great clinical significance. Segmentation methods for liver tumor CT images based on deep learning have also attracted wide attention in the past few years. From relevant literature in the field of liver tumor image segmentation, this paper mainly summarizes several commonly used segmentation methods for current liver tumor CT images based on deep learning, aiming to provide convenience to related researchers. We comprehensively summarize and analyze the deep learning methods for liver tumor CT images from three aspects: datasets, evaluation indicators and algorithms. First, we introduce common databases of liver tumors and analyze and compare them in terms of year, resolution, number of cases, slice thickness, pixel size, and voxel size to compare the segmentation methods for emerging liver tumors objectively. Second, several important evaluation indicators, such as Dice, relative volume difference, and volumetric overlap error, are also briefly introduced, analyzed, and compared to evaluate the effectiveness of each algorithm in the accuracy of liver tumor segmentation. On the basis of the previous work, we divide the deep learning segmentation methods for CT images of liver tumors into three categories, namely, liver tumor segmentation methods based on fully convolutional network (FCN), U-Net, and generative adversarial network (GAN). The segmentation methods based on FCN can be further divided into two- and three-dimensional methods in accordance with the dimension of the convolution kernel. The segmentation methods based on U-Net are divided into three subcategories, which are methods based on single network, methods based on multinetwork, and methods combined with traditional methods. Similarly, the segmentation methods based on GAN are divided into three subcategories, which are based on network architecture improvements, generator-based improvements, and other methods. The basic ideas, network architecture forms, improvement schemes, advantages, and disadvantages of various methods are emphasized, and the performance of these methods on typical datasets is compared. Lastly, the advantages, disadvantages, and application scope of the three methods are summarized and compared. The future research trends of liver tumor deep learning segmentation methods are analyzed. 1) The use of three-dimensional neural networks and network deepening is a future research direction in this field. 2) The use of multimodal liver images for segmentation and the combination of multiple different deep neural networks to extract deep information of images for improving the accuracy of liver tumor segmentation are also main research directions in this field. 3) To overcome the problem of lack or unavailability of data, some researchers have shifted the supervised field to a semi-supervised or unsupervised field. For example, GAN is combined with other higher-performance networks. This situation can be further studied in the future. In summary, accurate segmentation of liver tumors is a necessary step in liver disease diagnosis, surgical planning, and postoperative evaluation. Deep learning is superior to traditional segmentation methods when segmenting liver tumors, and the obtained images have higher sensitivity and specificity. This study hopes that clinicians can intuitively and clearly observe the anatomical structure of normal and diseased tissues through the increasingly mature liver tumor segmentation technologies. It provides a scientific basis for clinical diagnosis, surgical procedures, and biomedical research. The research and development of medical image segmentation technologies play an important role in the reform of the medical field and have great research value and significance.

Key words

computed tomography(CT); liver tumor; deep learning; medical image segmentation; fully convolutional network(FCN); U-Net; generative adversarial network(GAN)

0 引言

随着计算机技术和人工智能的迅速发展，出现了许多深度神经网络模型，如全卷积网络(fully convolutional network，FCN)、U-Net、SegNet、AlexNet、密集连接网络(DenseNet)、生成对抗网络(generative adversarial network，GAN)(Long等，2015；Ronneberger等，2015；Badrinarayanan等，2017；Krizhevsky等，2012；Huang等，2017；Goodfellow等，2014)等。由于深度学习具有通用性和高效性的特点，往往具有超越传统算法的性能，被应用于医学图像处理等众多领域。Hua等人(2015)将深度置信网络(deep belief network，DBN)和卷积神经网络(convolutional neural networks，CNN)用于肺结节良恶性分类研究；Nie等人(2016)将FCN用于脑肿瘤分割；Liu等人(2015)将深度多项式网络(deep polynomial network，DPN)用于乳腺癌的诊断。基于深度学习的肝脏肿瘤CT(computed tomography)图像分割也得到了广泛关注，2007年起，国际医学图像计算和计算机辅助干预协会(Medical Image Computing and Computer Assisted Intervention Society，MICCAI)连续发起了肝癌病理图像分割竞赛。2017年, 全球肝脏肿瘤CT图像分割(liver tumor segmentation，LiTS) (Bilic等，2019)挑战大赛，极大程度地推动了基于深度学习的肝脏肿瘤CT图像分割研究进展。相比于传统的分割方法利用图像的灰度、形状、结构和纹理信息，手工提取肝脏和肿瘤特征，基于深度学习的分割方法可以从训练样本中自动获取肝脏肿瘤CT图像的特征信息。

肝脏肿瘤CT图像分割方法大多采用有监督的深度学习算法，因为有监督网络在训练中充分利用标记样本数据，可以获得更加精确的分割结果。此外，由于精确标注的医疗样本图像非常少，研究者们开展了基于半监督和无监督的肝脏肿瘤CT图像分割算法的研究，通过生成式模型对少量样本进行训练，生成类似的样本，以此来提高肝脏肿瘤分割的精确性与鲁棒性。

本文主要对肝脏肿瘤CT图像的深度学习分割方法进行总结和分析，按照分割网络的形式可划分为：基于FCN、基于U-Net和基于GAN网络3类分割方法。本文分别给出分割方法的基本思想、网络基本结构、实验结果及其优缺点总结等；并对典型方法在分割中的性能进行了比较；最后，对肝脏肿瘤CT图像分割的深度学习方法的未来发展方向进行展望。

1 相关数据集及评价指标

1.1 相关数据集

为推进医学图像分割的进展，并且对不断涌现的肝脏肿瘤分割方法进行客观比较，目前常用的数据集除MICCAI发布的LiTS数据集外，还包括3DIRCADb(3D image reconstruction for comparison of algorithm database)(Ircad France等，2020)、MICCAI-sliver07(Heimann等，2007)、MICCAI 2015(Landman等，2015)、Codala(Liu等，2019)、TCGA-LIHC(The Cancer Genome Atlas Liver Hepatocellular Carcinoma)(Clark等，2013；Kriby和Jarosz，2000和Midas(Cleary，2007)，以及一些研究者使用的内部数据集。

LiTS数据集(图 1)包括来自6个不同临床站点的130个对比增强的3D腹部CT扫描图像，其中130个病例用于训练，其余70个用于测试。CT扫描附带由训练有素的放射科医生对肝脏和肿瘤所做的参考注释。数据集包含908个病灶。数据集在图像质量、空间分辨率和视觉方面存在显著差异，平面内分辨率为0.6 mm×0.6 mm~1.0 mm×1.0 mm，切片厚度(层间距)为0.45~6.0 mm，所有扫描的轴向切片尺寸固定为512×512像素，但每次扫描的切片数量为42~1 026张不等。

图 1 LiTS数据集肝脏肿瘤影像示例

Fig. 1 Examples of liver tumor images in the LiTS dataset

3DIRCADb数据集(图 2)包括几组患者的匿名医学图像，由临床专家对各种感兴趣的结构进行人工分割，包含3DIRCADb-01和3DIRCADb-02。3DIRCADb-01数据集来自不同欧洲医院的10名女性和10名男性，其中75 %的病例患有肝脏肿瘤。3DIRCADb-02数据集由两个匿名的3D CT扫描组成。图像分辨率为512×512像素，尺寸为[16.3~24.9, 12.0~18.6, 11.0~20.2]cm，其中15幅图像包含肝脏内的肝脏肿瘤，肿瘤数量从1~46个不等。体素尺寸为[0.56~0.87, 0.56~0.87, 1.6~4.0]mm³。

图 2 3DIRCADb数据集肝脏肿瘤影像示例

Fig. 2 Examples of liver tumor images in the 3DIRCADb dataset

MICCAI-sliver07数据库(图 3)包括20例训练数据和10例测试数据，可通过MICCAI 2007肝脏挑战(Heimann等，2009)获得。该图像数据库提供训练数据的标注数据(ground truth)分割(人工专家注释)，切片分辨率为512×512像素，数量为64~502幅。层间距为0.7 mm~5 mm，切片厚度为0.56 mm×0.56 mm~0.86 mm×0.86 mm。

图 3 MICCAI-SLiver07测试数据中patient #6的显示图示例

Fig. 3 Example of the coronal, sagittal, and axial planes of patient # 6 in the MICCAI-SLiver07 test data

((a) transverse plane; (b) coronal plane; (c) sagittal plane; (d) data of patient #6)

MICCAI 2015训练集由扫描30次的3 631个切片组成，并带有相应的标注数据分割。该数据集有512×512×85~512×512×198像素在门静脉对比期采集的体素。Codalab数据集包含131幅对比增强图像，图像分辨率为512×512像素。Codalab的测试集中每个CT图像的体素大小间隔为0.64~0.84 mm。TCGA-LIHC由美国国家癌症和肿瘤研究所(National Cancer Institute，NCI)和国家人类基因组研究所(National Human Genome Research Institute，NHGRI)于2006年联合启动，包含1 688例患者的案例。MIDAS中多数病例是病理性的，由5位不同的放射线医师进行分割，涉及转移性囊肿和不同大小的肿瘤，所有病例的图像分辨率均为512×512像素。

大量研究者使用内部数据集来验证分割性能，Drozdzal等人(2018)使用的数据集包含135个腹部增强CT，图像分辨率是512×512像素，每个像素大小为0.53~1.25 mm，切片厚度为0.5~5.01 mm，每个像素的灰度值在[3 000，13 500]内，每个图像有对应的标注数据分割，其中58个图像有对应的肿瘤部分的标注。Sheba(Frid-Adar等，2018)来自2009—2014年期间的医疗数据，包含182个门静脉期2D CT扫描：53个囊肿，64个转移灶，65个血管瘤。所有切片大小为512×512像素，每个像素大小在0.71~1.17 mm之间，切片厚度在1.25~5 mm之间。Roth等人(2018)使用的数据集包括331幅用于术前计划的门静脉期腹部临床CT对比增强图像。测试集的CT图像由460~1 177个512×512像素的切片组成，体素尺寸为[0.59~0.98, 0.59~0.98, 0.5~1.0]mm³。训练集的CT图像由263~1 061个512×512像素的切片组成，体素尺寸为[0.55~0.82, 0.55~0.82, 0.4~0.80]mm³。还有Sun等人(2017)使用的数据集由吉林大学第一医院的两名放射科医生标记。通过在GE高速CT机上获得多相CT图像。各数据集基本情况见表 1。

表 1 肝脏肿瘤分割任务中常用数据库
Table 1 Databases in liver tumor segmentation tasks

下载CSV

数据库	年份	分辨率/像素	数量	病例数					切片厚度/mm	像素大小/mm	体素尺寸/mm
数据库	年份	分辨率/像素	数量	训练集	测试集	验证集	静脉期	动脉期	切片厚度/mm	像素大小/mm	体素尺寸/mm
LiTS2017	2017	512×512	130组	130组	70组	—	—	—	—	0.45~6	[0.56~0.87, 0.56~0.87, 1.6~4.0]
3DIRCADb	—	512×512	22组	20组	2组	—	22组	—	0.64~5.02	—	—
MICCAI-sliver07	2007	512×512	30组	20组	10组	—	30组	—	0.56×0.56~ 0.86×0.86	0.7 ~ 5	—
MICCAI 2015	2015	512×512	3 631张切片	—	—	—	—	—	—	—	—
Codalab	—	512×512	131张切片	111张	20张	—	—	—	—	0.64~0.84	—
TCGA-LIHC	2009	512×512	1 688张切片	—	—	—	—	—	—	—	—
MIDAS	2007	512×512	4组	—	—	—	—	—	0.64~5.02	—	—
Drozdzal	—	512×512	135张切片	77张	30张	28张	—	—	0.5~5.01	0.53~1.25	—
HolgerR	—	512×512	331张切片	263~ 1 061张	460~ 1 177张	—	331张	—	—	—	测试集[0.59~ 0.98, 0.59~0.98, 0.5~1.0]/训练集[0.55~0.82, 0.55~0.82, 0.4~0.80]
Sheba	2009	512×512	20组	—	—	—	—	—	1.25~5	0.71~1.17	[0.59~0.98, 0.59~0.98, 0.5~1.0]
注：“—”代表无数据。

1.2 评价指标

为了评估各个模型在肝脏肿瘤分割准确性方面的有效性，常用以下几种评价指标(表 2)：DICE系数(Dice similarity coefficient，DSC)(Dice，1945)、Jaccard系数(Jaccard，1912)、VOE(volumetric overlap error)、ASD(average symmetric surface distance，也被称为ASSD、AvgD)、RMSD(root mean square symmetric surface distance)、MSSD(maximum symmetric surface distance，也称为MSSD、MaxD)、RVD(relative volume difference，也称为VD)。还有一些指标：过分割率(false positive rate，FPR)、欠分割率(false negative rate，FNR)、灵敏度(true positive rate，TPR)、特异度(true negative rate，TNR)、准确率(accuracy)，但由于对片段大小的敏感性，作为医学图像分割的评价方法并不常见。为了方便描述，各变量定义为：$P $和$ N$代表模型的判断结果，$T $和$ F$评价模型的判断结果是否正确，$ \mathit{\boldsymbol{FP}}$代表假正例，$\mathit{\boldsymbol{FN}} $代表假负例，$ \mathit{\boldsymbol{TP}}$代表真正例，$\mathit{\boldsymbol{TP}} $代表真负例，$ \mathit{\boldsymbol{A}}$表示含有理论分割结果的图像，用来和结果图像进行比较，$ \mathit{\boldsymbol{B}}$表示预测的分割结果。它们之间的关系如图 4所示。

表 2 评价指标
Table 2 Evaluation index

下载CSV

指标名称	指标别名	作用	取值范围	使用频率	单位
DICE	—	分割结果与标记之间的重复率	[0, 1]	常用	%
Jaccard系数	杰卡德系数	分割结果与标记之间的相似性与差异性	[0, 1]	常用	%
VOE	错误率	分割结果与实际分割结果的重叠度，代表错误率	[0, 1]	一般	%
RVD、VD	体素相对误差	分割结果与标记之间体积之间的差异	可负可正	一般	%
ASD、ASSD、AvgD	对称位置的平均表面距离	分割结果与标记之间对称位置的平均表面距离	正数	一般	mm
MSD、MSSD、MaxD	对称位置的最大表面距离	分割结果与标记之间的对称位置的最大表面距离	正数	一般	mm
RMSD	对称位置表面距离的均方根	分割结果与标记之间的对称位置表面距离的均方根	正数	一般	mm
FPR	过分割率	所有反类中，有多少被预测成正类(正类预测错误)	[0, 1]	较少	%
FNR	欠分割率	所有正类中，有多少被预测成反类(反类预测错误)	[0, 1]	较少	%
TPR	真正例率，召回率，灵敏性	所有正类中，有多少被预测成正类(正类预测正确)	[0, 1]	较少	%
TNR	特异度	所有反类中，有多少被预测成反类(反类预测正确)	[0, 1]	较少	%
Accuracy	准确率	预测对的正例占预测出的所有正例样本	[0, 1]	较少	%
注：“—”代表无内容。

图 4 评价指标相关概念

Fig. 4 Concepts related to evaluation indicators

1) DICE系数也称为重叠指数，是验证医学图像分割最常用的指标，通常表示分割结果与标记之间的重复率。DICE的取值范围是0~1，0表示实验分割结果与标记结果发生严重偏离，1则表示实验分割结果与标记结果完全重合。公式为

$ Dice = {\rm{ }}\frac{{2{\rm{ }}\left| {\mathit{\boldsymbol{A}}{\rm{ }} \cap {\rm{ }}\mathit{\boldsymbol{B}}} \right|{\rm{ }}}}{{\left| \mathit{\boldsymbol{A}} \right|{\rm{ }} + {\rm{ }}\left| \mathit{\boldsymbol{B}} \right|}}{\rm{ }} = {\rm{ }}\frac{{2{\rm{ }}\mathit{\boldsymbol{TP}}}}{{2\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{FP}} + \mathit{\boldsymbol{FN}}}}{\rm{ }} $

(1)

2) Jaccard(杰卡德系数)，表示分割结果与标记之间的相似性与差异性，系数越大，样本相似度越高，且Jaccard系数和DICE系数是相关的，公式为

$ JAC = {\rm{ }}\frac{{\left| {\mathit{\boldsymbol{A}}{\rm{ }} \cap {\rm{ }}\mathit{\boldsymbol{B}}} \right|}}{{\left| {\mathit{\boldsymbol{A}}{\rm{ }} \cup {\rm{ }}\mathit{\boldsymbol{B}}} \right|}}{\rm{ }} = {\rm{ }}\frac{{\mathit{\boldsymbol{TP}}}}{{\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{FP}} + \mathit{\boldsymbol{FN}}}}{\rm{ }} = {\rm{ }}\frac{{Dice}}{{2 - Dice}}{\rm{ }} $

(2)

3) VOE表示错误率，由Jaccard导出。单位为%，值为0 %表示完全分割。若分割结果与标记之间完全不重叠，则该值为100 %。公式为

$ VOE = 1 - {\rm{ }}\frac{{\left| {\mathit{\boldsymbol{A}}{\rm{ }} \cap {\rm{ }}\mathit{\boldsymbol{B}}} \right|}}{{\left| {\mathit{\boldsymbol{A}}{\rm{ }} \cup \mathit{\boldsymbol{ B}}} \right|}}{\rm{ }} = 1 - {\rm{ }}\frac{{\mathit{\boldsymbol{TP}}}}{{\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{FP}} + \mathit{\boldsymbol{FN}}}}{\rm{ }} $

(3)

4) RVD表示分割结果与标记之间体积的差异，单位是%，值为0 %表示分割结果与标记之间的体积相同。其公式为

$ RVD = {\rm{ }}\frac{{\left| \mathit{\boldsymbol{B}} \right|{\rm{ }} - {\rm{ }}\left| \mathit{\boldsymbol{A}} \right|{\rm{ }}}}{{\left| \mathit{\boldsymbol{A}} \right|}}{\rm{ }} = {\rm{ }}\frac{{\mathit{\boldsymbol{FP}}}}{{\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{FN}}}}{\rm{ }} $

(4)

5) ASD表示分割结果与标记之间对称位置的平均表面距离，单位是mm，其中0 mm表示完美分割。其公式为

$ \begin{array}{*{20}{c}} {ASD = \frac{1}{{\left| {S\left( {\bf{A}} \right)} \right| + \left| {S\left( {\bf{B}} \right)} \right|}} \times }\\ {(\sum\limits_{{s_A} \in S\left( A \right)} {d({s_A},S\left( {\bf{B}} \right))} + \sum\limits_{{s_B} \in S\left( B \right)} {d({s_B},S\left( {\bf{A}} \right)))} } \end{array} $

(5)

式中，${S\left({{\rm{ }}\mathit{\boldsymbol{A }}} \right)} $代表$\mathit{\boldsymbol{A}} $集合中的表面体素，${d({s_B}, S\left({{\rm{ }}\mathit{\boldsymbol{A }}} \right))} $表示任意体素到${S\left({{\rm{ }}\mathit{\boldsymbol{A }}} \right)} $的最短距离。

$ d\left({vS\left({{\rm{ }}\mathit{\boldsymbol{A}}{\rm{ }}} \right)} \right) = \mathop {{\rm{min}}}\limits_{{s_A} \in S\left({{\rm{ }}A{\rm{ }}} \right)} {\rm{}}d(v{s_A}) $

(6)

6) MSSD和ASD的概念类似，中文名称为豪斯多夫距离。表示分割结果与标记之间的对称位置的最大表面距离，单位是mm，根据最大欧几里德距离计算，其中0 mm代表完美的分割。其公式为

$ \begin{array}{*{20}{c}} {MSD = }\\ {{\rm{max}}(\mathop {{\rm{max}}}\limits_{{s_A} \in S\left({{\rm{ }}A{\rm{ }}} \right)} d({s_A}, S\left({\mathit{\boldsymbol{ B }}} \right)), \mathop {{\rm{max}}}\limits_{{s_B} \in S\left({{\rm{ }}B{\rm{ }}} \right)} {\rm{ }}d({s_B}, S\left({{\rm{ }}\mathit{\boldsymbol{A}}{\rm{ }}} \right)))} \end{array} $

(7)

7) RMSD表示分割结果与标记之间的对称位置表面距离的均方根，单位为mm，其计算过程与ASD相似，只需计算均方误差。公式为

$ \begin{array}{*{20}{c}} {RMSD = \sqrt {\frac{1}{{\left| {S\left( {\bf{A}} \right)} \right| + \left| {S\left( {\bf{B}} \right)} \right|}}} \times }\\ {\sqrt {(\sum\limits_{{s_A} \in S\left( A \right)} {{d^2}({s_A},S\left( {\bf{B}} \right))} + \sum\limits_{{s_B} \in S\left( B \right)} {{d^2}({s_B},S\left( {\bf{A}} \right)))} } } \end{array} $

(8)

8) 过分割率，即分割在$ \mathit{\boldsymbol{A}}$图像参考面积之外的像素点的比例。公式为

$ FPR = {\rm{ }}\frac{{\mathit{\boldsymbol{FP}}}}{{\mathit{\boldsymbol{A}}{\rm{ }} \cup {\rm{ }}\mathit{\boldsymbol{B}}}}{\rm{ }} $

(9)

9) 欠分割率，即分割在$ \mathit{\boldsymbol{A}}$图像参考面积之中欠缺的像素点的比例。公式为

$ FNR = {\rm{ }}\frac{{\mathit{\boldsymbol{FN}}}}{{{\rm{ }}\mathit{\boldsymbol{A}}{\rm{ }} \cup {\rm{ }}\mathit{\boldsymbol{B}}}} $

(10)

10) 灵敏度，即实际是感兴趣区域的像素点正确地判断为感兴趣区域像素的比例，其衡量的是分割实验中能分割感兴趣区域的能力。公式为

$ Sen = Recall = TPR = {\rm{ }}\frac{{\mathit{\boldsymbol{TP}}}}{{\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{FN}}}}{\rm{ }} $

(11)

11) 特异度，即实际不是感兴趣区域的像素点正确地判断为不是感兴趣区域像素的比例，其衡量的是分割实验中能正确判断不是感兴趣区域像素点的能力。公式为

$ Spe = TNR = {\rm{ }}\frac{{\mathit{\boldsymbol{TN}}}}{{\mathit{\boldsymbol{TN}} + \mathit{\boldsymbol{FP}}}}\mathit{\boldsymbol{ }} $

(12)

准确率，即正确的数据占总数据的比例。公式为

$ Acc = {\rm{ }}\frac{{\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{TN}}}}{{\mathit{\boldsymbol{TP}} + \mathit{\boldsymbol{TN}} + \mathit{\boldsymbol{FP}} + \mathit{\boldsymbol{FN}}}}\mathit{\boldsymbol{ }} $

(13)

2 基于FCN网络的肝脏肿瘤CT图像分割方法

针对CNN存在的只能提取局部特征的问题，Long等人(2015)提出FCN进行图像分割。该网络试图从抽象特征中恢复出每个像素的类别，即从图像级分类延伸到像素级分类，从而解决了语义级别的图像分割问题，是许多先进语义分割模型的核心组件(Chen等，2017；Yu和Koltun，2015)。基于FCN网络的肝脏肿瘤CT图像的分割方法主要基于编码—解码的思想设计，实际对图像进行像素级分类和有监督预训练，可以接受任意大小的输入图像，通过有效推理和学习产生相同大小的输出。典型的基于FCN网络的肝脏肿瘤CT图像分割架构如图 5所示。

图 5 基于全卷积网络的肝脏肿瘤CT图像分割方法基本架构

Fig. 5 Basic architecture of CT image segmentation of liver tumors based on full convolutional network

FCN在CNN的基础上进行了改进，将传统CNN中的最后3个全连接层转化为3个卷积层。FCN网络的成功很大程度上归功于CNN网络出色的提取层次表示的能力，在具体实施过程中，该网络通过卷积—反卷积操作进行下采样—上采样来实现肝脏肿瘤的分割，下采样路径由卷积层和最大或平均池化层组成，可以提取高层次的语义信息，但其空间分辨率往往较低。上采样路径由卷积和反卷积层(也称为转置卷积)组成，利用下采样路径的输出在像素级预测每个类的分数。但是，经过反卷积等操作输出的图像实际是很粗糙的，丢失了很多细节，由此FCN网络提出了跳跃结构，在进行分类预测时将来自深层(粗层)的语义信息和来自浅层(细层)的外观信息结合起来，实现更加精确和鲁棒的分割结果。FCN作为深度神经网络的一种，已经在许多具有挑战性的医学图像分割任务上表现出了很好的性能，其中包括对肝脏肿瘤的分割。根据卷积核的维数可将肝脏肿瘤的分割方法划分为2维和3维方法。

2.1 基于2D FCN的肝脏肿瘤CT图像分割方法

FCN网络最大的创新点在于使用了跳跃结构，用于融合高低层特征信息，通过跨层连接结构，结合网络浅层的纹理信息以及深层的语义信息，实现精准的分割任务。Chlebus等人(2018)在原有的FCN框架基础上进行改进，引用了降低(增加)空间分辨率的方法，与此同时，对最终的输出结果采用3D条件随机场(conditional random field，CRF)模型(Krähenbühl和Koltun，2012)进行细化以提升最终精度；深层的网络结构会导致训练精度下降的问题，Bi等(2017)利用残差网络(fesidual neural network，ResNet)(He等，2016)的优点，通过多尺度融合的级联方式，逐步了解和推断肝脏和肝脏病变的边界。第1个ResNet生成肝脏与肿瘤的概率图，第2个ResNet预测最终结果，进一步提高了分割结果的准确率。Bellver等人(2017)调整DRIU(deep retinal image understanding)(Maninis等，2016)来完成从CT扫描中分割肝脏及其肿瘤的任务。DRIU是一个完全卷积网络(FCN)，它具有在不同卷积阶段进行监督的侧面输出。使用网络输入处的体积信息，并利用肝脏分割预测来分割病变，从而得到细分网络可以实现的精细定位和探测器学习的一般化之间的权衡。Sun等人(2017)设计了一种多通道全卷积网络(multi-channel fully convolutional network，MC-FCN)从增强的CT图像中分割肝脏肿瘤。由于3个增强阶段(PV(portal venous)、ART(arterial)和DL(delayed))的数据都提供了关于肿瘤病理特征的独特信息的成像特点，通过多个通道中对CT图像的不同增强阶段进行训练，融合不同增强阶段的高级特征，提高网络精度。Kaluva等人(2018)使用DenseNet独立训练肝脏和肿瘤的分割模型，肝脏模型通过在CT图像中精确定位肝脏区域来辅助肿瘤模型，从而产生肝脏和肿瘤的联合分割，以此提高分割精度。与Kaluva方法类似，Yuan(2017)使用了类似结构，使用深度卷积—反卷积神经网络(convolutional-deconvolutional neural networks，CDNN)(Long等，2015；Noh等，2015；Yuan等，2017)的分割框架，它将卷积过程扩展到整个图像，并对分割掩码进行整体预测。具体步骤：首先，训练一个简单的CDNN模型快速获得肝脏粗分割，然后，由一个更深的具有双重特征的CDNN模型进行肝脏细分割，最后，通过直方图均衡化增强分割后的肝脏区域，作为第3个CDNN的输入，用于肿瘤分割。相比DenseNet算法，此方法有较少的预处理和后处理工作。

上述的2D FCN分割方法只适用于单个2D切片，但是由于医学图像的特殊性，使用2维的分割方法没有利用CT图像3维空间信息，很难捕捉它们之间的相关性，影响了分割结果的准确性。为了解决这些问题，一些研究者使用相邻切片作为网络的输入，在减少内存消耗的同时，又充分利用了图像的3D空间信息。如：Ben-Cohen等人(2016)使用FCN的VGG16(visual geometry group 16-layer net)(Simonyan和Zisserman，2014)架构进行肝脏分割和病变检测，网络丢弃了VGG16的最后一个分类器层，将所有全连接的层转换为卷积层。在每个输出位置加一个两通道卷积来预测肝脏或病变的概率。并且将输入图像修改为3个CT切片：相关切片和两个相邻切片(上、下)，充分利用CT图像的3维信息；Wang等人(2018)将训练在肝脏肿瘤CT图像的3个不同平面裁剪切片(横切面、冠状面、矢状面)的2维FCN融合，能够有效地利用3维增强CT图像的空间信息，还可以避免3维卷积网络的巨大计算复杂度。Delmoral等人(2019)引用扩展模块，将特征图与更丰富的上下文信息连接起来，从而改善CT肝组织的分割结果。这使得模型的解码器模块有了更强的能力来分析肝脏更多的内部像素区域，并通过不同的扩张卷积层提供额外的上下文信息。为了充分利用不同肿瘤区域之间的空间信息，Pang等人(2020)提出了一种新的肝脏肿瘤分割框架，该网络框架可以对局部连接的特征图进行全局上下文聚合，然后将全局相关性嵌入局部特征中，进一步增强肿瘤区域之间的相关性，增强肝脏肿瘤的分割性能。并且，该框架可以无缝集成到任何基于FCNs或U-Net的体系结构中。以上方法尽管采用了相邻切片，还不足以充分利用所有3维空间的相关性，比如图像Z轴的信息。在复杂的神经网络中训练3D图像数据非常耗时，并且需要很高的计算资源，为了解决上述问题，Meng等人(2020)提出了3维双径多尺度卷积神经网络，该方法将局部特征与背景的全局上下文信息融合，直接处理3维医学数据获得3维空间信息，大大加快了训练速度。最后，为了细化分割结果，使用3D CRF(conditional random field)去除了分割结果中的错误分割点。表 3和表 4是使用2D FCN模型实现肝脏和肿瘤的分割性能结果。

表 3 2D FCN的肝脏分割评估结果
Table 3 Liver segmentation evalution results of 2D FCN

下载CSV

方法	数据集	DICE	SE	VOE	RVD	ASD/mm	RMSD/mm	MSSD/mm
Sun等人(2017)	3DIRCAb和JDRD	—	—	0.156±0.043	0.058±0.035	2.0±0.9	2.9±1.5	7.1±6.2
Sun等人(2017)	3DIRCAb和JDRD	—	—	0.081±0.045	0.017±0.01	1.5±0.7	2.0±1.02	5.2±6.4
Chlebus等人(2018)	LiTS2017	0.58 ± 0.36	—	—	—	—	—	—
Kaluva等人(2018)	LiTS2017	0.912	—	0.15	-0.008	6.456	9.682	45.928
Yuan等人(2017)	LiTS2017	0.963 0	—	0.071	-0.01	1.104	2.303	23.847
Ben-Cohen等人(2016)	Sheba Medical Center	0.89	0.86	—	—	—	—	—
Delmoral等人(2019)	LiTS2017	0.955 7	0.96	—	—	—	—	—
Wang等人(2018)	3DIRCAb	—	—	0.067	0.035	0.7	—	6.5
Meng等人(2020)	LiTS2017	0.965	—	—	—	0.197	—	—
注：“—”代表无数据。

表 4 2D FCN的肿瘤分割评估结果
Table 4 Tumor segmentation evaluation results of 2D FCN

下载CSV

方法	数据集	DICE	SE	VOE	RVD	ASD/mm	RMSD/mm	MSSD/mm
Kaluva等人(2018)	LiTS2017	0.725 0	—	0.411	19.705	1.441	2.07	7.515
Yuan等人(2017)	LiTS2017	0.657 0	—	0.378	0.288	1.151	1.678	6.269
Delmoral等人(2019)	LiTS2017	0.593 6	0.50	—	—	—	—	—
Pang等人(2020)	LiTS2017	0.821 6	—	—	—	—	—	—
Wang等(2018)	3DIRCAb	—	—	0.133	0.063	1.8	—	7.5
Meng等人(2020)	LiTS2017	0.689 0	—	—	—	1.07	—	—
注：“—”代表无数据。

2.2 基于3D FCN的肝脏肿瘤CT图像分割方法

FCN的提出使得端到端方式训练像素级分割模型成为可能。3D卷积和GPU性能的提高使其应用于3D医学图像处理成为可能。采用3D网络的分割方法，可以更好地利用肝脏肿瘤CT图像的3D特性，从而有效提升肝脏肿瘤的分割精度。如：Lu等人(2017)采用3D FCN同时进行肝脏和肿瘤的分割，该模型采用3×3×3大小的卷积核，并使用图割法(Li等，2015)对初始分割结果进行细化；为了实现高效的端到端学习和推理，Dou等人(2016)采用具有全卷积架构的3维深度监督网络(3D deeply-dupervised nets，3D DSN)(Lee等，2014)分割肝脏，在学习过程中引入深度监督机制, 以克服潜在的优化困难, 从而帮助模型获得更快的收敛速度和更强的识别能力。最后使用3D CRF进一步细化分割结果。为了更高效地进行特征提取和融合，提升高分辨率的性能，Jiang等人(2019)使用多个注意力混合连接块(attention hybrid connection blocks，AHCBlocks)，结合了软、硬注意机制(Zhu等，2019)和长、短跳跃连接, 证明了注意机制在医学图像中分割小器官或肿瘤的重要性。该方法首次将软注意机制与CNN相结合应用于肝脏和肿瘤的分割，并产生了有竞争力的结果。以上分割方法会导致特别小的器官和血管边界分割不准确，为了克服这个限制，Roth等人(2018)将3D FCN以级联的方式应用于肝脏肿瘤分割，这是一种由粗到精的方法，首先使用3D FCN定义大致的候选区域，再将该候选区域输入第2个3D FCN，更侧重于边界的区域。Rafiei等人(2018)将2D FCN和3D FCN结合起来进行肝脏和肿瘤分割，3维编码用于捕获3维表面，最后利用3D CRF模型增强网络在肝脏器官边界上的结果。这样简化了训练过程, 减少了内存消耗。表 5是3D FCN在肝脏分割上的性能表现。

表 5 3D FCN的肝脏分割评估结果
Table 5 Live segmentation evaluation results of 3D FCN

下载CSV

方法	数据集	DICE	SE	VOE/%	RVD/%	ASD/mm	RMSD/mm	MSSD/mm
Roth等人(2018)	331张临床CT图像	0.954±0.02	—	—	—	—	—	—
Lu等人(2017)	MICCAI-SLiver07和3DIRCAb	—	—	5.90	2.70	0.91	1.88	18.94
Lu等人(2017)	MICCAI-SLiver07和3DIRCAb	—	—	9.36±3.34	0.97±3.26	1.89±1.08	4.15±3.16	33.14±16.36
Dou等人(2016)	MICCAI-SLiver07	—	—	5.42	1.75	—	1.64	—
Jiang等人(2019)	3DIRCAb	0.953	—	—	—	—	—	—
Rafiei等人(2018)	MICCAI 2015	0.9352	—	—	—	—	—	—
注：“—”代表无数据。

综上，基于FCN的肝脏肿瘤CT图像分割方法使用端到端方式实现语义级的密集预测和有监督学习预训练。无需考虑输入的尺寸，将深的粗糙的信息与浅的精细的信息相结合，在获得有效分割精度的同时明显提高了肝脏肿瘤的分割效率。尽管FCN意义重大，效果优异，但是FCN本身仍然有许多局限：对肝脏图像中的细节不敏感，通过上采样得到的结果比较模糊和平滑；对各个像素进行独立分类，没有充分考虑像素与像素之间的关系；为了解决这一问题，采用CRF算法或图割法对FCN输出的分割结果进行改进，进一步优化分割结果。并且随着基本网络(如VGG，ResNet等)性能的提升而不断进步，其全新的思路开辟了一个新的图像分割方向，后续提出的基于编解码结构的图像分割网络大多是从FCN上发展、改进而来。

3 基于U-Net网络的肝脏肿瘤CT图像分割方法

在计算机视觉领域，FCN是较有名的图像分割网络，在医学图像处理方向，U-Net也是热门网络，U-Net比FCN稍晚，由Ronneberger等人(2015)提出，文献修改并扩张了FCN网路，使它在使用少量的数据进行训练的情况下获得精确的分割结果。和FCN相比，U-Net结构是完全对称的，包括收缩路径和扩张路径。收缩路径用来提取特征，扩张路径是上采样部分，每进行一次上采样，就和特征提取部分对应的通道数相同尺度融合，而FCN的上采样部分相对简单，只用了一个反卷积操作，之后并没有跟上卷积结构。而在跳跃连接部分(skip connection)，FCN使用加操作(summation)，U-Net使用叠操作(concatenation)。

深度学习用于医学影像处理的一个挑战在于，提供的样本往往比较少，而U-Net则在这个限制下依然有很好的表现。U-Net作为一个图像语义分割网络，提出时主要用于对医学图像进行处理。U-Net网络是一个基于CNN的图像分割网络，主要用于医学图像分割，最初提出时被用于细胞壁的分割，之后在肺结节检测以及眼底视网膜上的血管提取等方面都有出色的表现。其中包括肝脏肿瘤病灶CT图像分割的问题。典型的基于U-Net网络的肝脏肿瘤CT图像分割架构图如图 6所示。在具体实施上，该类方法可以利用深层特征定位肝脏组织区域，利用浅层特征实现精确分割结果，医学影像分割问题很多都以U-Net为基础进行改良。根据U-Net网络架构的采用形式，可将其分为单网络肝脏肿瘤分割方法、多网络肝脏肿瘤分割方法以及U-Net网络与传统方法相结合的肝脏肿瘤分割方法。

图 6 基于U-Net网络的肝脏肿瘤CT图像分割方法基本架构(Christ等，2017)

Fig. 6 Basic architecture of CT image segmentation of liver tumor based on U-Net network(Christ et al., 2017)

3.1 单网络肝脏肿瘤分割方法

单网络肝脏肿瘤分割方法是最简洁、最容易实现的一种深度学习医学图像分割方法，只需要采用单一形式的网络架构就可以实现分割任务。该架构的主要思想是：先利用上采样提取输入图像特征，再利用下采样恢复到与原图像一样大小，实现对像素点的分类。

为了提高分割精度，研究者在原有U-Net网络结构基础上做了改变。Liu等人(2019)为了获得更高级的语义特征增加了U-Net的深度，最后使用图割法对U-Net的分割结果进行细化，使得分割结果的边界更加平滑。为了更好地提取上下文特征，Alom等人(2019)提出了一个递归U-Net模型和一个递归剩余U-Net模型，分别称为RU-Net和R2U-Net。所提模型结合了U-Net、剩余网络和循环卷积神经网络。其中，利用循环卷积层进行特征累积，可以更好地表示分割任务的特征，具有更好的图像分割性能。Zhou等人(2018)提出了基于U-Net的U-Net+ +架构，对所有层次进行了跳跃连接，可以抓取不同层次的特征，将它们通过特征叠加的方式以得到更高的分割精度。Xu等人(2020)将U-Net+ +用于肝脏的分割，在卷积操作中加入了残差结构以避免梯度消失问题。边缘信息的有效提取可以进一步提高肝脏和肿瘤分割结果的准确性和拓扑完整性。Seo等人(2020)在U-Net的跳跃连接部分增加了一个带有反卷积层和激活操作的剩余路径，称为mU-Net，利用此方法大型对象可以提取高分辨率边缘信息的高层特征，小型对象可以提取高级全局特征，从而提高分割的精度。对于肝脏的分割，Zhang等人(2020)采用了由粗到细的策略，用2D U-Net对肝脏进行粗略定位，用3D FCN对肝脏进行精细分割，减少了计算时间，提高了分割的准确性。对于肿瘤的分割，提出了一种新的使用模糊C均值聚类(fuzzy c-means，FCM)(Alia等，2011)算法增强水平集方法(level-set methods，LSM)(Deng等，2019), 进一步细化肿瘤的分割。Li和Tso(2018)在原有的U-Net架构中加入了稠密模块、先启模块和膨胀卷积，设计了一种混合的紧密连接的U-Net，称为BS U-Net(bottleneck supervised U-Net)，用于肝脏和肿瘤的分割，将紧密连接的路径和跳跃连接小心地整合在一起，充分利用了片间特征提高分割性能。然而，连续池化和跨卷积操作会导致一些空间信息的丢失，Gu等人(2019)提出了一个上下文编码网络，称为CE-Net。它利用密集无卷积块(dense atrous convolution，DAC)(He等，2016；Szegedy等，2016)和剩余多核池化块(residual multi-kernel pooling，RMP)(He等，2015)来获取更抽象的特征，并保留更多的空间信息，提高了肝脏肿瘤分割的性能。

医学图像很多是3D图像，使用2D U-Net分割方法效果不好，而3D网络性能要求太大。因此出现了很多能结合层间信息(上下文信息)的2D网络，称为“2.5D”网络。Wang等人(2018)在输入端，将输入待分割层以一定范围内的图层作为辅助来处理3维图像，使用多平面集成来提高分割结果的准确性。对轴向、矢状和冠状面进行训练，对分割后的结果进行综合，充分利用3维空间的上下文信息，并且该结构不需要进行任何预处理；在卷积神经网络中，卷积运算得到的特征图虽然保留了空间信息，但没有提取像素间空间信息。Chen等人(2019c)提出了一种基于空间信道的卷积，即沿着特征图的信道进行1×1卷积运算，提取特征图中像素间空间信息的映射关系，提出了Chanel-UNet算法，能够有效地收敛空间信道卷积提取的优化空间信息。

在不考虑计算和显存性能的情况下，3D网络因为可以结合图像层间信息，能够保证隔层图像掩码之间的一个变化连续性，分割效果比2D的好。V-Net网络是一种非常流行的医学图像分割的3维全卷积神经网络，直接使用3D卷积而不是逐个切片的方式处理体积。Milletari等人(2016)使用V-Net网络，编码器部分从输入图像中提取肝脏全局特征，解码器部分产生全分辨率输出，同时在预处理中使用随机非线性转换和直方图匹配来增加数据，此方法虽然提高了分割精度，但高分辨率的分割效果不是很好；由于网络的参数数量，3D FCN的计算代价和GPU内存空间使用很高。为了解决这些问题，Lei等人(2020)提出了更实用的轻量级V-Net(LV-Net)用于分割肝脏，它占用很少的内存，同时保持肝脏分割的准确性。使用反向剩余瓶颈块(inverted residual bottleneck block，IRB)(Sandler等，2018)代替普通卷积来构造LV-Net的编码器和解码器。此外，在训练阶段采用3D深度监督改善损失函数，该算法有较高的分割精度。Zhang等人(2019)设计了一种轻量级的混合卷积网络(light-weight hybrid convolutional network, LW-HCN)，用于在CT体积中分割肝脏及其肿瘤。在网络的底层使用2D卷积来降低复杂度，在其余部分使用3D卷积来捕获高级语义信息，此外，在编码器的未端应用3D DSTS(depthwise and spatiotemporal separate)卷积来捕获多尺度信息。不仅有效地降低了算法的参数，而且提高了算法的性能。

为了提取更多的特征信息，有些研究者致力于注意力机制，他们将高层特征与具有图像细节的低层特征融合在一起，以此提高分割精度。Jin等人(2018)以3D U-Net作为基本体系结构，然后结合低层特征图和高层特征图提取上下文信息，这是完整的3D分割，也是首次在医学成像任务中实现注意剩余机制。但是基于注意机制的特征融合方法，底层一般提取的语义信息很少，为了有效地将更多的语义信息嵌入到底层特征中，Chen等人(2019b)设计了基于注意机制的特征融合方法来融合不同层次的特征。此外，为了补偿上采样过程中的信息损失，提出了一种密集上采样卷积和残余卷积结构，最终获得了较高的分割精度。很多深度学习方法是图像级分割，此方法对肝脏肿瘤分割的敏感性不佳。为了提高肝脏肿瘤分割网络的精度和敏感性，Bai等人(2019)采用块级分割，提出了一种基于多尺度候选生成方法(multiscale candidate generation，MCG)、3维分形残差网络(3D fractal residual network，3D FRN)(He等，2016；Larsson等，2016)和活动轮廓模型(active contour model，ACM)(Kass等，1988)的肝脏肿瘤CT分割方法。表 6和表 7分别给出了单网络模型分割肝脏和肿瘤的结果。

表 6 单网络的肝脏分割评估结果
Table 6 Evaluation results of liver segmentation in a single network

下载CSV

方法	数据集	DICE/%	VOE/%	RVD/%	ASD/mm	RMSD/mm	MSSD/mm
Liu等人(2019)	Codalab	95.05±1.32	7.07±2.37	-1.22±4.51	1.8±0.71	3.64±1.44	20.25±5.34
Seo等人(2020)	LiTS2017	98.51±1.02	3.07±2.01	0.26±0.10	0.92±0.37	—	8.52±3.65
Zhang等人(2020)	LiTS2017	96.3	—	—	—	—	—
Wang等人(2018)	LiTS2017	96.7	6.30	—	1.32	29.9	—
Chen等人(2019c)	3DIRCAb	94.6±3.0	9.52±4.65	-0.02±0.07	8.43±9.39	14.21±5.71	—
Milletari等人(2016)	PROMISE 2012	0.869±0.033	—	—	—	—	—
Lei等人(2020)	LiTS2017	95.43	8.56	1.56	1.870 5	—	29.496 0
Zhang等人(2019)	3DIRCAb	98.10	—	—	—	—	—
Jin等人(2018)	LiTS201和3DIRCAb	96.10	7.40	0.20	1.214	—	26.948
Jin等人(2018)	LiTS201和3DIRCAb	97.70	4.50	-0.10	0.587	—	18.611 7
Chen等人(2019b)	LiTS2017	76.60	—	—	—	—	—
注：“—”代表无数据。

表 7 单网络的肿瘤分割评估结果
Table 7 Evaluation results of tumor segmentation in a single network

下载CSV

方法	数据集	DICE/%	VOE/%	RVD/%	ASD/mm	RMSD/mm	MSSD/mm
Alom等人(2019)	LiTS2017	74.55	—	—	—	—	—
Seo等人(2020)	LiTS2017	89.72±5.07	21.93±13.00	-0.49±0.15	0.78±0.20	—	4.53±1.95
Zhang等人(2020)	LiTS2017	71.8	—	—	—	—	—
Chen和Wang等人(2019c)	3DIRCAb	66.0±3.0	41.54±4.32	0.159±5.03	2.04±4.32	2.12±5.52	—
Jin等人(2018)	LiTS2017和3DIRCAb	59.50 83.0	38.90 —	-0.152 —	1.289 —	— —	6.775 —
Zhang等人(2019)	3DIRCAb	94.10	—	—	—	—	—
Bai等人(2019)	3DIRCAb	67.0	32.4	0.194	4.408	—	7.113
注：“—”代表无数据。

3.2 多网络肝脏肿瘤分割方法

多网络肝脏肿瘤分割方法是一种分割精度相对较高的医学图像分割方法，其本质是利用多个网络架构来实现肝脏肿瘤图像分割任务。按照在肝脏肿瘤分割方法中多网络架构采取串行方式还是并行方式，又可分为级联U-Net和双路径U-Net。此方法将多个基础网络进行结合，增加了特征提取能力。在保持较低的计算成本和内存消耗的同时，获得更高的分割精度。表 8和表 9分别给出了多网络模型分割肝脏和肿瘤的结果。

表 8 多网络的肝脏分割方法评估结果
Table 8 Evaluation results of liver segmentation method based on multiple networks

下载CSV

方法	数据集	DICE	VOE/%	RVD/%	ASD/mm	RMSD/mm	MSSD/mm
Drozdzal等人(2018)	内部数据	0.993	—	—	—	—	—
Budaka等人(2020)	3DIRCAb	0.952	9.05	7.03	1.43	—	19.37
Han等人(2017)	LiTS2017	0.67	45	4	6.66	—	57.93
Zhang等人(2018)	LiTS2017	0.95±0.03	—	—	—	—	—
Vorontso等人(2018)	LiTS2017	0.773	35.7	12.124	1.075	1.596	—
Li等人(2018)	LiTS2017	0.98±0.10	3.31±2.00	0.32±0.10	1.16±0.35	—	—
Abdalla等人(2020)	LiTS2017	0.962	—	—	—	—	—
Isensee等人(2019)	LiTS2017	0.96	—	—	—	—	—
Novikov等人(2019)	3DIRCAb	0.959	7.87	—	—	—	—
注：“—”代表无数据。

表 9 多网络的肿瘤分割方法评估结果
Table 9 Evaluation results of tumor segmentation method based on multiple networks

下载CSV

方法	数据集	DICE/%	VOE/%	RVD/%	ASD/mm	RMSD/mm	MSSD/mm
Drozdzal等人(2018)	内部数据集	71.10	—	—	—	—	—
Li等人(2018)	LiTS2017	86.53±5.32	24.46±14.43	-0.53±0.13	0.83±0.22	—	4.74±1.97
Isensee等人(2019)	LiTS2017	73.80	—	—	—	—	—
注：“—”代表无数据。

级联U-Net的核心思想是将上一个网络的输出作为下一个网络的输入，结合多层次的信息，提取更多的图像特征集合来提高分割精度。肝脏和肿瘤的分割由于其形状的变化和边界的模糊，一直是CT图像分析中的难题。Budak等人(2020)将肝脏肿瘤的分割作为一个分类问题，提出了两种编码器—解码器卷积神经网络用于CT图像中肝脏和肿瘤的分割，该模型由编码器网络、具有对称结构的解码器网络和像素级分类层构成。此方法虽然提高了分割精度，但没有考虑空间信息，分割效果较差。Christ等人(2017)级联两个U-Net网络进行分割。第1个网络用于分割肝脏，将生成的肝脏区域掩膜图作为第2个网络的输入，用于分割肿瘤。最后，将条件随机字段应用于完整数据集，以获得片与片之间的关系。Han(2017)开发了一种基于深度卷积神经网络(deep convolutional neural network，DCNN)的肝脏和肿瘤的两阶段分割框架，该网络利用U-Net的跳跃连接和ResNet的短程剩余连接，并且，输入5个相邻切片来分割中间的切片，为网络提供了3D上下文信息。为了充分利用空间信息，Zhang等人(2018)联合考虑单个片内和相邻片之间的特征，设计一种称为顺列特征提取器(long short term memory，LSTM)的结构，有效地结合一个CT图像(内部切片)和多个相邻图像(内部切片)之间的特征进行多器官分割，可以有效地提高肝脏、脾脏、胆囊等腹部大、小器官的分割性能。传统的医学影像分割的过程需要预处理(标准化、直方图均衡化等)、后处理(CRF、形态学操作等)，其分割效果严重受到预处理和后处理质量的限制。针对这个问题，Drozdzal等人(2018)设计了一种将全卷积剩余网络和全卷积网络结合的简单有效的分割方法。模型由一个类U-Net模型和一个FC-ResNet(Krähenbühl和Koltun，2012)模型组成。类U-Net模型作为预处理获得归一化的图像，然后通过FC-ResNet迭代地细化这些图像来生成分割预测。此方法证明了一个深层网络，不需要任何手工设计的预处理或后处理，也可以实现先进的性能。然而，级联中的所有模型都重复地提取类似的底层特征，这种方法导致计算资源和模型参数的过度和冗余使用。为了解决以上问题，Schlemper等人(2019)提出了一种用于医学图像分析的新的注意门(attention gate，AG)模型，该模型能够自动学习聚焦于各种形状和大小的目标结构。它们将AGs合并到标准的U-Net架构，称为(attention U-Net)来进行肝脏肿瘤的分割。

双路径U-Net与级联U-Net分割方法不同，双路径U-Net分割方法是将两个不同的网络并行执行，分别用于提取肝脏影像的全局和局部特征信息。其中，Vorontsov等人(2018)使用两个并行的完全相同的2D U-Net变种网络，联合训练两个架构，通过使用短程跳跃连接，以达到竞争的结果。与其他方法最大的不同在于，该模型无需对数据进行任何预处理。除此之外为了利用层与层的信息，对模型的输出结果做了简单的后处理，每相邻3层的模型输入输出一个3×3卷积层得到中间一层的分割结果。在此基础上，为了充分捕获肝脏图像空间上下文信息，Li等人(2018)将2D U-Net与3D CNN相结合，提出了一种新颖的H-DenseUNet框架，可以有效地探测肝脏和肿瘤分割的片内的特征，其中片内和片间特征可以通过混合特征融合层联合优化，最终在肝脏肿瘤分割任务中获得了满意的结果。Abdalla等人(2020)采用一种混合方法，继承2D和3D卷积的优点，忽略它们的缺点。融合了从2D Dense-UNet和3D Dense-UNet中提取的特征，其中两者都是U-Net体系结构的变体，通过它们对感兴趣的区域进行操作，分别提取层内和层间特征，实现了一个准确的分割。由于数据集的多样性，以上模型可能只在特定数据集上有比较好的结果，没有很好的泛化性，Isensee等人(2019)设计了一种可以自动适应任何给定新数据集的框架。它是两种U-Net模型的组合，分别是一个2D U-Net模型、一个3D U-Net模型和两个级联的3D U-Net模型，其中第1个模型实现低分辨率的分割，然后由第2个模型进行细化。

周期性网络最近被引入到医学成像领域，如将U-Net和周期性网络(如：长短时记忆(Hochreiter和Schmidhuber，1997)和最近提出的C-LSTM(convolutional LSTM)(Shi等，2015))相结合的混合方法对于处理一般数据是有效的。Poudel等人(2017)使用U-Net变量来估计2维分段，然后通过所谓的门控循环单元(Cho等，2014)(LSTIM的简化版本)对其进行改进。为了充分利用3维上下文信息，Chen等人(2016a)使用一个2维U-Net的变体来提取所有切片的特征，然后使用双向C-LSTM单元对其进行处理。Novikov等人(2019)将双向C-LSTMs集成到一个类U-Net的体系结构中，提出了Sensor3D，它结合了时间分布式卷积(Bai等，2018)、池化、上采样层和双向C-LSTM块。以顺序的方式提取切片的3D上下文。通过这种方式，网络能够学习基于体块的片间相关性。与其他先进的模型相反，该网络既不需要培训也不需要测试全部的输入量。在肝脏分割任务的计算能力、内存和时间消耗方面，也显示出具有竞争力的性能。

3.3 与传统方法相结合的肝脏肿瘤分割方法

U-Net网络虽然在医学图像分割表现好，但是分割结果依然还不够精细，结合一些传统的方法，可以实现更精确的分割结果，U-Net网络与传统方法相结合主要体现在两个方面：一种是将分割网络作为特征提取器提取高层次特征，传统方法用于性能效果的优化；另一种是使用分割网络进行特征提取之后，再用传统的分割方法进行后处理操作，细化分割后的结果。表 10列举了该方法在肝脏肿瘤分割的性能表现结果。

表 10 与传统方法相结合的肝脏肿瘤病灶CT图像分割方法评估结果
Table 10 Evaluation of liver tumor CT image segmentation method combined with traditional methods

下载CSV

方法	数据集	DICE/%	VOE/%	RVD/%	ASD/mm	RMSD/mm	MSSD/mm
Sakboonyara和Taeprasartsit(2019)	MICCAI-SLiver07	0.95±0.05	9.32±7.80	1.08±4.64	2.85±3.09	6.98±6.28	59.15±26.00
Pandey等人(2018)	LiTS2017	0.587	—	—	—	—	—
Christ等人(2016)	3DIRCAb	0.943	10.7	-1.4	1.5	—	24
Chlebus等人(2017)	LiTS2017	0.923±0.03	14.21±5.71	-0.05±0.1	4.33±3.39	8.35±7.54	—
注:“—”代表无数据。

在使用传统分割方法作为性能效果的优化上，Sakboonyara和Taeprasartsit(2019)采用U-Net网络对肝脏进行粗略分割，在产生的直方图数据上增加了均值漂移聚类的方法，以防止肝脏的过拟合，提高肝脏定位精度。此外，还引入了一种新的基于统计阈值的图像增强技术累积分布函数(cumulative distribution function，CDF)来显式排除不可能区域，进一步提高了肝脏分割的准确性；Pandey等人(2018)在传统U-Net结构的基础上，在该结构最后一层采用了具有亚像素卷积(Shi等，2016)的双线性插值(Parker等，1983)的组合来提升训练和推理的速度，并且采用长跳和短跳连接有助于训练过程, 提高模型精度。

在使用传统分割方法进行后处理操作上，Christ等人(2016)采用级联两个U-Net网络方法，实现肝脏和肿瘤的分割。为了细化分割后的结果，用3D CRF进行后处理；为了证明方法的鲁棒性，Christ等人(2017)又把原有的级联2D U-Net网络框架用在很多数据集上。实验表明该方法对于不同的模式和不同的真实数据集，包括一个3DIRCADb数据集、多个CT扫描仪的真实临床CT数据集和临床dwi-mri数据集具有通用性和扩展性；Chlebus等人(2017)使用2D U-Net生成包含肿瘤候选对象的图像，然后，使用基于形状和图像特征的随机森林分类器来过滤候选肿瘤。

总体来说，医学图像相比于普通图像，其复杂度高，灰度范围大，边界不清晰，并且人体内部结构相对固定，分割目标在人体图像中的分布很有规律，语义简单明确且并非特别丰富(结构比较单一)，所以很好区分。并且，医学影像的数据获取相对难一些，数据量少，所以如果模型的参数过多，很容易导致过拟合，而U-Net模型较小，参数较少，因此U-Net模型在医学图像分割中表现好，但是如果遇到医学图像结构较复杂的结构，如，细胞类型很多、染色情况复杂以及染色深浅不一的情况，网络的性能会大大的降低。将原来的简单结构改成DenseNet型的效果，增加网络的超参数，改成ResNet型结构获取更好的细节信息，在实践中，将网络通过级联或者集成的方式结合在一起，也可以很好地提高网络性能。

4 基于生成对抗网络的肝脏肿瘤CT图像分割方法

GAN是Goodfellow等人(2014)提出的生成式模型。它使用无监督训练方法，通过对抗学习进行训练，目的是估测数据样本的潜在分布并生成新的数据样本。GAN由生成模型(Goodfellow等，2014)和鉴别模型(Denton等，2015)组成，生成模型学习给定噪声的分布(一般是指均匀分布或者正态分布)并进行合成，判别模型分辨真实数据与生成数据。从理论上讲，前者试图产生更接近真实的数据。相应地，后者也在不断加强“鉴伪”能力。GAN的成功在于它利用对抗性学习概念捕获高级语义信息的特征表示能力。Luc等人(2016)首次将GAN应用到图像分割中。GAN也存在一些缺陷：1)崩溃问题：当生成模型崩溃时，将所有不同的输入映射到相同的数据；2)不稳定性：导致相同输入产生不同的输出。产生这些现象的主要原因与优化过程中梯度消失有关。虽然批处理归一化是解决GAN不稳定性的一种方法，但它不足以使GAN的性能达到最优稳定性。因此，涌现出许多GAN的衍生模型来解决这些缺陷，如CGAN(conditional GAN)、DCGAN(deep convolutional GAN)、InfoGAN(information maximizing GAN)、WGAN(Wassertein GAN)等(Mirza和Osindero，2014；Radford等，2015；Chen等，2016b；Arjovsky等，2017)。在基于GAN的肝脏肿瘤分割方法中，生成器用于执行肝脏分割任务，而鉴别器用于细化生成器的训练。典型的基于生成对抗网络的肝脏肿瘤CT图像分割架构图如图 7所示。

图 7 基于GAN网络的肝脏肿瘤病灶CT图像分割方法基本架构

Fig. 7 Basic architecture of CT image segmentation of liver tumor lesions based on GAN

生成对抗网络一经提出就得到了广泛的关注，并且得到快速的发展。在医学图像处理中，由于数据获取和注释的困难，构建一个足够大的数据集是极具挑战性的。为了克服这个问题，传统的几何变换等图像增强技术虽然能够产生新的数据，但是由于不能学习医学数据的生物学变化，可能生成不可信的图像，导致分割性能提升有限。由于GAN不需要提前知道假设分布便可以自动推断出真实的数据集，进一步扩大了数据的大小和多样性，为数据扩充提供了新的方法，缓解了智能诊断对数据量的需求问题。Frid-Adar等人(2018)设计了一种基于GAN的图像合成技术以丰富训练数据。首先使用标准数据扩充方法来扩大数据集，然后用它来训练GAN，并使用DCGAN来合成每一类病变的标记病灶：囊肿、转移灶和血管瘤，能够得到更逼真的肝脏合成图像；然而，在公开CT数据集中发现的腹部器官的分割几乎都是在增强CT扫描中进行的，而真实世界的数据包含一定比例的非对比CT扫描。GAN同样可以实现不同模态图像之间的转换。Sandfort等人(2019)利用生成式对抗网络(特别是CycleGAN)能将对比CT图像转换成非对比CT图像。

GAN由于采用对抗学习的方法，导致模型的不稳定性，研究者们采用了各种方法继续进行改进，在肝脏肿瘤分割的任务上，按照模型的网络体系结构分为3类：基于网络架构改进的GAN的分割方法、基于生成器改进的GAN的分割方法和GAN的其他改进方法。

4.1 基于网络架构改进的GAN的分割方法

用于肝脏肿瘤CT图像分割时，GAN一般都是由生成器G、判别器D和额外模块组成，这个额外模块一般都是由CNN进行构造的，以此解决数据不平衡的问题。Rezaei等人(2019)提出了条件生成细化网络，通过集成学习得以解决。该网络由生成网络、判别网络和细化网络这3部分组成，其中细化网络处理误分类成本，该成本在医疗应用中具有重要价值；GAN模型不仅适用于2维空间，而且适用于3维空间。一些研究者同时开始使用3D GAN进行肝脏肿瘤分割。Yang等人(2017)提出使用对抗性图像到图像网络的自动分割肝脏的高效算法，该网络作为肝脏分割的生成器，采用卷积编码器—解码器架构，并结合多级特征级联。然后在训练过程中使用对抗网络来区分预测分割结果与真实分割结果，通过不断地对抗训练进一步提高分割性能，在解决数据不平衡问题上有初步的成果。然而，许多算法的分割结果与原始图像之间空间不一致，为此，Xia等人(2019)提出了一种基于DeepLabv3(Chen等，2018)基本框架的改进模型，并引入Pix2pix网络(Isola等，2016)作为生成对抗模型，实现深度特征与多尺度语义特征相结合的分割框架，减少了空间结构的不一致性。虽然以上方法已经取得了很好的进展，但是还有改进的余地，主要在于CT图像可能表现出高噪声和低对比度。为了解决这一问题，Tang等人(2018)使用堆叠生成对抗网络，降低了CT图像中的噪声，并且产生具有增强边界和高对比度的高分辨率图像。

4.2 基于生成器改进的GAN的分割方法

深度神经网络受到了广泛的关注，涌现了很多有效的网络架构，一些研究者把这些先进的网络架构迁移到生成器中，保证GAN训练稳定性的同时生成结果的质量有了极大的提升。Enokiya等人(2018)将U-Net和Wasserstein GAN(WGAN)网络结合，使用U-Net作为生成器的网络结构，该网络由19个卷积层组成。使用两个鉴别器，第1个鉴别器是基于DCGAN的网络；第2个鉴别器是基于WGAN相同的网络结构，其中，使用Wasserstein距离作为目标函数。与传统的GAN相比，WGAN的学习更加稳定。与此同时，以扩大生成器结果作为鉴别器的输入，提高召回率；在肝脏肿瘤分割的研究中，边界信息是非常重要的细节信息，为了保留准确的边界信息，同时为了克服从原始图像到分割多对一映射的模式崩溃现象，Kim和Ye(2018)提出了一种基于循环一致性生成对抗网络(cycleGAN)结构。采用改进的U-Net体系结构(多相U-Net)作为生成器，不使用平均或最大池化，而是将输入图像的4个相邻像素分解为池化层时尺寸减小的4个通道数据，并且，将4个尺寸减小的通道在池化时组合为一个放大的单个通道层，以此提高分割精度；现有的肝脏肿瘤分割方法大多基于对比剂(contrast agent，CA)(Sirlin等，2014)图像。使用CA可能会导致高风险、耗时和昂贵的问题，于是Xiao等人(2019)将U-Net和DenseNet两个网络合理地整合在一起作为生成器，以共享更多的信息和提取有竞争力的隐式契约放射学(implicit contract radiomics，ICR)特征，从而更好地处理没有CA造成的低对比度区域，实现肝脏肿瘤的无CA分割。

4.3 其他方法

还有一些其他的改进方案，如Chen等人(2019a)为了提高网络性能，级联两个框架分别对肝脏和肿瘤进行分割，具体来说，首先使用多平面综合网络(multi-prototype networks，MPNet)(Wang等，2018)从异常CT图像中分割肝脏。然后，利用对抗的策略，建立深度3维紧密连接的全卷积神经网络(dense connectivity full convolutional network，DC-FCN)作为生成器，从肝脏中预测肝脏肿瘤；PET(positron emission tomography)图像经常用于肿瘤学的诊断和分析，但是PET设备昂贵并且涉及放射性。因此，医学影像分析界一直致力于直接从CT数据合成PET图像。如Ben-Cohen等人(2017)用cGAN从CT数据合成肝脏PET图像，通过cGAN和FCN合成PET图像，实现很高的检测性能，在2019年，Ben-Cohen等(2019)在已有工作基础上进行了扩展，使用基于金字塔的图像混合步骤，来结合FCN和cGAN网络的优势，不再需要一个图像融合步骤，提高了系统性能。为了实现高准确性的肿瘤分割，Nasiri等人(2020)在对输入图像进行初始肿瘤分割后，由于边缘较强，采用支持向量机(support vector machine，SVM)算法对肿瘤进行分割。并利用之前分割的切片作为先验知识分割异常的肝脏区域。表 11和表 12分别给出了生成对抗网络模型在分割肝脏和肿瘤的评价结果。

表 11 GAN网络的肝脏分割评估结果
Table 11 Evaluation results of liver segmentation based on GAN network

下载CSV

方法	数据集	DICE	RC	AC	SC	VOE	RVD	ASD	MSSD/mm
Frid-Adar等人(2018)	Sheba Medical Center	—	0.86	—	0.92	—	—	—	—
Rezaei等人(2019)	LiTS2017	0.94	—	—	—	—	—	1.4	—
Yang等人(2017)	MICCAI-SLiver07	0.95	—	—	—	—	—	1.9	—
Xia等人(2019)	LiTS2017	0.97	—	—	—	0.079	0.006	1.925	35.583
Enokiya等人(2018)	3DIRCADb	0.94	0.95	0.93	—	—	—	—	—
Kim和Ye(2018)	LiTS2017	0.890 7	0.941 4	0.862 3	—	—	—	—	—
Xiao等人(2019)	200名临床受试者	0.92	0.9142	0.95	—	—	—	—	—
Nasiri等人(2020)	3DIRCADb	0.84±0.06	—	—	—	0.28±0.08	0.16±0.14	0.56±0.47	4.78±3.69
注：“—”代表无数据。

表 12 GAN网络的肿瘤分割评估结果
Table 12 Evaluation results of tumor segmentation based on GAN network

下载CSV

方法	数据集	DICE	RC	AC	SC	VOE	RVD	ASD	MSSD/mm
Rezaei等人(2019)	LiTS2017	0.83	—	—	—	—	—	1.6	—
Chen和Song等人(2019)	LiTS2017	0.684	—	—	—	0.52 ~ 0.46	0.69 ~ 0.73	27.8 ~ 21	147 ~ 124
注：“—”代表无数据。

综上，基于GAN的肝脏肿瘤CT图像分割方法，在训练阶段可以通过GAN网络，生成高质量逼真的肝脏肿瘤图像，从而避免训练样本不平衡的问题，并且由于有限标注样本数据的扩增，使得深度网络得到很好的训练，最终达到很好的分割效果。但是GAN目前还存在很多问题，如训练的不稳定性和训练网路的崩溃问题等。解决上面提到的重大缺陷，才能成为医疗保健领域值得信赖的技术。

5 结语

本文对当前肝脏肿瘤CT图像研究中几种常用的分割方法进行了归纳总结，并详细介绍FCN、U-Net、GAN这3种网络结构在肝脏肿瘤CT图像分割领域的应用。具体分析与比较如表 13。

表 13 FCN、U-Net、GAN网络结构的比较
Table 13 Comparison of FCN, U-Net and GAN network structures

下载CSV

网络结构	主要贡献	优点	缺点	适用范围
FCN	将端到端的卷积网络推广到语义分割；使用反卷积层进行上采样；提出了跳跃连接来改善上采样的粗糙程度	可以接受任意大小的输入图像；跳跃连接结构结合了精细层和粗糙层，生成精确的分割	感受野太小，无法获取全局信息；存储开销很大	适用于样本较多的数据
U-Net	采用下采样和上采样的对称结构；长跳跃连接使它联系了输入图像的很多信息，有助于还原降采样所带来的信息损失	不使用全连接层；U-Net只需要一次训练，网络的训练效率也高于FCN网络	输入图像和输出图像大小并不一致，不能很好处理尺寸变化的问题	适用于小规模、医学图像结构比较单一的医学数据集
GAN	采用对抗学习准则，存在两个不同的网路，而不是单一网络	能产生更加清晰，真实的样本；可以训练任何生成网络	训练不稳定，很难训练；GAN不适合处理离散形式的数据	适用于数据生成(如：没有很多带标签的数据集)、图像风格迁移；图像降噪修复；用于对抗攻击

目前深度学习在肝脏肿瘤分割方面的发展方向主要集中在以下几点：1)深度学习算法的训练需要依赖大量数据集，而医学图像由于其特殊性和敏感性，需要专家手工获取和标注，标注的过程又非常耗时，因此，不仅需要医疗服务者提供更多的数据支持，而且对数据集采取增强的方法来增强数据集的大小，对神经网络采用3维化、网络加深是该领域未来的一个研究方向；2)利用多模态肝脏图像进行分割和结合多个不同的深度神经网络来提取图像更深层次的信息，提高肝脏肿瘤分割的精度，也是该领域一个主要研究方向；3)目前，大多数医学图像分割采用的是有监督的深度学习算法，然而，针对某些缺乏大量数据支持的罕见疾病，有监督的深度学习算法便无法发挥其性能。为了克服数据缺乏或数据不可用的问题，一些研究者将有监督领域转移到半监督或无监督领域，比如GAN网络的提出，将GAN网络和其他更高性能网络的结合，未来可以进一步开展更深入的研究。

参考文献

Abdalla A, Ahmed N, Dakua S, Balakrishnan S and Abinahed J. 2020. A surgical-oriented liver segmentation approach using deep learning//Proceedings of 2020 IEEE International Conference on Informatics, IoT, and Enabling Technologies (ICIoT). Doha: IEEE: 318-322[DOI: 10.1109/ICIoT48696.2020.9089512]

Alia O M, Mandava R, Aziz M E. 2011. A hybrid harmony search algorithm for MRI brain segmentation. Evolutionary Intelligence, 4(1): 31-49 [DOI:10.1007/s12065-011-0048-1]

Alom Z, Yakopcic C, Hasan M, Taha T M, Asari V K. 2019. Recurrent residual U-Net for medical image segmentation. Journal of Medical Imaging, 6(1): #14006 [DOI:10.1117/1.JMI.6.1.014006]

Arjovsky M, Chintala S and Bottou L. 2017. Wasserstein GAN[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1701.07875.pdf

Badrinarayanan V, Kendall A, Cipolla R. 2017. Segnet:a deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12): 2481-2495 [DOI:10.1109/TPAMI.2016.2644615]

Bai S J, Kolter J Z and Koltun V. 2018. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1803.01271.pdf

Bai Z Q, Jiang H Y, Li S Q, Yao Y D. 2019. Liver tumor segmentation based on multi-scale candidate generation and fractal residual network. IEEE Access, 7: 82122-82133 [DOI:10.1109/ACCESS.2019.2923218]

Bellver M, Maninis K K, Pont-Tuset J, Giró-i-Nieto X, Torres J and Van Gool L. 2017. Detection-aided liver lesion segmentation using deep learning[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1711.11069.pdf

Ben-Cohen A, Diamant I, Klang E, Amitai M and Greenspan H. 2016. Fully convolutional network for liver segmentation and lesions detection//Proceedings of the 1st International Workshop on Deep Learning in Medical Image Analysis. Athens, Greece: Springer: 77-85[DOI: 10.1007/978-3-319-46976-8_9]

Ben-Cohen A, Klang E, Raskin S P, Amitai M M and Greenspan H. 2017. Virtual PET images from CT data using deep convolutional networks: initial results//Proceedings of the 2nd International Workshop on Simulation and Synthesis in Medical Imaging. Québec City: Springer: 49-57[DOI: 10.1007/978-3-319-68127-6_6]

Ben-Cohen A, Klang E, Raskin S P, Soffer S, Ben-Haim S, Konen E, Amitai M M, Greenspan H. 2019. Cross-modality synthesis from CT to PET using FCN and GAN networks for improved automated lesion detection. Engineering Applications of Artificial Intelligence, 78: 186-194 [DOI:10.1016/j.engappai.2018.11.013]

Bi L, Kim J, Kumar A and Feng D G. 2017. Automatic liver lesion detection using cascaded deep residual networks[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1704.02703.pdf

Bilic P, Christ P F, Vorontsov E, Chlebus G, Chen H, Dou Q, Fu C W, Han X, Heng P A, Hesser J, Kadoury S, Konopczynski T, Le M, Li C M, Li X M, Lipkovà J, Lowengrub J, Meine H, Moltz J H, Pal C, Piraud M, Qi X J, Qi J, Rempfler M, Roth K, Schenk A, Sekuboyina A, Vorontsov E, Zhou P, Hülsemeyer C, Beetz M, Ettlinger F, Gruen F, Kaissis G, Lohöfer F, Braren R, Holch J, Hofmann F, Sommer W, Heinemann V, Jacobs C, Mamani G E H, Van Ginneken B, Chartrand G, Tang A, Drozdzal M, Ben-Cohen A, Klang E, Amitai M M, Konen E, Greenspan H, Moreau J, Hostettler A, Soler L, Vivanti R, Szeskin A, Lev-Cohain N, Sosna J, Joskowicz L and Menze B H. 2019. The liver tumor segmentation benchmark (LiTS)[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1901.04056.pdf

Budak Ü, Guo Y H, Tanyildizi E, Çengür A. 2020. Cascaded deep convolutional encoder-decoder neural networks for efficient liver tumor segmentation. Medical Hypotheses, 134: #109431 [DOI:10.1016/j.mehy.2019.109431]

Chen J X, Lin Y, Zhang Y Z, Alber M and Chen D Z. 2016a. Combining fully convolutional and recurrent neural networks for 3D biomedical image segmentation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1609.01006.pdf

Chen L, Song H, Wang C, Cui Y T, Yang J, Hu X H, Zhang L. 2019a. Liver tumor segmentation in CT volumes using an adversarial densely connected network. BMC Bioinformatics, 20(16) [DOI:10.1186/s12859-019-3069-x]

Chen L C, Papandreou G, Schroff F and Adam H. 2017. Rethinking atrous convolution for semantic image segmentation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1706.05587.pdf

Chen L C, Papandreou G, Kokkinos I, Murphy K, Yuille A L. 2018. DeepLab:semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(4): 834-848 [DOI:10.1109/TPAMI.2017.2699184]

Chen X, Duan Y, Houthooft R, Schulman J, Sutskever I and Abbeel P. 2016b. InfoGAN: interpretable representation learning by information maximizing generative adversarial nets[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1606.03657.pdf

Chen X Y, Zhang R and Yan P K. 2019b. Feature fusion encoder decoder network for automatic liver lesion segmentation//Proceedings of the 16th IEEE International Symposium on Biomedical Imaging (ISBI 2019). Venice: IEEE: 430-433[DOI: 10.1109/ISBI.2019.8759555]

Chen Y L, Wang K, Liao X Y, Qian Y L, Wang Q, Yuan Z Y, Heng P A. 2019c. Channel-Unet:a spatial channel-wise convolutional neural network for liver and tumors segmentation. Frontiers in Genetics, 10: #1110 [DOI:10.3389/fgene.2019.01110]

Chlebus G, Meine H, Moltz J H and Schenk A. 2017. Neural network-based automatic liver tumor segmentation with random forest-based candidate filtering[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1706.00842.pdf

Chlebus G, Schenk A, Moltz J H, Van Ginneken B, Hahn H K, Meine H. 2018. Automatic liver tumor segmentation in CT with fully convolutional neural networks and object-based postprocessing. Scientific Reports, 8(1): #15497 [DOI:10.1038/s41598-018-33860-7]

Cho K, Van Merrienboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H and Bengio Y. 2014. Learning phrase representations using RNN encoder-decoder for statistical machine translation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1406.1078.pdf

Christ P F, Elshaer M E A, Ettlinger F, Tatavarty S, Bickel M, Bilic P, Rempfler M, Armbruster M, Hofmann F, D'Anastasi M, Sommer W H, Ahmadi S A and Menze B H. 2016. Automatic liver and lesion segmentation in CT using cascaded fully convolutional neural networks and 3D conditional random fields//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens: Springer: 415-423[DOI: 10.1007/978-3-319-46723-8_48]

Christ P F, Ettlinger F, Grün F, Elshaera M E A, Lipkova J, Schlecht S, Ahmaddy F, Tatavarty S, Bickel M, Bilic P, Rempfler M, Hofmann F, Anastasi M D, Ahmadi S A, Kaissis G, Holch J, Sommer W, Braren R, Heinemann V and Menze B. 2017. Automatic liver and tumor segmentation of CT and MRI volumes using cascaded fully convolutional neural networks[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1702.05970.pdf

Clark K, Vendt B, Smith K, Freymann J, Kirby J, Koppel P, Moore S, Phillips S, Maffitt D, Pringle M, Tarbox L, Prior F. 2013. The Cancer Imaging Archive (TCIA):maintaining and operating a public information repository. Journal of Digital Imaging, 26(6): 1045-1057 [DOI:10.1007/s10278-013-9622-7]

Cleary K. 2007. Original datasets[EB/OL].[2020-04-12]. http://insight-journal.org/midas/item/view/1346

Delmoral J C, Costa D C, Borges D and Tavares J M R S. 2019. Segmentation of pathological liver tissue with dilated fully convolutional networks: a preliminary study//Proceedings of the 6th IEEE Portuguese Meeting on Bioengineering (ENBENG). Lisbon: IEEE: 1-4[DOI: 10.1109/ENBENG.2019.8692479]

Deng Z F, Guo Q Z, Zhu Z L. 2019. Dynamic regulation of level set parameters using 3D convolutional neural network for liver tumor segmentation. Journal of Healthcare Engineering, 2019: #4321645 [DOI:10.1155/2019/4321645]

Denton E, Chintala S, Szlam A and Fergus R. 2015. Deep generative image models using a laplacian pyramid of adversarial networks[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1506.05751.pdf

Dice L R. 1945. Measures of the amount of ecologic association between species. Ecology, 26(3): 297-302 [DOI:10.2307/193240]

Dou Q, Chen H, Jin Y M, Yu L Q, Qin J and Heng P A. 2016.3D deeply supervised network for automatic liver segmentation from CT volumes//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens: Springer: 149-157[DOI: 10.1007/978-3-319-46723-8_18]

Drozdzal M, Chartrand G, Vorontsov E, Shakeri M, Di Jorio L, Tang A, Romero A, Bengio Y, Pal C, Kadoury S. 2018. Learning normalized inputs for iterative estimation in medical image segmentation. Medical Image Analysis, 44: 1-13 [DOI:10.1016/j.media.2017.11.005]

Enokiya Y, Iwamoto Y, Chen Y W, Han X H. 2018. Automatic liver segmentation using U-Net with wasserstein GANs. Journal of Image and Graphics, 6(2): 152-159 [DOI:10.18178/joig.6.2.152-159]

Frid-Adar M, Klang E, Amitai M, Goldberger J and Greenspan H. 2018. Synthetic data augmentation using GAN for improved liver lesion classification//Proceedings of the 15th IEEE International Symposium on Biomedical Imaging (ISBI 2018). Washington: IEEE: 289-293[DOI: 10.1109/ISBI.2018.8363576]

Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal: MIT Press: 2672-2680

Gu Z W, Cheng J, Fu H Z, Zhou K, Hao H Y, Zhao Y T, Zhang T Y, Gao S H, Liu J. 2019. CE-Net:context encoder network for 2D medical image segmentation. IEEE Transactions on Medical Imaging, 38(10): 2281-2292 [DOI:10.1109/TMI.2019.2903562]

Han X. 2017. Automatic liver lesion segmentation using a deep convolutional neural network method[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1704.07239.pdf

He K M, Zhang X Y, Ren S Q, Sun J. 2015. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(9): 1904-1916 [DOI:10.1109/TPAMI.2015.2389824]

He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]

Heimann T, Van Ginneken B and Styner M. 2007. Workshop on 3D Segmentation in the Clinic: A Grand Challenge[EB/OL].[2020-04-12]. http://mbi.dkfz-heidelberg.de/grand-challenge2007/sites/orga.htm

Heimann T, Van Ginneken B, Styner M A, Arzhaeva Y, Aurich V, Bauer C, Beck A, Becker C, Beichel R, Bekes G Ö, Bello F, Binnig G, Bischof H, Bornik A, Cashman P M M, Chi Y, Cordova A É, Dawant B M, Fidrich M Á, Furst J D, Furukawa D, Grenacher L, Hornegger J, KainmVller D, Kitney R I, Kobatake H, Lamecker H, Lange T, Lee J, Lennon B, Li R, Li S H, Meinzer H P, Meinzer G Á, Daniela S. Raicu, Rau A M, van Rikxoort E M, Rousson M Ё, Rusko L Á Ó, Saddi K A, Schmidt G V, Seghers D, Shimizu A, Slagmolen P, Sorantin E, Soza G, Susomboon R, Waite J M, Wimmer A, Wolf I. 2009. Comparison and evaluation of methods for liver segmentation from CT datasets. IEEE Transactions on Medical Imaging, 28(8): 1251-1265 [DOI:10.1109/tmi.2009.2013851]

Hochreiter S, Schmidhuber J. 1997. Long short-term memory. Neural Computation, 9(8): 1735-1780 [DOI:10.1162/neco.1997.9.8.1735]

Hua K L, Hsu C H, Hidayati S C, Cheng W H, Chen Y J. 2015. Computer-aided classification of lung nodules on computed tomography images via deep learning technique. Onco Targets and Therapy, 8: 2015-2022 [DOI:10.2147/OTT.S80733]

Huang G, Liu Z, Van Der Maaten L and Weinberger K Q. 2017. Densely connected convolutional networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE: 2261-2269[DOI: 10.1109/CVPR.2017.243]

Ircad France. 2020.3Dircadb[EB/OL].[2020-04-12]. https://www.ircad.fr/research/3 dircadb

Isensee F, Petersen J, Kohl S A A, Jäger P F and Maier-Hein K H. 2019. nnU-Net: breaking the spell on successful medical image segmentation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1904.08128v1.pdf

Isola P, Zhu J Y, Zhou T H and Efros A A. 2016. Image-to-image translation with conditional adversarial networks[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1611.07004.pdf

Jaccard P. 1912. The distribution of the flora in the alpine zone. New Phytologist, 11(2): 37-50 [DOI:10.1111/j.1469-8137.1912.tb05611.x]

Jiang H Y, Shi T Y, Bai Z Q, Huang L L. 2019. AHCNet:an application of attention mechanism and hybrid connection for liver tumor segmentation in CT volumes. IEEE Access, 7: 24898-24909 [DOI:10.1109/ACCESS.2019.2899608]

Jiang Z K, Lyu X G, Zhang J X, Zhang Q, Wei X P. 2020. Review of deep learning methods for MRI brain tumor image segmentation. Journal of Image and Graphics, 25(2): 217-230 (江宗康, 吕晓钢, 张建新, 张强, 魏小鹏. 2020. MRI脑肿瘤图像分割的深度学习方法综述. 中国图象图形学报, 25(2): 217-230) [DOI:10.11834/jig.190173]

Jin Q G, Meng Z P, Sun C M, Wei L Y and Su R. 2018. RA-UNet: a hybrid deep attention-aware network to extract liver and tumor in CT scans[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1811.01328.pdf

Kaluva K C, Khened M, Kori A and Krishnamurthi G. 2018.2D-densely connected convolution neural networks for automatic liver and tumor segmentation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1802.02182v1.pdf

Kass M, Witkin A, Terzopoulos D. 1988. Snakes:active contour models. International Journal of Computer Vision, 1(4): 321-331 [DOI:10.1007/BF00133570]

Kim B and Ye J C. 2018. Cycle-consistent adversarial network with polyphase U-Nets for liver lesion segmentation[EB/OL].[2018-05-17]. https://openreview.net/pdf?Id=SyQtAooiz

Krähenbühl P and Koltun V. 2012. Efficient inference in fully connected crfs with gaussian edge potentials[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1210.5644.pdf

Kriby J and Jarosz Q. 2020. TCGA-LIHC-the cancer imaging archive (tcia) public access[EB/OL].[2020-04-12] https://wiki.cancerimagingarchive.net/display/Public/TCGA-LIHC

Krizhevsky A, Sutskever I, Hinton G E. 2012. Imagenet classification with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Systems.

Landman B, Xu Z B, Igelsias J E, Styner M, Langerak T R, Klein A, Shen D G, Wang H Z, Gee J, Akhondi-Asl A, Ledig C, Fan Y, Landman B, Xu Z B, Damon S, Harrigan R and Plassard A. 2015. Multi-atlas labeling beyond the cranial vault-workshop and challenge[EB/OL].[2020-05-31]. https://www.synapse.org/#!Synapse: syn3193805/wiki/89480

Larsson G, Maire M and Shakhnarovich G. 2016. Fractalnet: ultra-deep neural networks without residuals[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1605.07648v1.pdf

Lee C Y, Xie S N, Gallagher P, Zhang Z Y and Tu Z W. 2014. Deeply-supervised nets[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1409.5185.pdf

Lei T, Zhou W Z, Zhang Y X, Wang R S, Meng H Y and Nandi A K. 2020. Lightweight V-Net for liver segmentation//Proceedings of ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Barcelona: IEEE: 1379-1383[DOI: 10.1109/ICASSP40776.2020.9053454]

Li G D, Chen X J, Shi F, Zhu W F, Tian J, Xiang D H. 2015. Automatic liver segmentation based on shape constraints and deformable graph cut in CT images. IEEE Transactions on Image Processing, 24(12): 5315-5329 [DOI:10.1109/TIP.2015.2481326]

Li S and Tso G K F. 2018. Bottleneck supervised U-Net for pixel-wise liver and tumor segmentation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1810.10331.pdf

Li X M, Chen H, Qi X J, Dou Q, Fu C W, Heng P A. 2018. H-DenseUNet:hybrid densely connected UNet for Liver and tumor segmentation from CT volumes. IEEE Transactions on Medical Imaging, 37(12): 2663-2674 [DOI:10.1109/TMI.2018.2845918]

Liu X, Shi J and Zhang Q. 2015. Tumor classification by deep polynomial network and multiple kernel learning on small ultrasound image dataset//Proceedings of the 6th International Workshop on Machine Learning in Medical Imaging. Munich: Springer: 313-320[DOI: 10.1007/978-3-319-24888-2_38]

Liu Z, Song Y Q, Sheng V S, Wang L M, Jiang R, Zhang X L, Yuan D Q. 2019. Liver CT sequence segmentation based with improved U-Net and graph cut. Expert Systems With Applications, 126: 54-63 [DOI:10.1016/j.eswa.2019.01.055]

Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 3431-3440[DOI: 10.1109/CVPR.2015.7298965]

Lu F, Wu F, Hu P J, Peng Z Y, Kong D X. 2017. Automatic 3D liver location and segmentation via convolutional neural network and graph cut. International Journal of Computer Assisted Radiology and Surgery, 12(2): 171-182 [DOI:10.1007/s11548-016-1467-3]

Luc P, Couprie C, Chintala S and Verbeek J. 2016. Semantic segmentation using adversarial networks[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1611.08408.pdf

Maninis K K, Pont-Tuset J, Arbeláez P and Van Gool L. 2016. Deep retinal image understanding//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens: Springer: 140-148[DOI: 10.1007/978-3-319-46723-8_17]

Meng L, Tian Y Y, Bu S H. 2020. Liver tumor segmentation based on 3D convolutional neural network with dual scale. Journal of Applied Clinical Medical Physics, 21(1): 144-157 [DOI:10.1002/acm2.12784]

Milletari F, Navab N and Ahmadi S A. 2016. V-net: fully convolutional neural networks for volumetric medical image segmentation//Proceedings of the 4th International Conference on 3D Vision (3DV). Stanford: IEEE: 565-571[DOI: 10.1109/3DV.2016.79]

Mirza M and Osindero S. 2014. Conditional generative adversarial nets[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1411.1784.pdf

Nasiri N, Foruzan A H, Chen Y W. 2020. Integration of a knowledge-based constraint into generative models with applications in semi-automatic segmentation of liver tumors. Biomedical Signal Processing and Control, 57 [DOI:10.1016/j.bspc.2019.101725]

Nie D, Wang L, Gao Y Z and Shen D G. 2016. Fully convolutional networks for multi-modality isointense infant brain image segmentation//Proceedings of the 13th IEEE International Symposium on Biomedical Imaging (ISBI). Prague: IEEE: 1342-1345[DOI: 10.1109/ISBI.2016.7493515]

Noh H, Hong S and Han B. 2015. Learning deconvolution network for semantic segmentation//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago: IEEE: 1520-1528[DOI: 10.1109/ICCV.2015.178]

Novikov A A, Major D, Wimmer M, Lenis D, Bühler K. 2019. Deep sequential segmentation of organs in volumetric medical scans. IEEE Transactions on Medical Imaging, 38(5): 1207-1215 [DOI:10.1109/TMI.2018.2881678]

Pandey R K, Vasan A and Ramakrishnan A G. 2018. Segmentation of liver lesions with reduced complexity deep models[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1805.09233v1.pdf

Pang S C, Du A A, Yu Z M and Orgun M A. 2020. Correlation matters: multi-scale fine-grained contextual information extraction for hepatic tumor segmentation//Proceedings of the 24th Acific-Asia Conference on Knowledge Discovery and Data Mining. Singapore: Springer: 462-474[DOI: 10.1007/978-3-030-47426-3_36]

Parker J A, Kenyon R V, Troxel D E. 1983. Comparison of interpolating methods for image resampling. IEEE Transactions on Medical Imaging, 2(1): 31-39 [DOI:10.1109/TMI.1983.4307610]

Poudel R P K, Lamata P and Montana G. 2017. Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation//Proceedings of the 1 st Reconstruction, Segmentation, and Analysis of Medical Images. Athens: Springer: 83-94[DOI: 10.1007/978-3-319-52280-7_8]

Radford A, Metz L and Chintala S. 2015. Unsupervised representation learning with deep convolutional generative adversarial networks[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1511.06434.pdf

Rafiei S, Nasr-Esfahani E, Najarian K, Karimi N, Samavi S and Reza S M. 2018. Liver segmentation in CT images using three dimensional to two dimensional fully convolutional network//Proceedings of the 25th IEEE International Conference on Image Processing (ICIP). Athens: IEEE: 2067-2071[DOI: 10.1109/ICIP.2018.8451238]

Rezaei M, Yang H J, Harmuth K and Meinel C. 2019. Conditional generative adversarial refinement networks for unbalanced medical image semantic segmentation//Proceedings of 2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa Village: IEEE: 1836-1845[DOI: 10.1109/WACV.2019.00200]

Ronneberger O, Fischer P and Brox T. 2015. U-net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer: 234-241[DOI: 10.1007/978-3-319-24574-4_28]

Roth H R, Oda H, Zhou X R, Shimizu N, Yang Y, Hayashi Y, Oda M, Fujiwara M, Misawa K, Mori K. 2018. An application of cascaded 3D fully convolutional networks for medical image segmentation. Computerized Medical Imaging and Graphics, 66: 90-99 [DOI:10.1016/j.compmedimag.2018.03.001]

Sakboonyara B and Taeprasartsit P. 2019. U-Net and mean-shift histogram for efficient liver segmentation from CT images//Proceedings of the 11th International Conference on Knowledge and Smart Technology (KST). Phuket: IEEE: 51-56[DOI: 10.1109/KST.2019.8687816]

Sandfort V, Yan K, Pickhardt P J, Summers R M. 2019. Data augmentation using generative adversarial networks (CycleGAN) to improve generalizability in CT segmentation tasks. Scientific Reports, 9(1): #16884 [DOI:10.1038/s41598-019-52737-x]

Sandler M, Howard A, Zhu M L, Zhmoginov A and Chen L C. 2018. MobileNetV2: inverted residuals and linear bottlenecks//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 4510-4520[DOI: 10.1109/CVPR.2018.00474]

Schlemper J, Oktay O, Schaap M, Heinrich M, Kainz B, Glocker B, Rueckert D. 2019. Attention gated networks:learning to leverage salient regions in medical images. Medical Image Analysis, 53: 197-207 [DOI:10.1016/j.media.2019.01.012]

Seo H, Huang C, Bassenne M, Xiao R X, Xing L. 2020. Modified U-Net (mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images. IEEE Transactions on Medical Imaging, 39(5): 1316-1325 [DOI:10.1109/TMI.2019.2948320]

Shi W Z, Caballero J, Huszár F, Totz J, Aitken A P, Bishop R, Rueckert D and Wang Z H. 2016. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 1874-1883[DOI: 10.1109/CVPR.2016.207]

Shi X J, Chen Z R, Wang H, Yeung D Y, Wong W K and Woo W C. 2015. Convolutional LSTM network: a machine learning approach for precipitation nowcasting//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal: ACM: 802-810

Simonyan K and Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1409.1556.pdf

Sirlin C B, Hussain H K, Jonas E, Kanematsu M, Lee M J, Merkle E M, Peck-Radosavljevic M, Reeder S B, Ricke J, Sakamoto M. 2014. Consensus report from the 6th International forum for liver MRI using gadoxetic acid. Journal of Magnetic Resonance Imaging, 40(3): 516-529 [DOI:10.1002/jmri.24419]

Sun C J, Guo S X, Zhang H M, Li J, Chen M M, Ma S Z, Jin L Y, Liu X M, Li X Y, Qian X H. 2017. Automatic segmentation of liver tumors from multiphase contrast-enhanced CT images based on FCNs. Artificial Intelligence in Medicine, 83: 58-66 [DOI:10.1016/j.artmed.2017.03.008]

Szegedy C, Ioffe S, Vanhoucke V and Alemi A. 2016. Inception-v4, inception-resnet and the impact of residual connections on learning[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1602.07261.pdf

Tang Y B, Cai J Z, Lu L, Harrison A P, Yan K, Xiao J, Yang L and Summers R M. 2018. CT image enhancement using stacked generative adversarial networks and transfer learning for lesion segmentation improvement//Proceedings of the 9th International Workshop on Machine Learning in Medical Imaging. Granada: Springer: 46-54[DOI: 10.1007/978-3-030-00919-9_6]

Vorontsov E, Tang A, Pal C and Kadoury S. 2018. Liver lesion segmentation informed by joint liver segmentation//Proceedings of the 15th IEEE International Symposium on Biomedical Imaging (ISBI 2018). Washington: IEEE: 1332-1335[DOI: 10.1109/ISBI.2018.8363817]

Wang C, Song H, Chen L, Li Q, Yang J, Hu X T and Zhang L. 2018. Automatic liver segmentation using multi-plane integrated fully convolutional neural networks//Proceedings of 2018 IEEE International Conference on Bioinformatics and Biomedicine (BIBM). Madrid: IEEE: 1-6[DOI: 10.1109/BIBM.2018.8621257]

Wang Z G, Wang G L. 2018. Triplanar convolutional neural network for automatic liver and tumor image segmentation. International Journal of Performability Engineering, 14(12): 3151-3158 [DOI:10.23940/ijpe.18.12.p24.31513158]

Xia K J, Yin H S, Qian P J, Jiang Y Z, Wang S H. 2019. Liver semantic segmentation algorithm based on improved deep adversarial networks in combination of weighted loss function on abdominal CT images. IEEE Access, 7: 96349-96358 [DOI:10.1109/ACCESS.2019.2929270]

Xiao X J, Zhao J J, Qiang Y, Chong J, Yang X T, Kazihise N G F, Chen B and Li S. 2019. Radiomics-guided GAN for segmentation of liver tumor without contrast agents//Proceedings of the 22nd International Conference on Medical Image Computing and Computer-Assisted Intervention. Shenzhen: Springer: 237-245[DOI: 10.1007/978-3-030-32245-8_27]

Xu P L, Chen C, Wang X Y, Li W T, Sun J Q. 2020. ROI-based intraoperative MR-CT registration for image-guided multimode tumor ablation therapy in hepatic malignant tumors. IEEE Access, 8: 13613-13619 [DOI:10.1109/ACCESS.2020.2966518]

Yang D, Xu D G, Zhou S K, Georgescu B, Chen M Q, Grbic S, Metaxas D and Comaniciu D. 2017. Automatic liver segmentation using an adversarial image-to-image network//Proceedings of the 20th International Conference on Medical Image Computing and Computer-Assisted Intervention. Quebec City: Springer: 507-515[DOI: 10.1007/978-3-319-66179-7_58]

Yu F and Koltun V. 2015. Multi-scale context aggregation by dilated convolutions[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1511.07122.pdf

Yuan Y D. 2017. Hierarchical convolutional-deconvolutional neural networks for automatic liver and tumor segmentation[EB/OL].[2020-04-12]. https://arxiv.org/pdf/1710.04540v1.pdf

Yuan Y D, Chao M, Lo Y C. 2017. Automatic skin lesion segmentation using deep fully convolutional networks with jaccard distance. IEEE Transactions on Medical Imaging, 36(9): 1876-1886 [DOI:10.1109/TMI.2017.2695227]

Zhang J P, Xie Y T, Zhang P P, Chen H, Xia Y and Shen C H. 2019. Light-weight hybrid convolutional network for liver tumor segmentation//Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao: Morgan Kaufmann: 4271-4277[DOI: 10.24963/ijcai.2019/593]

Zhang Y, Jiang B X, Wu J, Ji D C, Liu Y L, Chen Y Y, Wu E X, Tang X Y. 2020. Deep learning initialized and gradient enhanced level-set based segmentation for liver tumor from CT images. IEEE Access, 8: 76056-76068 [DOI:10.1109/ACCESS.2020.2988647]

Zhang Y, Jiang X, Zhong C, Zhang Y, Shi Z C, Li Z S and He Z Q. 2018. SequentialSegNet: combination with sequential feature for multi-organ segmentation//Proceedings of the 24th International Conference on Pattern Recognition (ICPR). Beijing: IEEE: 3947-3952[DOI: 10.1109/ICPR.2018.8546017]

Zhou Z W, Siddiquee M R, Tajbakhsh N and Liang J M. 2018. UNet++: a nested U-Net architecture for medical image segmentation//Proceedings of the 4th International Workshop on Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Granada: Springer: 3-11[DOI: 10.1007/978-3-030-00889-5_1]

Zhu Y S, Zhao C Y, Guo H Y, Wang J Q, Zhao X, Lu H Q. 2019. Attention CoupleNet:fully convolutional attention coupling network for object detection. IEEE Transactions on Image Processing, 28(1): 113-126 [DOI:10.1109/TIP.2018.2865280]