Print

发布时间: 2021-09-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200704
2021 | Volume 26 | Number 9




    综述    




  <<上一篇 




  下一篇>> 





U-Net网络医学图像分割应用综述
expand article info 周涛1,2, 董雅丽1, 霍兵强1, 刘珊1, 马宗军3
1. 北方民族大学计算机科学与工程学院, 银川 750021;
2. 北方民族大学图像图形智能处理国家民委重点实验室, 银川 750021;
3. 宁夏医科大学总医院骨科, 银川 750004

摘要

病灶精确分割对患者病情评估和治疗方案制定有重要意义,由于医学图像中病灶与周围组织的对比度低,同一疾病病灶边缘和形状存在很大差异,从而增加了分割难度。U-Net是近些年深度学习研究中的热点,为医生提供了一致性的量化病灶方法,一定程度上提高了分割性能,广泛应用于医学图像语义分割领域。本文对U-Net网络进行全面综述。阐述U-Net网络的基本结构和工作原理;从编码器个数、多个U-Net级联、与U-Net结合的其他模型以及3D U-Net等方面对U-Net网络模型的改进进行总结;从卷积操作、下采样操作、上采样操作、跳跃连接、模型优化策略和数据增强等方面对U-Net网络结构改进进行总结;从残差思想、密集思想、注意力机制和多机制组合等方面对U-Net的改进机制进行总结;对U-Net网络未来的发展方向进行展望。本文对U-Net网络的原理、结构和模型进行详细总结,对U-Net网络的发展具有一定积极意义。

关键词

U-Net; 医学图像; 语义分割; 网络结构; 网络模型

U-Net and its applications in medical image segmentation: a review
expand article info Zhou Tao1,2, Dong Yali1, Huo Bingqiang1, Liu Shan1, Ma Zongjun3
1. College of Computer Science and Engineering, North Minzu University, Yinchuan 750021, China;
2. The Key Laboratory of Images and Graphics Intelligent Processing of State Ethnic Affairs Commission, North Minzu University, Yinchuan 750021, China;
3. Department of Orthopedics, General Hospital of Ningxia Medical University, Yinchuan 750004, China
Supported by: National Natural Science Foundation of China (62062003)

Abstract

Medical imaging has been a proactive tool for doctors to diagnose and treat diseases via the qualitative and quantitative analyses based on non-invasive lesions. Medical images have been interpreted via computer tomography (CT), X-ray, magnetic resonance imaging (MRI) and positron emission tomography (PET). The barriers of medical image segmentation need to be resolved due to low contrast amongst the lesion, the surrounding tissue and blurred edges of the lesion. Labeling manually for hundreds of slices of organs or lesions has been quite time-consuming due to anatomy of the human body and shape of lesions. Manual labeling has intended to high subjective and low reproducibility. Doctors have been beneficial from a automatically locating, segmenting and quantifying lesions. Deep learning has been used widely in medical image processing. Deep learning-based U-Net has played a key role in the lesions segmentation. The encoding and decoding ways has made U-Net structures simply and symmetrically. Features extraction of medical images has been realized via convolution and down-sampling operations. The image segmentation mask via the transposed convolution and concatenation has been interpreted. A small-sized dataset has achieved qualified medical image segmentation. U-Net has been summarized and analyzed on the four aspects: the definition of U-Net, the upgrading of U-Net model, the setup of U-Net structure and the mechanism of U-Net. Four research areas have been proposed as below: 1) the basic structure and working principle of U-Net via convolution operation, down sampling, up sampling and concatenation. 2) U-Net network model have been demonstrated in three aspects in the context of the number of encoders, multiple U-Net cascades and other models combined with U-Net. U-Net based network have been divided into two, three and four encoders further in terms of the amount of encoders: Y-Net, Ψ-Net and multi-path dense U-Net. Multiple U-Nets cascade has been categorized into multiple U-Nets in series and multiple U-Nets in parallel based on the cascades mode of multiple U-Nets. In addition U-Net has improved the segmentation performance on the aspects of dual tree complex wavelet transform, local difference method, level set, random walk, graph cutting, CNNs(convolutional neural networks) and deep reinforcement learning. The upgrading of U-Net network structure have been divided into six subcategories including image augmentation, convolution operation, down-sampling operation, up-sampling operation, model optimization strategies and concatenation. Image enhancement has be divided into elastic deformation, geometric transformation, generative adversarial networks (GAN), Wasserstein generative adversarial networks (WGAN) and real-time image enhancement further. The convolution operation has been improved via padding mode and convolution redesign. The padding mode mentioned has adapted constant padding, zero padding, replication padding and reflection padding and improvements to dilated convolution, inception module and asymmetric convolution. The down-sampling has been improved via max-pooling, average-pooling, stride convolution, dilated convolution, inception module and spatial pyramid pooling. Several up-sampling improvements have illustrated simultaneously via sub-pixel convolution, transposed convolution, nearest neighbor interpolation, bilinear interpolation and trilinear interpolation. Model optimization strategies have been divided into two aspects in detail of activation function and normalization, the improvements of activation function includes rectified linear unit(ReLU), parametric ReLU(PReLU), random ReLU(RReLU), leaky ReLU(LReLU), hard exponential linear sigmoid squahing(HardELiSH) and exponential linear sigmoid squashing(ELiSH), and normalization method. The improvements have been to shown based on batch normalization, group normalization, instance normalization and layer normalization. The concatenation based improvement has been one of the future research area. The current concatenation improvements have been mainly realized via attention mechanism, new concatenation, feature reuse and de-convolution with activation function, annotation information fusion from Siamese network. The improved mechanisms in the U-Net network have been emphasized based on residual mechanism, dense mechanism, attention mechanism and the multi-mechanisms integration. The segmentation performance of the network can be enhanced. The further four research areas in U-Net have been illustrated as below: 1) the generalization of deep learning methods cannot be customized to fit the segmentation network for specific scenarios in the future. 2) Supervised deep learning models have required a lot of annotated images labeled for treatment. Unsupervised and semi-supervised deep learning models have been a vital research work further. 3) The low interpretability of U-Net network has lead the low acceptance in the mechanism of its operation.4) More accurate segmentation mask with fewer parameters has been obtained via good quality network structure. The precise manual segmentation has been so time-consuming and labor intensive. The simplified and quick semi-automatic segmentation has relied on the parameters and user-specified image preprocessing. The deep learning-based U-Net network has been segmented the lesions quickly, accurately and consistently. The structure, improvements and further research areas of U-Net network have been analyzed to the development of U-Net network.

Key words

U-Net; medical image; semantic segmentation; network structure; network model

0 引言

医学影像对疾病的诊断、治疗和评估有重要意义,其无创的成像方式实现了疾病定位、定性和定量分析。医学成像种类繁多,常见的有计算机断层扫描技术、X光、磁共振成像和正电子发射计算机断层显像等。目前临床医生量化病变是一项耗时的工作,需要医生逐一对切片手动标注,这种标注方式具有一定的主观性,再现性低,不同医生之间分割差异大。因此一个一致的自动定位、分割和量化病灶方法能为临床医生的工作带来极大的帮助。

深度学习在计算机视觉中的卓越性能受到越来越多的关注。卷积神经网络(convolutional neural network,CNN)作为深度学习经典应用结构,一般由卷积层、池化层和全连接层构成,能够从海量数据中自动提取特征且具有良好的泛化能力,在目标检测、图像分割和图像分类领域得到越来越多的应用。图像语义分割是图像分割的重要分支,其为图像中的每一类像素分配一个语义类别的标签(青晨等,2020),是图像像素级别的分类。Long等人(2015)提出基于语义分割的全卷积神经网络(fully convolutional networks,FCN),将CNN中的全连接层替换成卷积层。Ronneberger等人(2015)在FCN的基础上提出端对端编码器—解码器结构的U-Net网络,克服了FCN不能保留部分像素空间位置信息和上下文信息导致局部特征和全局特征丢失的缺点(田萱等,2019)。Liu等人(2020)指出U型端对端的网络是性能最好的医学图像分割架构。Zhou等人(2018)提出U-Net + +网络,改变了原始U-Net网络层数,重新设计原网络中的跳跃连接,添加深度监督对不同分割任务剪枝到合适的网络,达到很好的分割效果。Mehta和Sivaswamy(2017)在U-Net基础上提出M-Net网络,用于大脑磁共振成像(magnetic resonance imaging, MRI)图像分割,在分割体积方面比随机森林(random forest)和2D CNN方法快3倍。图像语义分割方法U-Net已经成为最受欢迎的深度学习技术之一(Alom等,2018)。

由于U-Net在图像分割中的卓越性能,已广泛应用于眼部、心脏、肝脏、脑部、皮肤、前列腺和乳腺等器官的病灶分割。Li等人(2020a)提出基于注意力的嵌套细分网络(attention nested U-Net,ANU-Net)用于器官癌分割,网络引入重新设计的密集跳跃连接和注意力机制,并且设计新的混合损失函数,提出的方法在肝脏肿瘤分割数据集LiTS(liver tumor segmentation)、结合健康腹部器官分割CHAOS(combined healthy abdominal organ segmentation)数据集上均取得不错的分割效果。Zhang等人(2020a)提出DIU-Net(dense-inception U-Net)网络,应用于视网膜血管图像、肺部计算机断层扫描(computed tomography,CT)图像和脑肿瘤的磁共振成像(MRI)图像分割,将Inception模块和密集连接模块集成到U-Net网络,增加网络的宽度和深度,使网络可以学习更多特征。

本文全面总结了U-Net网络的发展。1)阐述U-Net网络基本原理;2)从编码器个数、多重U-Net、与其他模型结合和3D U-Net网络等4个方面对网络模型改进进行总结;3)对U-Net网络结构的数据增强、卷积操作、上采样操作、下采样操作、模型优化策略和跳跃连接等6个方面进行总结;4)针对U-Net改进机制,从残差思想、密集思想、注意力机制和多种机制组合等4个方面进行总结;5)对U-Net网络面临的挑战进行总结,展望未来U-Net网络发展方向。

1 U-Net网络基本原理

Ronneberger等人(2015)提出U-Net网络,由于其网络结构“U”型而得名,是由卷积、下采样、上采样和拼接操作组成的编码器—解码器对称网络。典型的U-Net网络如图 1所示。网络左半部分是收缩路径,右半部分是扩展路径。

图 1 U-Net网络基本架构
Fig. 1 U-Net basic architecture

U-Net网络收缩路径提取图像的重要特征并降低图像分辨率,由4个块组成,每个块包含两次3×3 Valid卷积、ReLU和1次下采样操作,使用3×3卷积核的目的是使神经网络复杂性最小化,且保持分割精度(Szegedy等,2016)。U-Net网络对输入尺寸388×388像素的图像进行镜像边缘操作。镜像操作是给图像边缘添加一圈与边缘像素镜像对称的边,优点是网络能更好地处理图像边缘信息。经过这一操作,输入图像尺寸变为572×572像素。然后重复两次3×3 Valid卷积操作和ReLU激活。ReLU激活函数能够加快收敛速度并且避免梯度消失。进行下采样操作,使用2×2最大池化操作降低图像分辨率并保留图像重要信息,但池化操作在提取图像特征的同时也会丢失部分特征。每次下采样后图像的维度增加为原来的二倍,尺寸减半,经过重复上述4次操作,特征图维度从最初的64变为512,特征图大小为32×32像素。

U-Net网络扩展路径逐步修复图像细节,精确定位病灶位置,将图像恢复输入图像尺寸大小。扩展路径同样包含4个块,每个块包含两次3×3 Valid卷积、ReLU和1次上采样操作。上采样操作是为了将下采样操作得到的图像抽象特征再还原解码到原图尺寸。每次上采样操作之后,特征图的尺寸扩大为原来的2倍,同时将通道数减半,最终输出特征图尺寸是388×388像素。收缩路径和扩展路径之间添加了跳跃连接用于像素点的定位,不同于FCN的加操作(summation),U-Net使用拼接操作(concatenation),将同一层收缩路径的特征图裁剪到与扩展路径大小相同,然后进行拼接操作,有助于还原下采样过程中的信息损失。

2 U-Net网络改进

U-Net网络对称的编码器—解码器结构在图像分割领域取得了较好效果,很多图像分割网络都在其基础上改进。U-Net网络模型的改进如图 2所示。

图 2 U-Net网络模型发展
Fig. 2 U-Net model development

2.1 编码器个数改进

U-Net编码器从图像中提取特征,解码器将提取到的特征图恢复到原图大小。对编码器个数的改进主要有Y-Net、Ψ-Net和多路径密集U-Net。

针对重建初始光学压力分布中单独对原始PA (photoacoustic)信号或波束成形图像处理难以为复杂目标映射逆模型的问题,Lan等人(2020)提出Y-Net网络,如图 3所示。该网络结构呈“Y”型,由两个编码器和一个解码器组成,两个编码器结构能够获取原始PA信号和波束成形图像的更多信息。将原始PA信号输入编码器Ⅰ,然后对原始PA信号进行延时相加(delay-and-sum,DAS)处理,生成波束成形图像输入到编码器Ⅱ。编码器Ⅰ和编码器Ⅱ分别对物理特征和纹理特征进行编码,最后解码器将两个编码器输出的特征连接起来生成最后分割结果。

图 3 Y-Net网络(Lan等,2020)
Fig. 3 Y-Net (Lan et al., 2020)

针对不规则形状和位置的脑内出血区域与周围组织对比度低、分割难度大的问题,Kuang等人(2020)提出Ψ-Net,如图 4所示。网络呈希腊字母“Ψ”型,其网络有3个批次编码层和1个解码器,编码器分别处理要分割的切片及其相邻的两个切片,其中自我注意力块应用在编码层,上下文注意力块应用在解码层。这种设计不但有助于提取全局特征能力,抑制无关信息并且通过上下文注意力块改善局部细节的恢复。

图 4 Ψ-Net网络(Kuang等,2020)
Fig. 4 Ψ-Net (Kuang et al., 2020)

针对缺血性脑卒中病变分割方法没有充分利用多模态数据信息的问题,Dolz等人(2019)提出多路径密集U-Net,为了提取不同脑部成像的特征,编码路径的输入包括弥散加权图(diffusion-weighted imaging,DWI)、脑血容量(cerebral blood volume, CBV)、CT脑灌注成像(CT perfusion imaging,CTP)、和血液通过病灶的平均时间(mean transit time,MTT),如图 5所示。该网络在编码部分引入超密集思想,充分利用各个模态的病灶特征,缓解梯度消失问题,除此之外,各个输入之间彼此连接能够在少量训练集的情况下有效减少过拟合问题;针对各个模态中病灶大小不同的情况,网络引入了InceptionNet的卷积模块,从而通过不同的感受野学习上下文信息。

图 5 多路径密集U-Net(Dolz等,2019)
Fig. 5 Multi-path dense U-Net (Dolz et al., 2019)

2.2 多重U-Net网络

多重U-Net网络使用多个U-Net获取图像的更多特征和多尺度信息,从而提高分割精度。多重U-Net串连将前一个网络的输出结果作为后一个网络的输入内容。Xia和Kulis(2017)提出完全无监督的W-Net(如图 6所示)用于图像分割,将U-Net网络分别嵌套到编码器—解码器框架,左、右侧U-Net分别为收缩路径和扩展路径,该网络通过迭代最小化解码器的重构误差使编码过程包含更多输入信息,编码器的软归一化剪切在反向传播中更新梯度。除了W-Net第1层之外,其余层数卷积操作均使用深度可分离卷积提高分割性能。在W-Net网络架构基础上,Xu等人(2020)Das等人(2019)分别提出DW-Net(dilated W-Net)和WRC-Net(contour-aware residual W-Net),DW-Net在W-Net的基础上加入膨胀卷积链(dilated convolutional chain, DCC)用于胎儿超声心动图分割。DCC获取多尺度上下文信息和心室的精确定位,而W-Net能够获得更精确的边界信息和分割结果。WRC-Net用于核分割,架构中第1个U-Net学习预测核边界,第2个U-Net生成分割图,且在两个U-Net卷积操作使用残差单元提高特征提取能力。为了提高肝脏分割精度,Liu等人(2019a)提出两个R-U-Net和1个中间处理单元串连的CR-U-Net(cascaded residual U-Net),其中R-U-Net(residual U-Net)每个卷积操作包含残差映射结构。该网络首先对CT图像预处理,去除其他无关细节并增强图像对比度和清晰度;然后将预处理后的CT图像和分割标签图像输入4层R-U-Net网络初步分割肝脏图像;其次使用形态技术作为中间处理单元,对4层R-U-Net网络分割错误的像素使用半径为5的关闭和打开操作恢复错误分割的正样本像素,并消除背景的干扰像素;最后将经过中间处理的CT图像输入5层R-U-Net网络,提取更多特征得到更精确的分割结果。针对U-Net下采样过多导致视网膜血管细节丢失以及参数过多导致的过拟合问题,Hu等人(2019)提出S-U-Net(salient U-Net)级联网络,该网络由多个极少参数的Mi-U-Net(minimal U-Net)串连。Mi-U-Net能够避免因数据集样本量小导致的过拟合问题,网络将前一个Mi-U-Net网络的前景特征作为下一个Mi-U-Net网络块的前景注意信息,从而增强输入图像并继承之前块的学习经验。针对全心分割的复杂性和特殊性,Liu等人(2019b)提出U-Net和自适应阈值窗口的两阶段全心子结构分割方法,该网络将一个U-Net和并行的多个U-Net串连,使用自适应阈值窗方法最小化噪声,并改进权重图使得网络学习心脏结构边缘部分。第1阶段使用U-Net对阈值切割后的原始图像进行全心脏分割;在第2阶段中,首先计算第1阶段得到的全心分割图像的7个子结构的权重图,然后对要分割的7个心脏子结构图进行阈值切割,将7个子结构的权重图和阈值切割图像分别输入到U-Net中,最终分割出心脏各个子结构。Tang等人(2020)为了提升堆叠式U-Net效率,提出耦合U-Net网络,将自顶向下或自底向上的上下文中具有相同分辨率的块连接到后续的U-Net中,实现了轻量级U-Net。CU-Net(coupled U-Nets)的每个块都是一个瓶颈模块,是密集U-Net和堆叠U-Net的结合,为了减少冗余参数,提高参数效率,网络引入order-K耦合和迭代细化。CMU-Net(cascading modular U-Nets)(Kang等,2021)网络通过模块化和级联预先训练好的U-Net用于文档图像二值化,解决样本缺乏问题。级联U-Net通过使用模块间跳跃连接的串连方式减少各层有用特征丢失的问题。

图 6 W-Net网络(Xia和Kulis,2017)
Fig. 6 W-Net (Xia and Kulis, 2017)

多重U-Net并行采用并行的方式将U-Net网络组合,针对网络中不同U-Net网络赋予其不同的功能,并输入不同类型的图像。针对肿瘤细胞核边界模糊和细胞重叠分割精度不高的问题,Zhao等人(2020a)提出Triple U-net用于病理癌症中的核分割,网络有三重U-Net, 分别是RGB分支、分割分支和H分支。其中RGB分支和H分支分别提取原始H&E染色图像特征和苏木精浓度图像核轮廓检测的特征,分割分支使用渐进密集特征聚合(progressive dense feature aggregation module,PDFA)模块对其他两个分支得到的特征进行融合,得到最终分割结果。Lee等人(2020)提出Multi-scale U-Net(Mu-Net)网络用于两次双光子显微镜3D图像的降噪,网络由多个比例不相同的U-Net网络并行,其中每个U-Net处理不同比例的图像。网络通过对原始图像不断下采样产生后续U-Net网络的输入图像,实现从粗到精的图像重建,并从低频到高频构建目标输出。为了提高对遥感图像的建筑物分割性能,Zhang等人(2019b)提出集成U-Net网络,首先将图像分别输入U-Net、残差U-Net和Inception U-Net等3个网络,这3种网络分别由正常卷积块、残差块和Inception模块组成,将得到的3种不同建筑分割结果采用简单多数投票规则,最终得到最佳分割结果。

Li等人(2020c)针对考虑瓶颈特征向量很少的问题,提出瓶颈特征监督的U-Net用于对肝脏CT图像进行分割,网络结构如图 7所示(原图分割U-Net的跳跃连接是从解码路径连接到编码路径,本文将跳跃连接方向调整为编码路径连接到解码路径)。该网络包括一个以图像标签为输入的编码U-Net和一个以图像为输入的分割U-Net,网络编码路径包括密集块、Inception块和膨胀卷积,提高特征重用率,获得更大的感受野。两个U-Net网络的最底层由瓶颈层组成,瓶颈特征向量包含输入图像高度浓缩信息。网络将编码U-Net中的瓶颈特征向量作为额外的监督训练分割U-Net,减少信息丢失,使网络更关注肝脏边界区域。网络总损失函数是两个瓶颈特征向量的欧几里得损失和输出与标签图之间的Dice损失的加权平均值。

图 7 瓶颈特征监督U-Net(Li等,2020c)
Fig. 7 Bottleneck feature supervised U-Net (Li et al., 2020c)

2.3 与其他模型结合

U-Net与其他方法结合的分割结果也得到良好性能,主要有双树复小波变换(dual-tree complex wavelet transform,DTCWT)和频域U-Net、局部差分法和U-Net、水平集和U-Net、随机游走和U-Net、图割法和U-Net、CNN和U-Net、深度强化学习和U-Net等7种结合方法。

李建飞等人(2020b)提出双树复小波变换和频域U-Net的图像融合算法,提高肿瘤分割准确性,降低荧光图像中的噪声。首先对彩色图像和荧光图像进行DTCWT分解得到高低频分量,然后对荧光图像的低频子带使用频域U-Net进行分割。其次对分割后的感兴趣区域(region of interest,ROI)采用高频取绝对值较大者、低频加权相加的融合规则进行融合。最后对DTCWT逆变换重构得到融合图像。张天麒等人(2020d)将U-Net和局部差分方法结合用于CT图像脑出血识别。首先使用阈值分割算法过滤血块图像中的无用信息,并提取特征进而定位出血点,然后使用U-Net对脑实质区域分割,最后对U-Net分割后的结果使用局部差分法对边缘轮廓修正,但该方法目前存在识别结果假阳性率高的缺点。Yang等人(2020)针对不同切片心脏区域的心脏轮廓形状之间重叠导致分割困难的问题,提出结合水平集和U-Net的自动分割医学图像方法。首先使用U-Net的分割结果和人工分割结果分别作为全自动和半自动的约束项,将约束项附加到能量函数中,然后使用分裂布雷格曼方法对能量函数最小化,最后对模型不断迭代直到能量函数最小化。Zhang等人(2020b)针对宫颈涂片图像的细胞团中细胞质和细胞核分割困难问题,提出基于注意力U-Net(attention U-Net,ATT U-Net)网络和基于图的随机游走的网络框架。首先通过ATT U-Net将细胞团与细胞核分离,然后将删除伪核后的图像从笛卡尔坐标转化为极坐标,并将转换后的图像输入到ATT U-Net网络预测细胞质,最后使用基于图的随机游走提取细胞质的轮廓。Liu等人(2019c)针对CT图像肝脏和周围器官对比度低且不同肝脏差异大的问题,提出U-Net与图割法结合的肝脏分割方法。首先使用改进的U-Net分割出肝脏,并获得肝脏概率分布图,然后利用肝脏序列图像的上下文信息和肝脏概率分布图构建图割能量函数,最后通过最小化图割能量函数完成分割。Wu等人(2020)针对MRI图像中左心室分割存在困难的问题,提出结合CNN和U-Net的复合模型来准确分割MRI图像的左心室。该网络使用CNN定位感兴趣区域(ROI),并将获得的ROI输入到U-Net网络实现左心室的分割。Man等人(2019)提出一种基于深度强化学习驱动的可变形U-Net网络,针对图像背景复杂性难以定位病灶的问题,提出强化Q学习。该网络首先对胰腺病人冠状位、矢状位和横断位的切片使用强化学习裁剪胰腺区域;然后使用可变形卷积的U-Net网络对3个切片病灶进行分割,其中可变形卷积根据感受野和病灶形状自动变形;最后将同一视角下的图像分割结果重新堆叠得到最终3D分割体积。

2.4 3D U-Net网络

3D医学图像较2D图像包含更多的空间结构信息,在疾病诊断和治疗中占有重要地位。2D U-Net处理3D医学图像对时间和计算成本要求很高,并且忽略了体素的空间结构信息。3D U-Net能利用3D图像层间信息,但是面临计算成本高的问题。Hu等人(2018)提出基于U-Net的2.5D分割网络,使用3个2D U-Net网络对矢状位、冠状位和横断位的2D鼻咽癌切片分割。为了得到更精细的分割结果,对3个方位的预测概率图进行平均,经过整合之后生成最终的3D分割结果。网络通过对3个方位的预测概率图进行融合获取更多特征信息,虽然计算复杂度低,但较3D U-Net分割效率较低。

3D U-Net网络主要分为两种类型,一种是使用2D U-Net对相邻切片或矢状、冠状和横断切片分割,将最终分割结果堆叠。Man等人(2019)针对胰腺患者的冠状位、矢状位和横断位的切片分别使用由可变形卷积组成的2D U-Net网络分割,将3个方位切片的最终分割结果堆叠得到胰腺3D病灶。另一种是基于体素分割,充分利用3D上下文信息。Çiçek等人(2016)提出3D U-Net,将2D U-Net网络扩展到3D空间,包含抽象特征的分析路径和产生分割的合成路径,并在两个路径之间建立捷径。Milletari等人(2016)提出V-Net体积卷积神经网络,用于分割前列腺体积,使用基于Dice的损失函数解决像素比率不均衡问题。Dou等人(2017)提出改进的3D全卷积网络(3D deeply supervised network, 3D DSN),用于CT图像的肝脏分割和MRI图像的心脏血管分割,使用3D监督机制在训练数据有限的情况下,加快深层网络的收敛速度。针对2D U-Net不能利用3D图像层间信息的缺点,Chen等人(2018)提出VoxResNet网络,用于脑组织分割,针对3D网络加深导致性能下降的问题,使用残差块加深体素块获得更多的多模态和上下文信息,从而缓解网络退化。

3 U-Net网络结构改进

U-Net结构改进包括数据增强、卷积操作、下采样操作、上采样操作、模型优化策略和跳跃连接。如图 8所示。

图 8 U-Net网络结构改进
Fig. 8 U-Net network structure improvement

3.1 数据增强

数据增强是对原样本图像进行几何变换、添加噪声和插值等操作增大样本量,提高模型的泛化能力。U-Net网络针对医学图像样本量有限问题,使用弹性形变进行数据增强,包括弹性形变(elastic transform)、几何变换(geometric transformations)、生成对抗网络(generative adversarial network,GAN)、WGAN(Wasserstein GAN)和实时增强器等方法。

弹性形变和几何变换是数据增强的常用方法。弹性形变是对图像像素点各维度产生随机标准偏差,偏差范围为(-1, 1),并对各维度的偏差矩阵进行高斯滤波,最后用放大系数控制偏差范围(Simard等,2003)。几何变换不改变图像的像素值,将图像中的坐标位置按某种空间映射关系映射到另一幅图像中的新坐标位置,包括对图像进行平移变换、旋转反射变换、翻转变换、缩放变换和裁剪等。生成对抗网络(Goodfellow等,2014)是一种博弈论的生成模型,由一个生成器和一个判别器组成,生成器负责生成新样本,判别器负责辨别输入是合成图像还是真实图像。根据判别器的反馈,生成器创建更高质量的图像。WGAN(Arjovsky等,2017)在GAN网络的基础上进行改进,解决了GAN网络训练不稳定的问题,并且不需要精心设计网络架构。Zhang和Sheng(2020c)针对微震信噪比较低的问题,提出RLU-Net(residual link nested U-Net)网络,使用WGAN网络进行样本增强。为了提高网络分割效果,Yang等人(2019a)提出实时数据增强器,可以使CPU在GPU上执行训练过程时增强图像,在训练过程中可以立即从始终充满增强图像的缓冲区中读取图像。

3.2 卷积操作

卷积操作从输入图像中提取有用特征,U-Net网络卷积操作后均使用激活函数和归一化加速网络收敛并解决梯度消失问题。针对卷积操作的改进主要包括卷积块和卷积填充方式的改进。

3.2.1 卷积块改进

卷积块改进包括非对称卷积(asymmetric convolution)、膨胀卷积(dilated convolution)和添加Inception模块。

非对称卷积是将n×n的卷积拆解为1个n×1的卷积, 再串联1个1×n的卷积(Szegedy等,2016)。例如3×3标准卷积可以分解为1×3、3×1单个卷积操作,可以得到与3×3卷积相同的效果,但减少了运算量和网络参数。张翠军等人(2021)提出针对遥感图像中建筑物变化检测改进U-Net的网络,将U-Net网络中的收缩路径的卷积操作替换成非对称卷积块,可以避免过拟合现象。

膨胀卷积是在原卷积核的基础上,通过调整膨胀率进行采样,在不增加计算参数量的情况下增大感受野,使每个卷积输出都含有较大范围的特征信息(Scherer等,2010)。膨胀卷积存在两个缺点:1)膨胀卷积多次叠加之后,由于内核不连续,不能将图像中的像素全部应用,导致得到的信息不连续(Wang等,2017);2)使用膨胀卷积分割图像中相对大的目标能够提升速度和精度,但是对于图像中比较小的目标,空洞卷积的性能将会下降(Chen等,2017)。图 9为膨胀卷积示意图,卷积核尺寸为3×3,对图 9(a)中3×3 patch每行每列隔开一定像素之后进行卷积核运算。Byra等人(2020)提出选择性内核(selective kernel,SK)U-Net网络,用于分割乳房超声图像中的肿块,SK块包括1个3×3的膨胀率为2的膨胀卷积和1个3×3的常规卷积。网络中的SK块可以自适应调整网络的接收场,并且使用不同卷积确定的特征图。Li等人(2020c)提出瓶颈特征监督的U-Net,用于对肝脏CT图像进行分割,该网络引入膨胀卷积,从而得到了更大的接收场,可以获得更多的信息。

图 9 膨胀卷积(Scherer等,2010)
Fig. 9 Dilated convolution (Scherer et al., 2010)
((a) dilation rate=1; (b) dilation rate=2; (c) dilation rate=3)

深度卷积网络GoogLeNet (Szegedy等,2015)由Inception模块组成,通过1×1、3×3和5×5大小卷积核并行卷积提取多尺度特征,Inception模块如图 10所示。模块第一层两个1×1卷积能融合前一层通道间的特征,降低维度,减少计算复杂度。该模块在拓宽网络宽度和深度的同时,不增加参数量。

图 10 Inception-V1结构(Szegedy等,2015)
Fig. 10 Inception V1(Szegedy et al., 2015)

3.2.2 卷积填充方式改进

U-Net网络采用Valid卷积,Valid卷积操作从输入图像中提取特征,缺点是为U-Net网络跳跃连接合并特征图的裁边操作增加了难度,并且导致分割前后的图像大小不一致。对此,采用Same卷积,包括零填充、镜像填充、常数填充和重复填充。零填充即在图像外围填充零,虽然保证图像尺寸不变,但是会引起伪影。SEWU-Net(speech enhancement wave U-Net)(Guimarães等,2020)网络使用镜像填充代替零填充,对图像外围填充与边缘镜像对称的值。常数填充即用指定常数填充,重复填充即重复图像的边缘像素值。Same卷积的4种填充方式如图 11所示。

图 11 Same卷积填充方式
Fig. 11 Same convolution filling method

3.3 上采样操作

上采样操作旨在对卷积操作提取特征之后的特征图还原到原图大小,主要有转置卷积(transpose convolution)、最近邻插值、双线性插值、三线性插值和子像素卷积(sub-pixel convolutional)5种常用方法。

转置卷积也称为逆卷积或分数步长卷积,如图 12所示。工作原理为$ \boldsymbol{I}^{\mathrm{T}} * \boldsymbol{C}=\boldsymbol{O}^{\mathrm{T}}$,其中,I表示向量化的上采样之前的图像,C表示向量化的卷积矩阵,O表示输出特征向量,缺点是生成的图像容易造成棋盘效应。

图 12 卷积和转置卷积
Fig. 12 Convolution and transpose convolution
((a) 3×3 convolution (no padding, stride = 2); (b) transpose convolution)

最近邻插值即输出的像素值等于四邻域内与其最近的像素值。设待求像素坐标为(i + u, j + v)(i, j为正整数,0 ≤ u < 1,0 ≤ v < 1),则待求像素灰度值如图 13所示。若待求像素点落在A区,则待求像素点的值等于坐标(i, j)的值,落在B区则赋值右上角的像素值,落在C区则赋值左下角像素值,落在D区则赋值右下角像素值。优点是计算方便简单,缺点是图像容易呈现锯齿状。

图 13 最近邻插值法
Fig. 13 Nearest neighbor

双线性插值(Shepard,1984)充分利用源图中4个真实存在于虚拟点周围的像素值,在两个方向上进行线性内插,如图 14所示。先对x方向的像素点abcd进行线性插值,分别得到mn;再对y方向像素点的mn进行线性插值,得到p点的像素插值。可以看出,对任意一种方向的线性插值得到的结果相同。虽然双线性插值法比最近邻插值法计算过程和计算量复杂,但克服了灰度不连续这一缺点。Patel等人(2019)提出基于残差网络的U-Net用于明场显微镜的细胞膜分割,在上采样过程中采用双线性插值。

图 14 双线性插值
Fig. 14 Bilinear interpolation

三线性插值在3D空间进行,利用待采样点周围8个点的灰度值,对立方体的8个顶点进行线性插值(如图 15所示),分别求出abcd的线性插值,然后对这4个点进行双线性插值。三线性插值使得放大效果更接近高分辨率图像,但增大了运算量。Zhao等人(2020b)提出MSSU-Net(multi-scale supervised U-Net)网络用于肾脏肿瘤分割,使用三线性插值代替转置卷积,从而实现自适应上采样。

图 15 三线性插值法
Fig. 15 Trilinear interpolation

子像素卷积(Shi等,2016)有两个卷积层提取特征和1个子像素卷积层,子像素卷积层通过特定方式将低分辨率特征插入到高分辨率图像。该方法在提高分辨率的同时,减轻了计算量。Sambyal等人(2020)提出改进的U-Net网络用于分割糖尿病性视网膜病变图像,在上采样操作中使用子像素卷积,并使用初始化(Aitken等,2017)减轻子像素卷积随机初始化带来的棋盘伪影问题。

3.4 下采样操作

U-Net网络下采样过程使用最大池化,作用是对卷积之后的特征进一步筛选,减少参数和计算量,但是会造成空间信息的丢失(Qin等,2019)。池化层的改进主要有最大池化、平均池化、随机池化、跨度卷积、膨胀卷积(dilated convolution)、空间金字塔池化和Inception模块等7种方法。

最大池化、平均池化、随机池化和跨度卷积是常用的池化操作。最大池化是对邻域内的特征点取最大值;平均池化是对邻域内的特征点取最小值;随机池化是随机取邻域内的特征点;跨度卷积即卷积时跨步大于等于2,如图 16所示。Zhao等人(2020b)使用常规卷积代替最大池化操作,避免对位置信息的融合产生冗余信息。

图 16 最大池化、随机池化、平均池化和常规卷积
Fig. 16 Max-pooling, stochastic-pooling, average-pooling and normal convolution

空间金字塔池化(He等,2015b)对任意大小的特征图进行不同尺寸池化操作转化成相同维度。Wan等人(2020)提出空洞空间金字塔池化U-Net(atrous spatial pyramid pooling U-Net,ASPPU-Net)网络,用于组织病理学图像中的细胞核分割,使用空间金字塔池化获取多尺度核特征并获得核上下文信息。Kim等人(2019)制作了一个免费可访问的航拍图像数据集,并提出结合金字塔池化的U-Net分割算法,将编码器的最后一层替换为金字塔池化层,该金字塔池化层由8层组成,池化大小为1、3、8、9、11、12、13、14,有助于网络从多个尺度提取特征;针对连续池化丢失对象边界信息的缺点,将编码器中ReLU11、ReLU8、ReLU5和ReLU2的输出与对应解码器层连接, 其中金字塔池化提取特征上采样与ReLU14输出连接在一起。

Inception模块的主要思想是通过各种大小卷积核并行卷积提取多尺度特征。在池化阶段,Inception模块能够从不同的感受野中获取重要特征。Rad等人(2020)提出Inception U-Net网络用于人类胚胎图像的滋养外胚层分割,使用改进的Inception块代替下采样块,提取更大尺度特征。

膨胀卷积(Scherer等,2010)在不增加计算参数量的情况下,通过调整膨胀率进行采样,增大感受野,使每个卷积输出都含有较大范围的特征信息。朱辉和秦品乐(2019)针对网络传输过程中的低层特征丢失问题,提出基于多尺度特征结构的U-Net网络,用于分割肺结节的CT图像,在收缩路径中加入膨胀卷积代替池化操作。Cheng等人(2019)提出级联3D U-Net网络用于3D图像配准,网络在下采样过程使用膨胀卷积维持特征图的分辨率,扩大感受野,获得更多语义信息。

3.5 模型优化策略

优化策略是模型设计考虑的重要内容,对整个模型的泛化与收敛等性能起着重要作用。激活函数的目的是使神经网络逼近非线性函数,不仅能解决梯度消失问题,而且能加速收敛。常见的激活函数包括ReLU(rectified linear unit)(Nair和Hinton,2010)、RReLU(random ReLU)(Xu等,2015)、PReLU(parametric ReLU)(He等,2015a)、LReLU(leaky ReLU)(Maas等,2013)、HardEliSH(hard exponential linear sigmoid squahing)和ELiSH(exponential linear sigmoid squashing)(Basirat和Roth,2018)等。Salih等人(2019)对U-Net网络分别使用HardEliSH和ELiSH激活函数,发现在处理梯度消失问题上两者的性能优于ReLU。归一化是在深度神经网络训练过程中使每一层神经网络的输入保持相同分布,从而使超参数的搜索速度更快,且网络鲁棒性更好,常用的归一化方法主要有批归一化(batch normalization,BN)(Ioffe和Szegedy,2015)、组归一化(group normalization,GN)(Wu和He,2018)、实例归一化(instance normalization,IN)(Ulyanov等,2016)和层归一化(layer normalization,LN)(Ba等,2016)。Zhou和Yang(2019)使用U-Net网络分割左、右心室和主动脉2D图像,比较BN、GN、IN和LN共4种归一化方法对网络性能的影响。

3.6 跳跃连接

U-Net跳跃连接将编码路径卷积后的特征图剪切补充到解码路径,实现对病灶像素点的定位。跳跃连接的方式包括注意力机制块、特征重用+注意力机制块(feature reuse and attention mechanism, FRAM)、反卷积+激活函数、暹罗网络得到的注释信息和新型跳跃连接方式。

Kuang等人(2020)使用上下文关注块代替U-Net网络中跳跃连接,该上下文关注块突出显示特征图目标区域,使网络重点关注出血的边界区域。Pan等人(2020)提出改进的U-Net用于下水道缺陷分割,在U-Net网络的跳跃连接之间添加特征重用和注意力机制模块,消除高、低级语义差异并提高特征重用能力。Seo等人(2020)针对U-Net方法对肝肿瘤图像中大目标边缘分割效果差以及小目标全局信息丢失问题,提出mU-Net网络,在跳跃连接部分加入反卷积+ 激活函数模块,避免低分辨率信息的重复利用。Yin等人(2021)提出AGU-Net(annotation-guided U-Net)网络用于快速单次视频对象分段,将完全卷积的暹罗网络自动注释前景和背景信息融合到U-Net网络的跳跃连接中,能够在静态图像上有效地进行端对端训练。Wu等人(2019)提出SC U-Net(skip connection U-Net)网络用于脑白质MRI分割,在U-Net跳跃连接的基础上添加了一个新型的跳跃连接方式。将网络收缩路径的第4、7、10、13卷积块的输出分别与扩展路径的第15、18、21和24卷积块的输出合并,作为下一层的输入,从而解决梯度消失问题。

4 网络改进机制

为提高U-Net网络的分割性能,基于残差思想、密集思想、注意力机制和3种机制组合对其进行改进。

4.1 残差思想

He等人(2016)提出残差神经网络(residual network),引入恒等映射设计,解决多层神经网络退化和梯度消失问题。残差块示意图如图 17所示。

图 17 残差块(He等,2016)
Fig. 17 Residual block(He et al., 2016)

Tong等人(2018)提出改进的U-Net网络用于分割肺结节CT图像,利用简单形态学方法对整幅图像处理得到肺实质,U-Net网络引入残差网络加深网络深度来提高网络训练效果,并引入批归一化提高分割速度。于宁波等人(2020)提出改进的U-Net网络用于分割膝关节MR图像,用残差模块代替U-Net的卷积模块,增大特征复用性并降低模型的优化难度。黄泳嘉等人(2020)提出改进的U-Net网络用于分割肝肿瘤的CT图像,针对分割病灶边缘丢失的问题使用残差优化模块,该优化模块能同时对上下文低级和高级信息进行细化处理。Ibtehaz和Rahman(2020)提出MultiResUNet网络用于皮肤镜图像分割,用MultiRes块代替收缩路径和扩展路径的卷积操作,MultiRes块从3个尺寸为3×3、5×5和7×7的卷积块中获取输出,通过并行连接获取不同尺度的中间特征。Khanna等人(2020)提出Residual U-Net用于肺部CT图像分割,将残差块集成到U-Net网络的收缩路径,从而减少计算负担, 避免网络退化问题。

4.2 密集思想

Huang等人(2017)在ResNet基础上提出密集型卷积网络(densely convolutional network,DenseNet),将输出与输入并联在一起,不仅能够有效缓解梯度消失,而且可以增加特征的重用性,减少网络计算的参数。密集块示意如图 18所示。

图 18 密集块(Huang等,2017)
Fig. 18 Dense block(Huang et al., 2017)

Zhang等人(2020a)提出Dense-Inception U-Net网络用于分割视网膜血管图像,在收缩路径的第4、5层使用Dense-Inception块代替常规卷积块,在加深网络宽度和深度的同时,避免梯度消失和冗余计算。钟思华等人(2020)针对肺部CT图像小目标区域特征提取困难的问题,提出改进U-Net方法用于肺部CT图像分割,将密集连接嵌入到U-Net网络的卷积层中,增强了特征的复用和传播,并避免了梯度消失。Zhang等人(2019a)提出基于U-Net的脑肿瘤分割网络,在连接收缩路径和扩张路径的最底层使用膨胀卷积(膨胀率分别为2、4、6),在提取更多特征的同时扩大接收场,网络改变了原始U-Net跳跃连接,将编码路径提取的特征图密集交叉连接到解码路径,从而融合不同尺度的特征图。Wang等人(2019)提出密集连接U-Net网络(densely connected U-Net, DC U-Net)用于CT图像多器官分割,将密集连接块应用到编码器路径中,在网络相邻池化层之间使用密集连接块代替卷积操作,提高网络对位置、边缘等特征学习能力。针对分割方法在病灶边缘检测方面存在的缺陷,Nasr-Esfahani等人(2019)提出分割皮肤黑色素瘤网络(deep pooling fully convolutional network,DPFCN),将密集机制应用到池化层,避免池化操作滑动窗口中相邻窗口的计算冗余。

4.3 注意力机制

注意力机制受人脑注意力启发,对于外界信息,人脑可以重点关注感兴趣区域,抑制无用信息,获取重要信息,从而提高处理效率。注意力机制由Mnih等人(2014)提出,用于图像分类并取得不错效果,已广泛应用于自然语言处理等领域。Jin等人(2020)首次将注意力机制引入U-Net网络,提出残差注意感知分割方法(residual attention-aware U-Net,RA-UNet), 用于肝肿瘤的CT图像分割,使用注意力机制将低级和高级特征图相结合提取上下文信息。Li等人(2020a)提出基于注意力的嵌套分割网络(ANU-Net)用于目标器官自动分割,为了使网络聚集目标器官位置,在嵌套卷积块之间引入注意力机制,使得网络编码器不同层提取的特征可以和解码器层的特征选择合并。Lian等人(2018)针对虹膜的特定位置, 提出注意力机制U-Net网络用于虹膜分割,在收缩路径末端加入1个池化层和1个全连接层作为回归模型估计虹膜的边界框,使网络更加专注虹膜区域。艾玲梅等人(2020)提出基于注意力的U-Net网络用于脑肿瘤MR图像分割,为了学习编码器的多尺度特征,在网络收缩路径上引入注意力模块,学习并将特征提取的权重分散到编码器的所有阶段,以解决特征提取阶段过于依赖固定权重的问题。Ding等人(2020)提出类别注意增强网络(category attention boosting U-Net,CAB U-Net)用于3D心脏分割。CAB模块将深度网络计算图与梯度提升方法相结合,将不同注意力放在不同类别的特征图上,并在概率空间中利用这些特征增强分割,最终实现全局位置信息和局部纹理信息的聚合。Hariyani等人(2020)针对指甲折叠毛细血管可见度低和聚焦不足产生的图像噪声大的问题,提出双重注意力U-Net网络(dual attention CapNet, DA-CapNet)用于指甲折叠毛细血管分割,将挤压和激励(squeeze and excitation,SE)块和双重注意力块(convolutional block attention module,CBAM)集成到U-Net的解码器部分,使网络重点关注重要位置,更好地捕获上下文信息,并使用内核为5的中值模糊滤波器减少图像噪声。

4.4 多机制组合

医学图像中病灶的形状、位置、大小的复杂性和病灶与周围组织的对比度低导致简单的U-Net往往不能表现出较好的分割性能。残差和密集思想能提高特征重用率、缓解梯度消失问题,注意力机制使得网络关注重要部分,将这些机制合理地应用到U-Net网络能够提高分割性能。

Zhang等人(2020a)在U-Net网络最后两层使用Dense-Inception块代替标准卷积块,其他层使用Inception-Res块替换U-Net网络卷积操作,使网络的宽度和深度增加的同时,避免梯度消失和减少冗余计算。Li等人(2020c)提出瓶颈特征监督的U-Net用于肝脏CT图像分割,包括1个编码U-Net和1个分割U-Net,网络编码路径包括密集块、Inception块和膨胀卷积,提高了特征重用率,具有更大的感受野。为了充分利用图像空间信息和上下文信息,艾玲梅等人(2020)提出注意力机制的U-Net网络,在收缩路径上引入注意力机制,用残差模块代替U-Net网络的卷积层,从而利用更多特征并促进网络收敛。张文秀等人(2020e)提出基于残差块和注意力机制的网络用于分割细胞图像,使用残差块代替U-Net网络中的卷积块,避免网络层数加深容易出现梯度消失问题,并针对低层特征缺少语义信息问题,引入注意力机制加重细胞区域的权重,从而获取高级语义信息。Ying等人(2020)提出一种密度—残差深度U-Net(dense-residual depth-wise U-Net,DR-DW U-Net), 用于提高特征提取能力和分割性能,编码路径的卷积块使用密集块,缓解梯度消失,提高特征重用率;由于编码路径的密集块导致过多的计算成本,解码路径卷积块使用残差块;针对原始U-Net在下采样操作中使用最大池化造成信息丢失问题,使用最大池化和跨步深度卷积结合减少参数量。Yang等人(2019b)针对CNN道路检测方法没有充分利用原始遥感图像的层间特征问题,将残差思想与密集思想相结合,提出深度残差网络,将网络中的卷积块替换成残差密集块(residual dense block, RDB),有效提取和融合了丰富的局部特征,其中层间特征的提取通过RDB各层之间跳跃连接实现。

5 结语

本文首先阐述U-Net网络基本结构、工作原理及其模型改进方法;然后归纳U-Net网络的各个结构优化方法;最后综述网络改进的机制,包括残差思想、密集思想、注意力机制和多个机制相结合,为临床医生的诊断和治疗提供参考。

基于以上分析,U-Net网络的发展存在以下挑战:1)分割模型泛化能力不足,导致同一个网络在多种医学分割任务上很难具有同样的性能;2)多数医学图像分割方法采用有监督的深度学习模型,但需要耗费大量的人力标注病灶区域;3)U-Net在医学图像分割上取得了良好的分割效果,但与其他深度学习方法一样面临可解释性低的问题,临床医生无法直接理解其运行机制,对其接受度低;4)为了提高U-Net网络分割性能,目前改进有网络级联或并行,以及编码器个数的改进等方面,但这些方法可能增大了网络参数量。如何克服上述4种挑战是未来U-Net的发展方向。

参考文献

  • Ai L M, Li T D, Liao F Y, Shi K Z. 2020. Magnetic resonance brain tumor image segmentation based on attention U-Net. Laser and Optoelectronics Progress, 57(14): 279-286 (艾玲梅, 李天东, 廖福元, 石康珍. 2020. 基于注意力U-Net的脑肿瘤磁共振图像分割. 激光与光电子学进展, 57(14): 279-286) [DOI:10.3788/LOP57.141030]
  • Aitken A, Ledig C, Theis L, Caballero J, Wang Z and Shi W Z. 2017. Checkerboard artifact free sub-pixel convolution: a note on sub-pixel convolution, resize convolution and convolution resize[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1707.02937.pdf
  • Alom Z, Yakopcic C, Taha T M and Asari V K. 2018. Nuclei segmentation with recurrent residual convolutional neural networks based U-Net (R2U-Net)//Proceedings of the NAECON 2018-IEEE National Aerospace and Electronics Conference. Dayton, USA: IEEE: 228-233[DOI: 10.1109/NAECON.2018.8556686]
  • Arjovsky M, Chintala S and Bottou L. 2017. Wasserstein GAN[EB/OL]. [2020-11-15]. http://arxiv.org/pdf/1701.07875.pdf
  • Basirat M and Roth P M. 2018. The quest for the golden activation function[EB/OL]. [2020-11-5]. https://arxiv.org/pdf/1808.00783.pdf
  • Byra M, Jarosik P, Szubert A, Galperin M, Ojeda-Fournier H, Olson L, O'Boyle M, Comstock C, Andre M. 2020. Breast mass segmentation in ultrasound with selective kernel U-Net convolutional neural network. Biomedical Signal Processing and Control, 61: #102027 [DOI:10.1016/j.bspc.2020.102027]
  • Chen H, Dou Q, Yu L Q, Qin J, Heng P A. 2018. VoxResNet: deep voxelwise residual networks for brain segmentation from 3D MR images. NeuroImage, 170: 446-455 [DOI:10.1016/j.neuroimage.2017.04.041]
  • Chen L C, Papandreou G, Schroff F and Adam H. 2017. Rethinking atrous convolution for semantic image segmentation[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1706.05587.pdf
  • Cheng Z P, Guo K X, Wu C F, Shen J K and Qu L. 2019. U-Net cascaded with dilated convolution for medical image registration//Proceedings of 2019 Chinese Automation Congress (CAC). Hangzhou, China: IEEE: 3647-3651[DOI: 10.1109/CAC48633.2019.8996569]
  • Çiçek Ö, Abdulkadir A, Lienkamp S S, Brox T and Ronneberger O. 2016. 3D U-Net: learning dense volumetric segmentation from sparse annotation[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1606.06650.pdf
  • Das S, Deka A, Iwahori Y, Bhuyan M K, Iwamoto T, Ueda J. 2019. Contour-aware residual W-Net for nuclei segmentation. Procedia Computer Science, 159: 1479-1488 [DOI:10.1016/j.procs.2019.09.318]
  • Ding X F, Peng Y X, Shen C M, Zeng T Y. 2020. CAB U-Net: an end-to-end category attention boosting algorithm for segmentation. Computerized Medical Imaging and Graphics, 84: #101764 [DOI:10.1016/j.compmedimag.2020.101764]
  • Dolz J, Ben Ayed I and Desrosiers C. 2019. Dense multi-path U-Net for ischemic stroke lesion segmentation in multiple image modalities//Proceedings of the 4th International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Granada, Spain: Springer: 271-282[DOI: 10.1007/978-3-030-11723-8_27]
  • Dou Q, Yu L Q, Chen H, Jin Y M, Yang X, Qin J, Heng P A. 2017. 3D deeply supervised network for automated segmentation of volumetric medical images. Medical Image Analysis, 41: 40-54 [DOI:10.1016/j.media.2017.05.001]
  • Goodfellow I J, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A and Bengio Y. 2014. Generative adversarial nets//Proceedings of the 27th International Conference on Neural Information Processing Systems. Montreal, Canada: MIT Press: 2670-2680
  • Guimarães H R, Nagano H, Silva D W. 2020. Monaural speech enhancement through deep wave-U-net. Expert Systems with Applications, 158: #113582 [DOI:10.1016/j.eswa.2020.113582]
  • Hariyani Y S, Eom H, Park C. 2020. DA-Capnet: dual attention deep learning based on U-Net for nailfold capillary segmentation. IEEE Access, 8: 10543-10553 [DOI:10.1109/ACCESS.2020.2965651]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2015a. Delving deep into rectifiers: surpassing human-level performance on ImageNet classification//Proceedings of 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, Chile: IEEE: 1026-1034[DOI: 10.1109/ICCV.2015.123]
  • He K M, Zhang X Y, Ren S Q, Sun J. 2015b. Spatial pyramid pooling in deep convolutional networks for visual recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 37(9): 1904-1916 [DOI:10.1109/TPAMI.2015.2389824]
  • He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
  • Hu J F, Wang H, Gao S B, Bao M K, Liu T, Wang Y X, Zhang J C. 2019. S-UNet: a bridge-style u-net framework with a saliency mechanism for retinal vessel segmentation. IEEE Access, 7: 174167-174177 [DOI:10.1109/ACCESS.2019.2940476]
  • Hu K, Liu C, Yu X, Zhang J, He Y and Zhu H C. 2018. A 2.5D cancer segmentation for MRI images based on U-Net//Proceedings of the 5th International Conference on Information Science and Control Engineering (ICISCE). Zhengzhou, China: IEEE: 6-10[DOI: 10.1109/ICISCE.2018.00011]
  • Huang G, Liu Z, Van Der Maaten L and Weinberger K Q. 2017. Densely connected convolutional networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 2261-2269[DOI: 10.1109/CVPR.2017.243]
  • Huang Y J, Shi Z F, Wang Z Q, Wang Z. 2020. Improved U-Net based on mixed loss function for liver medical image segmentation. Laser and Optoelectronics Progress, 57(22): 74-83 (黄泳嘉, 史再峰, 王仲琦, 王哲. 2020. 基于混合损失函数的改进型U-Net肝部医学影像分割方法. 激光与光电子学进展, 57(22): 74-83) [DOI:10.3788/LOP57.221003]
  • Ibtehaz N, Rahman M S. 2020. MultiResUNet: rethinking the U-Net architecture for multimodal biomedical image segmentation. Neural Networks, 121: 74-87 [DOI:10.1016/j.neunet.2019.08.025]
  • Ioffe S and Szegedy C. 2015. Batch normalization: accelerating deep network training by reducing internal covariate shift[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1502.03167v2.pdf
  • Jin Q, Meng Z, Sun C, Cui H, Su R. 2020. RA-UNet: A hybrid deep attention-aware network to extract liver and tumor in CT scans. Frontiers in Bioengineering and Biotechnology, 8: #605132 [DOI:10.3389/fbios.2020.605132]
  • Kang S, Iwana B K, Uchida S. 2021. Complex image processing with less data-Document image binarization by integrating multiple pre-trained U-Net modules. Pattern Recognition, 109: #107577 [DOI:10.1016/j.patcog.2020.107577]
  • Khanna A, Londhe N D, Gupta S, Semwal A. 2020. A deep Residual U-Net convolutional neural network for automated lung segmentation in computed tomography images. Biocybernetics and Biomedical Engineering, 40(3): 1314-1327 [DOI:10.1016/j.bbe.2020.07.007]
  • Kim J H, Lee H, Hong S J, Kim S, Park J, Hwang J Y, Choi J P. 2019. Objects segmentation from high-resolution aerial images using U-Net with pyramid pooling layers. IEEE Geoscience and Remote Sensing Letters, 16(1): 115-119 [DOI:10.1109/LGRS.2018.2868880]
  • Kuang Z, Deng X B, Yu L, Wang H K, Li T S, Wang S W. 2020. Ψ-Net: focusing on the border areas of intracerebral hemorrhage on CT images. Computer Methods and Programs in Biomedicine, 194: #105546 [DOI:10.1016/j.cmpb.2020.105546]
  • Lan H R, Jiang D H, Yang C C, Gao F, Gao F. 2020. Y-Net: hybrid deep learning image reconstruction for photoacoustic tomography in vivo. Photoacoustics, 20: #100197 [DOI:10.1016/j.pacs.2020.100197]
  • Lee S, Negishi M, Urakubo H, Kasai H, Ishii S. 2020. Mu-net: multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks, 125: 92-103 [DOI:10.1016/j.neunet.2020.01.026]
  • Li C, Tan Y S, Chen W, Luo X, He Y L, Gao Y M, Li F. 2020a. ANU-Net: attention-based nested U-Net to exploit full resolution features for medical image segmentation. Computers and Graphics, 90: 11-20 [DOI:10.1016/j.cag.2020.05.003]
  • Li J F, Chen C X, Wang L. 2020b. Fusion algorithm of multi-spectral images based on dual-tree complex wavelet transform and frequency-domain U-Net. Journal of Biomedical Engineering Research, 39(2): 145-150 (李建飞, 陈春晓, 王亮. 2020b. 基于双树复小波变换和频域U-Net的多光谱图像融合算法. 生物医学工程研究, 39(2): 145-150) [DOI:10.19529/j.cnki.1672-6278.2020.02.07]
  • Li S, Tso G K F, He K J. 2020c. Bottleneck feature supervised U-Net for pixel-wise liver and tumor segmentation. Expert Systems with Applications, 145: #113131 [DOI:10.1016/j.eswa.2019.113131]
  • Lian S, Luo Z M, Zhong Z, Lin X, Su S Z, Li S Z. 2018. Attention guided U-Net for accurate iris segmentation. Journal of Visual Communication and Image Representation, 56: 296-304 [DOI:10.1016/j.jvcir.2018.10.001]
  • Liu L L, Cheng J H, Quan Q, Wu F X, Wang Y P, Wang J X. 2020. A survey on U-shaped networks in medical image segmentations. Neurocomputing, 409: 244-258 [DOI:10.1016/j.neucom.2020.05.070]
  • Liu Y W, Qi N, Zhu Q and Li W R. 2019a. CR-U-Net: cascaded U-Net with residual mapping for liver segmentation in CT images//Proceedings of 2019 IEEE Visual Communications and Image Processing (VCIP). Sydney, Australia: IEEE: 1-4[DOI: 10.1109/VCIP47243.2019.8966072]
  • Liu T, Tian Y, Zhao S F, Huang X Y, Wang Q J. 2019b. Automatic whole heart segmentation using a two-stage U-Net framework and an adaptive threshold window. IEEE Access, 7: 83628-83636 [DOI:10.1109/ACCESS.2019.2923318]
  • Liu Z, Song Y Q, Sheng V S, Wang L M, Jiang R, Zhang X L, Yuan D Q. 2019c. Liver CT sequence segmentation based with improved U-Net and graph cut. Expert Systems with Applications, 126: 54-63 [DOI:10.1016/j.eswa.2019.01.055]
  • Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE: 3431-3440[DOI: 10.1109/CVPR.2015.7298965]
  • Maas A L, Hannun A Y and Ng A Y. 2013. Rectifier nonlinearities improve neural network acoustic models//Proceedings of the 30th International Conference on Machine Learning. Atlanta, USA: JMLR: 3
  • Man Y Z, Huang Y S B, Feng J Y, Li X, Wu F. 2019. Deep Q learning driven CT pancreas segmentation with geometry-aware U-Net. IEEE Transactions on Medical Imaging, 38(8): 1971-1980 [DOI:10.1109/TMI.2019.2911588]
  • Mehta R and Sivaswamy J. 2017. M-net: a convolutional neural network for deep brain structure segmentation//Proceedings of the 14th IEEE International Symposium on Biomedical Imaging (ISBI 2017). Melbourne, Australia: IEEE: 437-440[DOI: 10.1109/ISBI.2017.7950555]
  • Milletari F, Navab N and Ahmadi S A. 2016. V-Net: fully convolutional neural networks for volumetric medical image segmentation//Proceedings of the 4th International Conference on 3D Vision (3DV). Stanford, USA: IEEE: 565-571[DOI: 10.1109/3DV.2016.79]
  • Mnih V and Heess N, Graves A and Kavukcuoglu K. 2014. Recurrent models of visual attention[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1406.6247v1.pdf
  • Nair V, Hinton G E. 2010. Rectified linear units improve restricted boltzmann machines//Proceedings of the 27th International Conference on International Conference on Machine Learning (ICML-10). Haifa, Israel: Omnipress: 807-814
  • Nasr-Esfahani E, Rafiei S, Jafari M H, Karimi N, Wrobel J S, Samavi S, Reza Soroushmehr S M. 2019. Dense pooling layers in fully convolutional network for skin lesion segmentation. Computerized Medical Imaging and Graphics, 78: #101658 [DOI:10.1016/j.compmedimag.2019.101658]
  • Pan G, Zheng Y X, Guo S, Lyu Y Z. 2020. Automatic sewer pipe defect semantic segmentation based on improved U-Net. Automation in Construction, 119: #103383 [DOI:10.1016/j.autcon.2020.103383]
  • Patel G, Tekchandani H and Verma S. 2019. Cellular segmentation of bright-field absorbance images using residual U-Net//Proceedings of 2019 International Conference on Advances in Computing, Communication and Control (ICAC3). Mumbai, India: IEEE: 1-5[DOI: 10.1109/ICAC347590.2019.9036737]
  • Qin P L, Li C P, Chen J, Chai R. 2019. Research on improved algorithm of object detection based on feature pyramid. Multimedia Tools and Applications, 78(1): 913-927 [DOI:10.1007/s11042-018-5870-3]
  • Qing C, Yu J, Xiao C B, Duan J. 2020. Deep convolutional neural network for semantic image segmentation. Journal of Image and Graphics, 25(6): 1069-1090 (青晨, 禹晶, 肖创柏, 段娟. 2020. 深度卷积神经网络图像语义分割研究进展. 中国图象图形学报, 25(6): 1069-1090) [DOI:10.11834/jig.190355]
  • Rad R M, Saeedi P, Au J, Havelock J. 2020. Trophectoderm segmentation in human embryo images via inceptioned U-Net. Medical Image Analysis, 62: #101612 [DOI:10.1016/j.media.2019.101612]
  • Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241[DOI: 10.1007/978-3-319-24574-4_28]
  • Salih M M, Salih M E and Ahmed M A A. 2019. Enhancement of U-Net performance in MRI brain Tumour segmentation using HardELiSH activation function//Proceedings of 2019 International Conference on Computer, Control, Electrical, and Electronics Engineering (ICCCEEE). Khartoum, Sudan: IEEE: 1-5[DOI: 10.1109/ICCCEEE46830.2019.9071235]
  • Sambyal N, Saini P, Syal R, Gupta V. 2020. Modified U-Net architecture for semantic segmentation of diabetic retinopathy images. Biocybernetics and Biomedical Engineering, 40(3): 1094-1109 [DOI:10.1016/j.bbe.2020.05.006]
  • Scherer D, Müller A and Behnke S. 2010. Evaluation of pooling operations in convolutional architectures for object recognition//Proceedings of the 20th International Conference on Artificial Neural Networks. Thessaloniki, Greece: Springer: 92-101[DOI: 10.1007/978-3-642-15825-4_10]
  • Seo H, Huang C, Bassenne M, Xiao R X, Xing L. 2020. Modified U-Net (mU-Net) with incorporation of object-dependent high level features for improved liver and liver-tumor segmentation in CT images. IEEE Transactions on Medical Imaging, 39(5): 1316-1325 [DOI:10.1109/TMI.2019.2948320]
  • Shepard D S. 1984. Computer mapping: the SYMAP interpolation algorithm//Gaile G L, Willmott C J, eds. Spatial Statistics and Models. Dordrecht: Springer: 133-145[DOI: 10.1007/978-94-017-3048-8_7]
  • Shi W Z, Caballero J, Huszár F, Totz J, Aitken A P, Bishop R, Rueckert D and Wang Z H. 2016. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 1874-1883[DOI: 10.1109/CVPR.2016.207]
  • Simard P Y, Steinkraus D and Platt J C. 2003. Best practices for convolutional neural networks applied to visual document analysis//Proceedings of the 7th International Conference on Document Analysis and Recognition. Edinburgh, UK: IEEE: 958-963[DOI: 10.1109/ICDAR.2003.1227801]
  • Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston, USA: IEEE: 1-9[DOI: 10.1109/CVPR.2015.7298594]
  • Szegedy C, Vanhoucke V, Ioffe S, Shlens J and Wojna Z. 2016. Rethinking the inception architecture for computer vision//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, USA: IEEE: 2818-2826[DOI: 10.1109/CVPR.2016.308]
  • Tang Z Q, Peng X, Li K, Metaxas D N. 2020. Towards efficient U-Nets: a coupled and quantized approach. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(8): 2038-2050 [DOI:10.1109/TPAMI.2019.2907634]
  • Tian X, Wang L, Ding Q. 2019. Review of image semantic segmentation based on deep learning. Journal of Software, 30(2): 440-468 (田萱, 王亮, 丁琪. 2019. 基于深度学习的图像语义分割方法综述. 软件学报, 30(2): 440-468) [DOI:10.13328/j.cnki.jos.005659]
  • Tong G F, Li Y, Chen H R, Zhang Q C, Jiang H Y. 2018. Improved U-NET network for pulmonary nodules segmentation. Optik, 174: 460-469 [DOI:10.1016/j.ijleo.2018.08.086]
  • Ulyanov D, Vedaldi A and Lempitsky V. 2016. Instance normalization: the missing ingredient for fast stylization[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1607.08022v3.pdf
  • Wan T, Zhao L, Feng H X, Li DY, Tong C, Qin Z C. 2020. Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement. Neurocomputing, 408: 144-156 [DOI:10.1016/j.neucom.2019.08.103]
  • Wang P Q, Chen P F, Yuan Y, Liu D, Huang Z H, Hou X D and Cottrell G. 2017. Understanding convolution for semantic segmentation[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1702.08502v1.pdf
  • Wang Z H, Liu Z, Song Y Q and Zhu Y. 2019. Densely connected deep U-Net for abdominal multi-organ segmentation//Proceedings of 2019 IEEE International Conference on Image Processing (ICIP). Taipei, China: IEEE: 1415-1419[DOI: 10.1109/ICIP.2019.8803103]
  • Wu B F, Fang Y, Lai X B. 2020. Left ventricle automatic segmentation in cardiac MRI using a combined CNN and U-net approach. Computerized Medical Imaging and Graphics, 82: #101719 [DOI:10.1016/j.compmedimag.2020.101719]
  • Wu J, Zhang Y, Wang K, Tang X Y. 2019. Skip connection U-Net for white matter hyperintensities segmentation from MRI. IEEE Access, 7: 155194-155202 [DOI:10.1109/ACCESS.2019.2948476]
  • Wu Y X and He K M. 2018. Group normalization[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1803.08494.pdf
  • Xia X D and Kulis B. 2017. W-Net: a deep model for fully unsupervised image segmentation[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1711.08506.pdf
  • Xu B, Wang N Y, Chen T Q and Li M. 2015. Empirical evaluation of rectified activations in convolutional network[EB/OL]. [2020-11-15]. https://arxiv.org/pdf/1505.00853.pdf
  • Xu L, Liu M Y, Shen Z R, Wang H, Liu X W, Wang X, Wang S Y, Li T F, Yu S M, Hou M, Guo J H, Zhang J C, He Y H. 2020. DW-Net: a cascaded convolutional neural network for apical four-chamber view segmentation in fetal echocardiography. Computerized Medical Imaging and Graphics, 80: #101690 [DOI:10.1016/j.compmedimag.2019.101690]
  • Yang J, Faraji M, Basu A. 2019a. Robust segmentation of arterial walls in intravascular ultrasound images using dual path U-Net. Ultrasonics, 96: 24-33 [DOI:10.1016/j.ultras.2019.03.014]
  • Yang X F, Li X T, Ye Y M, Zhang X F, Zhang H J, Huang X H and Zhang B W. 2019b. Road detection via deep residual dense U-Net//Proceedings of 2019 International Joint Conference on Neural Networks (IJCNN). Budapest, Hungary: IEEE: 1-7[DOI: 10.1109/IJCNN.2019.8851728]
  • Yang Y Y, Feng C, Wang R F. 2020. Automatic segmentation model combining U-Net and level set method for medical images. Expert Systems with Applications, 153: #113419 [DOI:10.1016/j.eswa.2020.113419]
  • Yin Y J, Xu D, Wang X G, Zhang L. 2021. AGUnet: annotation-guided U-net for fast one-shot video object segmentation. Pattern Recognition, 110: #107580 [DOI:10.1016/j.patcog.2020.107580]
  • Ying W Q, Li J H, Yu W, Zheng K J, Deng Y L and Li J C. 2020. U-Net with dense encoder, residual decoder and depth-wise skip connections//Proceedings of 2020 International Joint Conference on Neural Networks (IJCNN). Glasgow, UK: IEEE: 1-6[DOI: 10.1109/IJCNN48605.2020.9207371]
  • Yu N B, Liu J N, Gao L, Sun Z W, Han J D. 2020. Auto-segmentation method based on deep learning for the knee joint in MR images. Chinese Journal of Scientific Instrument, 41(6): 140-149 (于宁波, 刘嘉男, 高丽, 孙泽文, 韩建达. 2020. 基于深度学习的膝关节MR图像自动分割方法. 仪器仪表学报, 41(6): 140-149) [DOI:10.19650/j.cnki.cjsi.J2006199]
  • Zhang Z, Wu C D, Coleman S, Kerr D. 2020a. DENSE-INception U-net for medical image segmentation. Computer Methods and Programs in Biomedicine, 192: #105395 [DOI:10.1016/j.cmpb.2020.105395]
  • Zhang H, Zhu H Q, Ling X F. 2020b. Polar coordinate sampling-based segmentation of overlapping cervical cells using attention U-Net and random walk. Neurocomputing, 383: 212-223 [DOI:10.1016/j.neucom.2019.12.036]
  • Zhang J L, Sheng G Q. 2020c. First arrival picking of microseismic signals based on nested U-Net and Wasserstein Generative Adversarial Network. Journal of Petroleum Science and Engineering, 195: #107527 [DOI:10.1016/j.petrol.2020.107527]
  • Zhang T Q, Kang B, Meng X F, Liu Y L, Zhou Y. 2020d. U-Net based intracranial hemorrhage recognition. Journal of Beijing University of Posts and Telecommunications, 43(3): 92-98
  • 张天麒, 康波, 孟祥飞, 刘奕琳, 周颖. 2020. 基于U-Net的颅内出血识别算法. 北京邮电大学学报, 43(3): 92-98 [DOI:10.13190/j.jbupt.2019-146]
  • Zhang W X, Zhu Z C, Zhang Y H, Wang X Y, Ding G P. 2020e. Cell image segmentation based on residual block and attention mechanism. Acta Optica Sinica, 40(17): 76-83 (张文秀, 朱振才, 张永合, 王新宇, 丁国鹏. 2020e. 基于残差块和注意力机制的细胞图像分割方法. 光学学报, 40(17): 76-83) [DOI:10.3788/AOS202040.171001]
  • Zhang C J, An R, Ma L. 2021. Building change detection in remote sensing image based on improved U-Net. Computer Engineering and Applications, 57(3): 239-246 (张翠军, 安冉, 马丽. 2021. 改进U-Net的遥感图像中建筑物变化检测. 计算机工程与应用, 57(3): 239-246) [DOI:10.3778/j.issn.1002-8331.2005-0.331]
  • Zhang M D, Liu G C, Tina J X and Liu Y F. 2019a. Improved U-Net with multi-scale cross connection and dilated convolution for brain tumor segmentation//Proceedings of 2019 International Conference on Medical Imaging Physics and Engineering (ICMIPE). Shenzhen, China: IEEE: 1-5[DOI: 10.1109/ICMIPE47306.2019.9098234]
  • Zhang W, Tang P, Zhao L J and Huang Q Q. 2019b. A comparative study of U-Nets with various convolution components for building extraction//Proceedings of 2019 Joint Urban Remote Sensing Event (JURSE). Vannes, France: IEEE: 1-4[DOI: 10.1109/JURSE.2019.8809055]
  • Zhao B C, Chen X, Li Z, Yu Z W, Yao S, Yan L X, Wang Y Q, Liu Z Y, Liang C H, Han C. 2020a. Triple U-net: hematoxylin-aware nuclei segmentation with progressive dense feature aggregation. Medical Image Analysis, 65: #101786 [DOI:10.1016/j.media.2020.101786]
  • Zhao W S, Jiang D H, Queralta J P, Westerlund T. 2020b. MSS U-Net: 3D segmentation of kidneys and tumors from CT images with a multi-scale supervised U-Net. Informatics in Medicine Unlocked, 19: #100357 [DOI:10.1016/j.imu.2020.100357]
  • Zhong S H, Guo X M, Zheng Y N. 2020. Improved U-Net network for lung nodule segmentation. Computer Engineering and Applications, 56(17): 203-209 (钟思华, 郭兴明, 郑伊能. 2020. 改进U-Net网络的肺结节分割方法. 计算机工程与应用, 56(17): 203-209) [DOI:10.3778/j.issn.1002-8331.1911-1024]
  • Zhou X Y, Yang G Z. 2019. Normalization in training U-Net for 2-D biomedical semantic segmentation. IEEE Robotics and Automation Letters, 4(2): 1792-1799 [DOI:10.1109/LRA.2019.2896518]
  • Zhou Z W, Rahman Siddiquee M, Tajbakhsh N and Liang J M. 2018. UNet++: a nested U-Net architecture for medical image segmentation//Proceedings of the 4th Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Granada, Spain: Springer: 3-11[DOI: doi.org/10.1007/978-3-030-00889-5_1]
  • Zhu H, Qin P L. 2019. U-Net pulmonary nodule detection algorithm based on multi-scale feature structure. Computer Engineering, 45(4): 254-261 (朱辉, 秦品乐. 2019. 基于多尺度特征结构的U-Net肺结节检测算法. 计算机工程, 45(4): 254-261) [DOI:10.19678/j.issn.1000-3428.0051769]