发布时间: 2021-03-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200078
2021 | Volume 26 | Number 3

医学图像处理

结合残差路径及密集连接的乳腺超声肿瘤分割

陈杨怀¹, 陈胜¹, 姚莉萍²

1. 上海理工大学光电信息与计算机工程学院, 上海 200093;

2. 上海交通大学医学院附属新华医院崇明分院, 上海 202150

收稿日期: 2020-03-20; 修回日期: 2020-06-29; 预印本日期: 2020-07-05

基金项目: 国家自然科学基金项目（81101116）

作者简介: 陈杨怀, 1996年生, 女, 硕士研究生, 主要研究方向为医学图像处理与分析、深度学习。E-mail: yhuaichen123@163.com;
陈胜, 通信作者, 男, 副教授, 主要研究方向为医学图像处理与分析、模式识别、计算机辅助诊断。E-mail: chnshn@hotmail.com;
姚莉萍, 女, 主治医师, 主要研究方向为小儿超声图像诊断分析。E-mail: itaa2004@sina.com

中图法分类号: TP391.4

文献标识码: A

文章编号: 1006-8961(2021)03-0633-11

摘要

目的乳腺癌是常见的高发病率肿瘤疾病，早期确诊是预防乳腺癌的关键。为获得肿瘤准确的边缘和形状信息，提高乳腺肿瘤诊断的准确性，本文提出了一种结合残差路径及密集连接的乳腺超声肿瘤分割方法。方法基于经典的深度学习分割模型U-Net，添加残差路径，减少编码器和解码器特征映射之间的差异。在此基础上，在特征输入层到解码器最后一步之间引入密集块，通过密集块组成从输入特征映射到解码最后一层的新连接，减少输入特征图与解码特征图之间的差距，减少特征损失并保存更有效信息。结果将本文模型与经典的U-Net模型、引入残差路径的U-Net（U-Net with Res paths）模型在上海新华医院崇明分院乳腺肿瘤超声数据集上进行10-fold交叉验证实验。本文模型的真阳率（true positive，TP）、杰卡德相似系数（Jaccard similarity，JS）和骰子系数（Dice coefficients，DC）分别为0.870 7、0.803 7和0.882 4，相比U-Net模型分别提高了1.08%、2.14%和2.01%；假阳率（false positive，FP）和豪斯多夫距离（Hausdorff distance，HD）分别为0.104 0和22.311 4，相比U-Net模型分别下降了1.68%和1.410 2。在54幅图像的测试集中，评价指标JS > 0.75的肿瘤图像数量的总平均数为42.1，最大值为46。对比实验结果表明，提出的算法有效改善了分割结果，提高了分割的准确性。结论本文提出的基于U-Net结构并结合残差路径与新的连接的分割模型，改善了乳腺超声肿瘤图像分割的精确度。

关键词

肿瘤分割; 乳腺超声; 卷积网络; 残差路径; 密集块

Tumor segmentation in breast ultrasound combined with Res paths and a dense connection

Chen Yanghuai¹, Chen Sheng¹, Yao Liping²

1. School of Optical Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China;

2. Chongming Branch, Xinhua Hospital, School of Medicine, Shanghai Jiao Tong University, Shanghai 202150, China

Supported by: National Natural Science Foundation of China(81101116)

Abstract

Objective Precise segmentation of breast cancer tumors is of great concern. For women, breast cancer is a common tumor disease with a high incidence, and obtaining accurate diagnosis in the early stage of breast cancer has always been the key to preventing breast cancer. Doctors can improve the accuracy of the diagnosis of breast tumors by obtaining accurate information on the edge and shape of the tumor. Common breast imaging techniques include ultrasound imaging, magnetic resonance imaging (MRI), and X-ray imaging. However, X-ray imaging often causes radiation damage to breast tissue in women, whereas MRI imaging is not only expensive but also needs a longer scanning time. Compared with the two methods above, the ultrasound imaging detection method has the advantages of no radiation damage to tissue, ease of use, imaging the front of any breast, fast imaging speed, and cheap price. However, ultrasound images rely more on professional ultrasound doctors because of problems such as speckle noise and low resolution than other commonly used techniques. Thus, experienced, well-trained doctors are needed in the diagnostic process. In recent years, improving the accuracy of diagnosis by combining medical imaging technology with computer science and technology to segment tumors accurately and help related medical personnel in diagnosis and identification has become a trend. In the past 10 years, various methods, such as thresholding method, clustering-based algorithm, graph-based algorithm, and active contour algorithm, have been used to segment breast tumors on ultrasound images. However, these methods have limited ability to represent features. In the past few years, deep convolutional neural networks have become more widely used in visual recognition tasks. They can automatically find suitable features for target data and tasks. The convolutional network has existed for a long time. However, the hardware environment at that time limited its development because the size of the training set and the size of the network structure parameters require a large amount of computation. Fully convolutional network (FCN) is an effective convolutional neural network for semantic segmentation. It can be trained in an end-to-end and pixel-to-pixel manner. Its input image size is arbitrary, and the output image is a picture with its corresponding size, containing the target information. U-Net is an improvement of the FCN model. It not only solves the above problems but also can make full use of sample image to train a biological medical image well. Method In this paper, a deep learning segmentation model is proposed based on the U-Net framework, combining the "Res paths" to reduce the difference between the encoder and decoder feature maps, and establish a new connection composed of dense units. The "Res paths" consist of a series of residual units, which are composed of a 3×3 convolution kernel and a 1×1 convolution kernel. The number of residual units is 4, 3, 2, and 1 in order, set along four "residual paths (Res paths)" in the framework. The new connection is a dense block from the input of feature maps to the decoding part, and the input of each layer concatenated by the output of each previous layer alleviates the loss of feature information and the disappearance of gradient. The dataset from Chongming branch of Xinhua Hospital in Shanghai is applied in this paper. The dataset is obtained by Samsung RS80A color Doppler ultrasound diagnostic instrument (equipped with a high-frequency probe l3-12a). These images obtained from the instrument clearly show the morphology, internal structure, and surrounding tissues of the lesion. All patients from this dataset are female, aged from 24 to 86, in non-pregnancy and lactation, and have no history of radiotherapy, chemotherapy, or endocrine therapy before the examination. Ten-fold cross validation is used, and 538 breast ultrasound tumor images selected from the dataset are randomly divided into 10 cases. In one case, 54 breast ultrasound images are tested, and the 484 remaining pictures are used for training. In the experiment, 484 images are doubled to 968 images by image augmentation with image data generator. During training, 48 pictures of breast cancer tumors are randomly selected for validation. Keras is used to build the model framework. Training the model is started on NVIDIA Titan 1080 GPU utilizing the weights "he_normal" to initialize the parameters of the model. Our proposed model is trained by employing the Adam optimizer, using cross entropy as the loss function, and setting batch size, β1, β2, and learning rate to 4, 0.9, 0.999, and 0.000 1, respectively. Result The three models are cross-checked 10 times (U-Net, U-Net with Res, and the proposed model) using the same test sample sets, validation samples sets, and training sample sets each time. The first model is the classic U-Net model. The second model adds "residual paths" to the basic network structure of U-Net. The third method, proposed by us, is an improvement on the second method. Based on the second method, a new connection is introduced. The epochs of the three previous models are 80, 100, and 120 in order. Compared with the classic U-Net model, the true positive, Jaccard similarity (JS), and Dice coefficients of the proposed model are 0.870 7, 0.803 7, and 0.882 4, respectively, improving by 1.08%, 2.14%, and 2.01%, respectively. The indices of false positive and Hausdorff distance are 0.104 and 22.311 4, respectively, decreasing by 1.68% and 1.410 2, respectively. In the test set of every 54 pictures, the total average number of tumor pictures of JS > 0.75 is 42.1 up to a maximum of 46. Experimental results show that the proposed improved algorithm improves the results. Conclusion The proposed segmentation model based on U-Net network and combining the residual path with the new junction improves the precision of segmentation of breast ultrasound tumor images.

Key words

tumor segmentation; breast ultrasound; convolutional network; residual paths (Res paths); dense block

0 引言

乳腺癌是常见的高发病率肿瘤疾病，在女性死亡疾病中排名第二(Siegel等，2016)，超过8%的女性一生中会患上乳腺癌(Cheng等，2010)。由于其高发性和危害性，乳腺癌受到了密切关注，早期确诊是预防乳腺癌的关键。

活检是乳腺癌诊断的金标准，其病理结果往往是诊断的最终结果(Liu等，2010)。然而，活检需要花费很多人力物力，不仅会对患者的正常生理组织造成损害，而且可能对患者的心理造成损害。据统计，接受活检的患者中仅有不到30%诊断为恶性肿瘤，因此，活检并不是乳腺癌诊断的最佳选择。随着计算机技术的发展，医学成像技术为乳腺癌诊断带来了许多新的方法。常见的乳腺癌成像技术包括超声成像(Pandian等，1988)、磁共振成像(magnetic resonance imaging，MRI)(Freed等，2011)和X射线成像(Alexiou等，2001)。其中，X射线成像会对乳腺组织造成辐射损伤，而且很难诊断和区分密集的乳腺组织。MRI不仅昂贵，而且扫描时间较长。与上述两种方法相比，超声成像具有以下优势：1)没有放射性，不会对乳腺组织造成损伤；2)易于使用，可以对乳房前部任何部位成像；3)成像速度快，价格便宜，有利于大规模推广应用。然而与其他常用技术如乳房X射线检查相比，超声图像更多地依赖专业的超声医生。这是因为超声图像存在斑点噪声和分辨率较低等问题，导致根据成像结果诊断乳腺癌时存在医生的高主观性和不确定性，所以在诊断过程中需要经验丰富、训练有素的医生。同时，个体患者之间的差异、医务人员缺乏医学实践经验等都会给诊断带来困难，甚至导致误诊。

医学影像技术与计算机技术相结合，准确分割肿瘤图像，辅助医务人员进行诊断和鉴定已成为提高诊断准确性的趋势。通过计算机程序可以确定肿瘤的位置、形状和大小，减少医务人员的主观性。同时，利用计算机的快速计算和智能处理能力，提高了诊断速度和准确性。因此，利用计算机技术对乳腺肿瘤的超声图像进行处理和分析具有重要的研究和临床价值。

超声图像具有很强的散斑噪声，为此出现了多种去噪滤波技术。如小波技术(Abramovich等，1998)、去皮克尔滤波器(Loizou等，2005)和定向滤波器(Wang等，2010)等。同时出现了多种在超声图像上分割乳腺肿瘤的方法，这些方法根据不同区域的特征将超声肿瘤图像处理为非线性加权图像，将病变与正常组织重叠区域分离为病变区域和正常组织区域，以利于病变的进一步诊断。Rodrigues和Giraldi(2011)在Tsallis理论基础上提出了阈值分割方法，结合图像直方图改进熵值，但仅在只有肿瘤和背景的大小变化时表现更好。Shan等人(2012)提出一种基于中性和模糊C-means的广义聚类方法，用于分割单个边缘模糊的肿瘤。Luo等人(2016)提出一种创新的图算法，利用粒子群算法来优化图算法，对肿瘤的边缘分割更加精准，但是需要手动确定感兴趣区域(region of interest，ROI)。Lotfollahi等人(2018)将neutrosophic理论与基于区域的主动轮廓算法相结合，克服了超声图像的自然特性，但初始化轮廓需要手动操作，对肿瘤仅能进行半自动化分割。Almajalid等人(2018)以U-Net模型为核心，提出的方法可以对乳腺超声图像进行自动分割。

深度卷积神经网络是视觉识别任务中的常用技术(Simonyan和Zisserman，2015)，可以针对目标数据和任务自动找到合适的特征。分类任务是卷积网络的典型应用，在分类任务中，类标签是网络的输出。然而在许多视觉处理特别是生物医学图像处理任务中，所需的输出通常要求包含定位、边框等信息。Long等人(2015)提出的用于语义分割的全卷积神经网络(fully convolutional neural networks，FCNs)，可以进行端到端、像素到像素的训练，输入图像大小是任意尺寸，通过有效推理和学习，可以输出与输入图像相应大小且包含目标信息的图像。Ronneberger等人(2015)对FCNs模型进行改进，提出了U-Net模型，在收缩网络的后面补充了一个扩展网络，并将收缩路径得到的特征与扩展路径上采样得到的特征相结合，充分利用标记的样本图像进行训练。研究表明，更深层次网络在图像分割中的表现会更好(Simonyan和Zisserman，2015；Szegedy等，2015)。然而深层次网络仍然存在一些困难，如梯度消失和爆炸。为了克服梯度消失问题，He等人(2016)提出了深度残差学习框架，利用特征直接映射(identity mapping)优化训练。在深度残差学习和U-Net的推动下，Zhang等人(2018)提出了基于U-Net体系结构的ResU-Net(residual U-Net)网络，使用残差块代替简单的神经细胞单元作为基本块。Huang等人(2017)提出密集卷积网络(densely connected convolution network，DenseNet)，每一层的输入都是由前面各层输出的拼接，具有缓解梯度消失、加强特征传播、鼓励特征重用、大幅减少参数数量的优点。Jégou等人(2017)对DenseNet进行扩展，提出了FC-DenseNet(fully convolutional DenseNets)，用于处理语义分割问题。

深度卷积神经网络在超声图像分割领域有着大量应用。龙法宁等人(2018)基于U-Net模型，提出一种改进的深度学习模型，对臂丛神经超声图像进行分割。朱锴等人(2019)利用全卷积神经网络，结合关键点定位和凸包算法，对左心室超声图像进行分割。Ding等人(2019)在U-Net模型的基础上提出ReAgU-Net模型，将残差单元和注意门嵌入到快捷连接之中，对甲状腺超声图像进行分割。Li等人(2019)设计了一个框架，将密集连接与U-Net结构相结合，从超声图像中自动分离提肌裂孔。Xu等人(2020)将空洞卷积与W-Net相结合，对胎儿超声心动图进行分割。

本文提出一种新的分割框架，称为RCU-Net(res-paths and dense connection U-Net)，采用U-Net结构，通过残差路径(residual paths，Res paths)以及在解码器中添加的由一系列卷积拼接操作组成的密集块，建立从特征输入到解码部分的新连接。残差路径缓解了U-Net结构中编码器与解码器在特征描述上的差异，密集块可以增强信息流，缓解梯度消失，提高模型的分割性能。

本文以期通过对乳腺肿瘤超声图像的精确分割辅助医生进行诊断，节省医务人员的精力，减少误诊，提高乳腺肿瘤诊断的准确性。但由于缺乏关于乳房研究的公共标准数据集，限制了算法性能的公平评估。而且在数据采集过程中，不同采集设备的差异影响了乳房图像的质量，对结果的准确性造成了一定的影响。

1 数据介绍

1.1 数据获取

本文使用上海新华医院崇明分院的乳腺疾病图像数据集。数据集中的图像由Samsung RS80A彩色多普勒超声诊断仪(配备高频探头l3-12a)获得，显示了病变的形态、内部结构和周围组织。患者均为女性，年龄为24~86岁，处于非孕期和哺乳期，检查前没有放疗、化疗或内分泌治疗史。数据集还包含了门诊信息和通过超声信息获得的提示与部分进行相应病理诊断的信息，以及部分患者进行钼靶检查得到的钼靶结论。

根据BI-RADS(breast imaging reporting and data system)的诊断标准，发现对典型的良恶性特征的BI-RADS 2、3、5类，诊断准确率相对较高，而对BI-RADS 4类，没有典型的良恶性特征的，难以通过超声诊断(Raza等，2008)。数据集中的BI-RADS 4类病变，由两名主任医生分别诊断，如果诊断结果一致，则确认诊断结果，如果不一致，诊断结果在相互协商后确认。

图 1是数据集中的部分肿瘤样例。图 1(a)是同一患者的两幅纤维腺瘤样本图像，在数据集中医生诊断为双乳纤维腺瘤，诊断过程一般需要乳房切除术和病理诊断。若超声提示为双乳低回声和低超声回声，同时伴有大的纤维腺瘤，则需要与临床实践结合治疗。图 1(b)是同一患者的两幅浸润性导管癌图像。图 1(c)是两名患者病理诊断均为小叶增生的图像。

图 1 数据集中的肿瘤样例

Fig. 1 Tumor samples from dataset

((a)images of fibroadenoma; (b)images of invasive ductal carcinoma; (c)images of lobular hyperplasia)

本文从数据集中选择了在2013年3—10月接受治疗的256名患者的乳腺疾病图像，共538幅，这些图像中的肿瘤直径为3~52 mm。

1.2 预处理过程

从数据集中选择的图像除了包含腺体信息，还存在许多不利于模型训练的其他干扰信息，因此需要手动获取没有干扰信息的图像。同时，模型的输入图像要求为256 × 256像素大小，对此采用立方插值的方法将原始图像缩放至所需规格。

2 方法

2.1 U-Net框架

U-Net框架左侧为编码过程，用于特征提取，右侧为一个精准定位的解码过程。编码过程共经过4次池化操作，每次池化操作后，每一层输出的图像大小会缩小1倍，包括原始图像在内，共有5个尺度大小的图像。因为每次下采样后的输出图像大小会发生变化，解码过程通过上采样，此过程对应编码过程中的池化操作，将获得的特征图放大一倍，将编码部分的特征图与解码部分对应的特征图通过捷径连接相结合，创建一个有效的信息传播路径，加快了训练过程中的反向传播，而且补偿了高级语义特征的低级细节。

2.2 编解码相应层间的语义差异缓解

U-Net体系结构在编码层和相应解码层之间采用快捷连接。Ibtehaz和Rahman(2020)提出一种体系结构，结合卷积层采用快捷连接，以减轻编码特征和解码特征之间的差异。此外，由于残差连接使学习更容易，Ibtehaz和Rahman(2020)在普通卷积层的基础上构建残差连接，通过残差块(residual block，RB)将特征映射从编码部分连接到解码部分，称为残差路径(Res path)，此过程通过改进用于底层映射的堆叠操作，缓解了梯度的消失。残差块可以表示为

$ x_{l}=H_{l}\left(x_{l-1}\right)+x_{l-1} $

(1)

式中，$x_{l}$是$l$层的输出，$H_{l}$是对$l$-1层输出做的非线性形变，即$x_{l}$是$H_{l}$与上一层映射$x_{l-1}$相加后的结果。

残差路径这种连接方法在图像分析中具有很大的应用潜力。因为编码阶段对应层与解码阶段对应层的感受野不同，本文将残差路径引入分割模型中，通过一系列非线性操作，可以更好地将编码阶段提取的乳腺癌肿瘤信息传递到训练过程中的解码阶段。如图 2所示，残差路径由一系列连接在一起的残差块组成，每个小残差块采用3×3和1×1大小的卷积核，在每次卷积操作后都进行归一化(batch normalization，BN)和修正线性单元(rectified linear unit，ReLU)激活操作。

图 2 编码器与解码器之间的非线性操作

Fig. 2 Nonlinear operation between encoder and decoder

2.3 密集块连接

受残差路径连接的启发，Huang等人(2017)构建了由密集块(dense block)连接的DenseNets，以前馈的方式迭代连接每个前一层的特征映射输出。这种连接模式使所有层的输出直接由整个单元系统的先前特征监督，特征能够更好地重用。第$l$层的输出定义为

$ x_{l}=H_{l}\left(\left[x_{l-1}, x_{l-2}, \cdots, x_{0}\right]\right) $

(2)

式中，[·]表示连接方式，此处为拼接(concatenation connection)。第$l$层对应输入$F+k×(l-1)$幅特征图，$F$为第$l$层输入中特征映射的数目，$k$为密集块中的增长率，是超参数，用于学习每一层所需数量的特征映射。在每一层更新增长率$k$，使所有密集块具有相同数量的卷积层。为了提高计算效率，在每个3 × 3的卷积操作前添加1个1 × 1的卷积操作，如图 3所示，每一次卷积操作后均需进行归一化BN和ReLU激活操作，然后将卷积层通过拼接操作连接到所有后续层(Guan等，2020)。

图 3 由密集块组成的连接

Fig. 3 The connection composed of dense blocks

本文提出一种新的连接，在特征映射输入与解码器之间引入密集块，并将其看做残差块中的捷径连接。在整个网络体系中，将从编码的输入到解码的输出看做是一个大的非线性操作，$R = P-I$，$R$表示非线性操作，$I$表示输入，$P$表示输出。在通常的网络训练过程中，编解码部分每通过最大池化操作一次，图像的长宽都缩小至原来的1/2，造成图像特征信息的大量丢失。然而，新的连接是一个连续的卷积操作，没有池化操作，可以弥补在池化和上采样过程中造成的巨大信息损失。同时因为密集块采用拼接连接，在前面层中学习的特征映射与随后的层相连接，结合了输入在浅层的感受野，使一些细节信息更加完善。从图 3可以看到，解码最后阶段的卷积核数目是128，为了保持输出的图像大小相同，从而保证有相同的特征图进行融合，本文选择期望得到的特征图参数$f$=128，增长率参数$k$=16。

2.4 语义分割框架

本文模型详细结构如图 4所示，在基于U-Net框架的基础上添加残差路径，以减少之前编码与解码层之间的特征映射在快捷连接中的差异，并缓解梯度的消失。每个残差路径中的卷积核数目对应前一层编码器的卷积核数目。由于U-Net的每一层卷积核数目分别为64、128、256、512和1 024，所以对4个残差路径选择的单元数目依次是4、3、2、1。即在不同的4个残差路径中，残差块的卷积核大小依次为64、128、256、512。在此基础上，在特征输入层到解码器最后一步之间引入密集块，通过密集块组成从输入特征映射到解码最后一层的新连接，减少输入特征图与解码器特征图之间的差距，有效减少特征损失并保存更有效信息，提高分割的准确性。

图 4 提出模型的主要框架

Fig. 4 The main framework of the proposed model

2.5 训练方法

从538幅乳腺肿瘤超声图像中选择484幅用于训练，54幅用于测试，即将538幅乳腺超声图像划分成10个不同的测试子数据集，这10个不同的测试子数据集都有相对应的训练集，这些训练集包含另外484幅乳腺超声图像，即可以得到10组不同的子数据集，并使用Image DataGenerator(Ronneberger等，2015)将训练图像扩充到968幅，训练时随机抽取48幅作为验证集。实验使用Keras(Ketkar，2017)构建模型框架，在NVIDIA Titan1080 GPU上训练模型，使用“he_normal”(He等，2015)初始化模型参数，使用Adam(Bock等，2018)作为优化器, 有效步长调整为$\Delta_{t}=\alpha \cdot \hat{m}_{t} / \sqrt{\hat{v}_{t}}$，其中，${\hat m_t}$为指数移动均值，${\hat v_t}$为平方梯度，$\hat{m}_{t}=m t /\left(1-\beta_{1}{ }^{t}\right)$，$\hat{v}_{t}=v_{t} /\left(1-\beta_{2}{ }^{t}\right)$，${\beta _1}$和${\beta _2}$为控制移动均值指数的衰减率，初始化${\beta _1}$为0.9，${\beta _2}$为0.999，学习率$α$为0.000 1。损失函数使用交叉熵(cross entropy)损失函数，批尺寸为4。

设$\boldsymbol{X}$为模型的原始输入图像，$\boldsymbol{Y}$为相应的掩膜，$\hat{\boldsymbol{Y}}$是模型完成训练后的测试结果。对任一像素点$px$，${y}_{p x}$和$\hat{y}_{p x}$分别是$px$在图像中的标准掩膜和测试得到的掩膜。交叉熵损失函数为

$ \begin{array}{c} L_{\text {cro }}(\boldsymbol{X}, \boldsymbol{Y}, \hat{\boldsymbol{Y}})=\sum\limits_{p_{x} \in \boldsymbol{X}}-\left(y_{p x} \log \left(\hat{y}_{p x}\right)+\right. \\ \left.\left(1-y_{p x}\right) \log \left(1-\hat{y}_{p x}\right)\right) \end{array} $

(3)

对包括$n$个批处理的超声图像，损失函数定义为

$ L=\frac{1}{n} \sum\limits_{i=1}^{n} L_{\mathrm{cro}}\left(\boldsymbol{X}_{i}, Y_{i}, \hat{Y}_{i}\right) $

(4)

3 实验和结果

3.1 评价指标

本文采用真阳率(true positive，TP)、假阳率(false positive，FP)、骰子系数(Dice coefficients，DC)、杰卡德相似系数(Jaccard similarity，JS)和豪斯多夫距离(Hausdorff distance，HD)等性能指标对实验结果进行定量分析。

真阳率是分割的图像结果中预测正确像素点的个数占标准掩膜的占比；假阳率是指分割结果中预测错误的占标准掩膜的比率。TP值越高，目标区域的覆盖范围越大；FP值越低，包含的分类错误的背景区域越少。骰子系数是统计中衡量二元分类模型精度的指标，DC越接近1，分割结果越准确。杰卡德相似系数是比较有限样本集之间相似性和差异性的指标，JS值越大，相似性越高。豪斯多夫距离是所有两点间最短距离中的最大值。对超声图像，HD指预测结果中的每个点与标准掩膜上的点之间的距离。

TP、FP、DC、JS和HD的计算式分别为

$ T P=\frac{|\boldsymbol{A} \cap \boldsymbol{B}|}{|\boldsymbol{A}|} $

(5)

$ F P=\frac{|\boldsymbol{A} \cup \boldsymbol{B}-\boldsymbol{A}|}{|\boldsymbol{A}|} $

(6)

$ D C=2 \frac{|\boldsymbol{A} \cap \boldsymbol{B}|}{|\boldsymbol{A}|+|\boldsymbol{B}|} $

(7)

$ J S=\frac{|\boldsymbol{A} \cap \boldsymbol{B}|}{|\boldsymbol{A} \cup \boldsymbol{B}|} $

(8)

$ \begin{array}{l} \;\;\;\;\;\;\;\;\;\;\;\;\;\;{HD}(\mathit{\boldsymbol{X}}, \mathit{\boldsymbol{Y}}) = \\ \max \left\{ {\mathop {\sup }\limits_{x \in \mathit{\boldsymbol{X}}} \mathop {\inf }\limits_{y \in \mathit{\boldsymbol{Y}}} d(x, y), \mathop {\sup }\limits_{y \in \mathit{\boldsymbol{Y}}} \mathop {\inf }\limits_{x \in \mathit{\boldsymbol{X}}} d(x, y)} \right\} \end{array} $

(9)

式中，$\boldsymbol{A}$是标准掩膜，$\boldsymbol{B}$指分割结果，sup和inf分别表示上界和下界，$\boldsymbol{X}$和$\boldsymbol{Y}$分别表示预测结果和相应的掩膜，$d$(·)为距离函数。

3.2 实验结果

将U-Net模型、引入残差路径的U-Net(U-Net with Res paths)模型和本文模型进行10-fold交叉验证实验，每次使用相同的训练样本集和测试样本集。3种模型的训练轮次分别为80、100和120，实验结果如表 1和表 2所示。可以看出，除HD外，在DC、JS、FP、TP指标上，U-Net with Res paths模型都优于U-Net模型，而本文模型不仅优于U-Net模型，而且优于U-Net with Res paths模型，且包括HD在内的5个性能指标均优于其他指标，与U-Net模型相比，TP、JS和DC分别提高了1.08%、2.14%和2.01%，HD和FP分别下降了1.410 2和1.68%。

表 1 不同方法在10-fold交叉验证中的性能指标均值
Table 1 The average value of performance indexes by different methods using 10-fold cross validation

下载CSV

方法	DC	HD	JS	FP	TP
U-Net	0.862 3	23.721 6	0.782 3	0.120 8	0.859 9
U-Net with Res paths	0.874 0	24.450 6	0.793 7	0.112 3	0.870 5
本文	0.882 4	22.311 4	0.803 7	0.104 0	0.870 7
注：加粗字体表示各列最优结果。

表 2 不同方法在10-fold交叉验证中的性能指标的标准差
Table 2 The standard deviation of performance indexes by different methods using 10-fold cross validation

下载CSV

算法	DC	HD	JS	FP	TP
U-Net	0.019 8	2.946 0	0.022 9	0.029 1	0.021 2
U-Net with Res paths	0.012 9	1.812 0	0.013 5	0.032 2	0.016 4
本文	0.011 1	1.429 8	0.012 6	0.021 9	0.013 1
注：加粗字体表示各列最优结果。

为进一步验证本文模型的性能，选择4幅典型的乳腺癌超声图像与U-Net和U-Net with Res paths模型进行比较，4幅图像具有不同的边缘轮廓、不同的组织纹理特征和不同的对比度，如图 5所示。可以看出，对灰度值变化明显、轮廓比较清晰的肿瘤图像(图 5第1、2行)，3种模型都可以准确分割肿瘤的边缘与轮廓。对像素值变化不明显的肿瘤图像(图 5第3、4行)，U-Net模型的效果明显低于另外两个经过改进的模型，而本文模型(RCU-Net)与仅引入残差路径的U-Net with Res paths模型相比，有着更加完整的轮廓，保留了更多的细节信息，具有更佳的性能。

图 5 典型的乳腺超声图像分割结果

Fig. 5 Segmentation results of typical ultrasound images of breast cancer((a)original images; (b)ground truths; (c)U-Net; (d)U-Net with Res paths; (e)ours)

图 6是3种模型10-fold交叉验证中每个子数据集获得的TP值和FP值。可以看出，在图 6(a)的第7个子数据集中，与初步改进的U-Net with Res paths模型相比，本文模型对测试集预测获得的TP值明显偏低。但在图 6(b)中，本文模型获得的FP值总体低于另外两个模型。

图 6 不同模型10-fold交叉验证的TP值和FP值

Fig. 6 TP and FP values of 10-fold cross validation of different models((a) TP; (b) FP)

一般情况下，杰卡德相似系数JS > 0.75时即认为图像分割成功。本文对10-fold交叉验证的每个case中3种模型分割结果中评价指标JS > 0.75的图像数量进行统计，并计算总平均值，U-Net、U-Net with Res paths和本文模型分别为40.6、40.7、42.1。可以看出，本文模型分割成功的图像数量高于另外两个模型。图 7是JS > 0.75的图像数量的箱型图，从图中可以看出，本文模型的中位数高于另外两个模型，本文模型的最大值可以达到46。

图 7 JS > 0.75的图像数量的箱型图

Fig. 7 Box plots of number of images with JS more than 0.75

最后，将本文方法与阈值法(Rodrigues和Giraldi，2011)、聚类法(Shan等，2012)、图算法(Luo等，2016)、活动轮廓算法(Lotfollahi等，2018)和神经网络算法(Almajalid等，2018)等方法在各自的乳腺超声数据集上的表现从数据规模、分割方式和准确性方面进行对比，结果如表 3所示。其中，Mean overlap表示平均重叠误差，SI(similarity)表示预测结果与模板的相似度, 即用杰卡德相似系数衡量，ARE(averaged radial error)表示测量分割轮廓相对于掩膜中轮廓的平均径向误差，TPVF(true positive volume fraction)表示真阳性体积分数，即肿瘤正确区域与分割区域重叠的组织的总比例，DICE表示两个样本相似度即骰子系数。可以看出，本文方法采用的数据集规模大于其他方法的数据集，提出的自动分割模型在性能评估上也有不错的表现。

表 3 不同方法在不同数据集上的性能比较
Table 3 Comparison of performances among different methods on different datasets

下载CSV

方法	图像数量/幅	分割方式	准确性
阈值法(Rodrigues和Giraldi，2011)	250	半自动化	Mean overlap = 90%
聚类法(Shan等，2012)	122	自动化	TP = 92.4±6.5%，FP = 7.2±5.1%，SI = 86.3±5.5%
图算法(Luo等，2016)	100	半自动化	ARE = 10.75±13.28%，TPVF = 85.26±16.74%
活动轮廓算法(Lotfollahi等，2018)	36	半自动化	TP = 95.91±2%，FP = 6.88±3%，SI = 89.96±3%
神经网络算法(Almajalid等，2018)	221	自动化	TP = 78.66%，FP = 18.59%，DICE = 82.52%
本文	538	自动化	TP = 87.07%，FP = 10.4%，DICE = 88.24%

4 结论

本文提出一种结合残差路径及密集连接的乳腺超声肿瘤分割算法。首先在U-Net模型中引入残差路径(Res paths)，缓解模型编码部分的对应层与解码部分之间的差异。然后通过密集块将输入连接到解码器的最后一层，增加特征信息，提高模型效果。对获得的538幅乳腺超声肿瘤图像进行分割，得到了不错的肿瘤自动分割结果。与未改进的U-Net模型相比，改进的模型在各项评价指标上的表现都更好。

但本文模型存在以下不足：本文模型是在现有的U-Net模型上进行改进，在引入密集块和残差路径之后，参数大量增加，计算内存增大，需要性能更佳的硬件支持。同时，在模型分割中仍然存在一些失败的案例，主要原因是数据集并不足够大，具有相似特征的图像占比不均匀，导致部分图像不易分割，而且容易产生过拟合问题。在今后的工作中，将在更多的肿瘤分割数据集中应用提出的模型，进一步提高算法的鲁棒性。

参考文献

Abramovich F, Sapatinas T, Silverman B W. 1998. Wavelet thresholding via a Bayesian approach. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 60(4): 725-749 [DOI:10.1111/1467-9868.00151]

Alexiou C, Arnold W, Hulin P, Klein R J, Renz H, Parak F G, Bergemann C, Lubbe A S. 2001. Magnetic mitoxantrone nanoparticle detection by histology, X-ray and MRI after magnetic tumor targeting. Journal of Magnetism and Magnetic Materials, 225(1/2): 187-193 [DOI:10.1016/S0304-8853(00)01256-7]

Almajalid R, Shan J, Du Y D and Zhang M. 2018. Development of a deep-learning-based method for breast ultrasound image segmentation//Proceedings of the 17th IEEE International Conference on Machine Learning and Applications. Orlando, USA: IEEE: 1103-1108[DOI: 10.1109/ICMLA.2018.00179]

Bock S, Goppold J and Weiß M. 2018. An improvement of the convergence proof of the ADAM-optimizer[EB/OL]. (2018-04-27)[2020-03-09]. https://arxiv.org/pdf/1804.10587.pdf

Cheng H D, Shan J, Ju W, Guo Y H, Zhang L. 2010. Automated breast cancer detection and classification using ultrasound images: a survey. Pattern Recognition, 43(1): 299-317 [DOI:10.1016/j.patcog.2009.05.012]

Ding J R, Huang Z C, Shi M D and Ning C P. 2019. Automatic thyroid ultrasound image segmentation based on u-shaped network//Proceedings of the 12th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics. Suzhou, China: IEEE: 1-5[DOI: 10.1109/CISP-BMEI48845.2019.8966062]

Freed M, De Zwart J A, Loud J T, El Khouli R H, Myers K J, Greene M H, Duyn J H, Badano A. 2011. An anthropomorphic phantom for quantitative evaluation of breast MRI. Medical Physics, 38(2): 743-753 [DOI:10.1118/1.3533899]

Guan S, Khan A A, Sikdar S, Chitnis P V. 2020. Fully dense UNet for 2-D sparse photoacoustic tomography artifact removal. IEEE Journal of Biomedical and Health Informatics, 24(2): 568-576 [DOI:10.1109/JBHI.2019.2912935]

He K M, Zhang X Y, Ren S Q and Sun J. 2015. Delving deep into rectifiers: surpassing human-level performance on imagenet classification//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 1026-1034[DOI: 10.1109/ICCV.2015.123]

He K M, Zhang X Y, Ren S Q and Sun J. 2016. Identity mappings in deep residual networks//Proceedings of the 14th European Conference on Computer Vision. Amsterdam, the Netherlands: Springer: 630-645[DOI: 10.1007/978-3-319-46493-0_38]

Huang G, Liu Z, van der Maaten L and Weinberger K Q. 2017. Densely connected convolutional networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 2261-2269[DOI: 10.1109/CVPR.2017.243]

Ibtehaz N, Rahman M S. 2020. MultiResUNet: rethinking the U-Net architecture for multimodal biomedical image segmentation. Neural Networks, 121: 74-87 [DOI:10.1016/j.neunet.2019.08.025]

Jégou S, Drozdzal M, Vazquez D, Romero A and Bengio Y. 2017. The one hundred layers tiramisu: fully convolutional densenets for semantic segmentation//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE: 1175-1183[DOI: 10.1109/CVPRW.2017.156]

Ketkar N. 2017. Introduction to keras//Ketkar N, ed. Deep Learning with Python. Berkeley: Apress: 97-111[DOI: 10.1007/978-1-4842-2766-4_7]

Li X, Hong Y, Kong D X, Zhang X L. 2019. Automatic segmentation of levator hiatus from ultrasound images using U-net with dense connections. Physics in Medicine and Biology, 64(7): 075015 [DOI:10.1088/1361-6560/ab0ef4]

Liu B, Cheng H D, Huang J H, Liu J W, Tang X L, Liu J F. 2010. Fully automatic and segmentation-robust classification of breast tumors based on local texture analysisof ultrasound images. Pattern Recognition, 43(1): 280-298 [DOI:10.1016/j.patcog.2009.06.002]

Loizou C P, Pattichis C S, Christodoulou C I, Istepanian R S H, Pantziaris M, Nicolaides A. 2005. Comparative evaluation of despeckle filtering in ultrasound imaging of the carotid artery. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control, 52(10): 1653-1669 [DOI:10.1109/TUFFC.2005.1561621]

Long F N, Zhu X S, Gan J Z. 2018. Ultrasound image segmentation of brachial plexus via convolutional neural networks. Journal of Hefei University of Technology(Natural Science), 41(9): 1191-1195, 1296 (龙法宁, 朱晓姝, 甘井中. 2018. 基于卷积神经网络的臂丛神经超声图像分割方法. 合肥工业大学学报(自然科学版), 41(9): 1191-1195, 1296) [DOI:10.3969/j.issn.1003-5060.2018.09.007]

Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA: IEEE: 3431-3440[DOI: 10.1109/CVPR.2015.7298965]

Lotfollahi M, Gity M, Ye J Y, Far A M. 2018. Segmentation of breast ultrasound images based on active contours using neutrosophic theory. Journal of Medical Ultrasonics, 45(2): 205-212 [DOI:10.1007/s10396-017-0811-8]

Luo Y Z, Han S J and Huang Q H. 2016. A novel graph-based segmentation method for breast ultrasound images//Proceedings of 2016 International Conference on Digital Image Computing: Techniques and Applications. Gold Coast, QLD, Australia: IEEE: 1-6[DOI: 10.1109/DICTA.2016.7796992]

Pandian N G, Kreis A, Brockway B, Isner J M, Sacharoff A, Boleza E, Caro R, Muller D. 1988. Ultrasound angioscopy: real-time, two-dimensional, intraluminal ultrasound imaging of blood vessels. The American Journal of Cardiology, 62(7): 493-494 [DOI:10.1016/0002-9149(88)90992-7]

Raza S, Chikarmane S A, Neilsen S S, Zorn L M, Birdwell R L. 2008. BI-RADS 3, 4, and 5 lesions: value of US in management-follow-up and outcome. Radiology, 248(3): 773-781 [DOI:10.1148/radiol.2483071786]

Rodrigues P S, Giraldi G A. 2011. Improving the non-extensive medical image segmentation based on tsallis entropy. Pattern Analysis and Applications, 14(4): 369-379 [DOI:10.1007/s10044-011-0225-y]

Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241[DOI: 10.1007/978-3-319-24574-4_28]

Shan J, Cheng H D, Wang Y X. 2012. A novel segmentation method for breast ultrasound images based on neutrosophic l-means clustering. Medical Physics, 39(9): 5669-5682 [DOI:10.1118/1.4747271]

Siegel R L, Miller K D, Jemal A. 2016. Cancer statistics, 2016. CA: A Cancer Journal for Clinicians, 66(1): 7-30 [DOI:10.3322/caac.21332]

Simonyan K and Zisserman A. 2015. Very deep convolutional networks for large-scale image recognition[EB/OL]. (2015-04-10)[2020-03-09]. https://arxiv.org/pdf/1409.1556.pdf

Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 1-9[DOI: 10.1109/CVPR.2015.7298594]

Wang K J, Ma H, Popoola O P and Li X F. 2010. A novel finger vein pattern extraction method using oriented filtering technology//Proceedings of the 8th World Congress on Intelligent Control and Automation. Jinan, China: IEEE: 6240-6244[DOI: 10.1109/WCICA.2010.5554393]

Xu L, Liu M Y, Shen Z R, Wang H, Liu X W, Wang X, Wang S Y, Li T F, Yu S M, Hou M, Guo J H, Zhang J C, He Y H. 2020. DW-Net: a cascaded convolutional neural network for apical four-chamber view segmentation in fetal echocardiography. Computerized Medical Imaging and Graphics, 80: 101690 [DOI:10.1016/j.compmedimag.2019.101690]

Zhang Z X, Liu Q J, Wang Y H. 2018. Road extraction by deep residual u-net. IEEE Geoscience and Remote Sensing Letters, 15(5): 749-753 [DOI:10.1109/LGRS.2018.2802944]

Zhu K, Fu Z L, Chen X Q. 2019. Left ventricular segmentation method of ultrasound image based on convolutional neural network. Journal of Computer Applications, 39(7): 2121-2124 (朱锴, 付忠良, 陈晓清. 2019. 基于卷积神经网络的超声图像左心室分割方法. 计算机应用, 39(7): 2121-2124) [DOI:10.11772/j.issn.1001-9081.2018112321]