0 引言

1 相关技术

1.1 卷积神经网络

卷积神经网络^[20]与其他深层神经网络类似，由输入层、隐藏层和输出层构成。隐藏层包含卷积层、池化层和若干全连接层，在全连接层之后通过激活函数将前层信息映射成一个固定长度的特征向量，使之适用于图像分类。卷积神经网络的基本结构如图 1所示。

图 1 卷积神经网络结构

Fig. 1 Convolutional neural network structure

卷积神经网络与传统神经网络有以下不同：

1) 在CNN的隐藏层中，前一层的输出作为后一层的输入，但前一层的每一个神经元不再与后一层的所有神经元建立连接，而是仅与附近区域内的神经元建立连接，这种连接方式的原理与人类视觉系统中视神经感受外界信息类似，能大大减少神经网络架构的参数。

2) 在CNN的卷积层中，每一个卷积滤波器按照一定的步长平移，重复地作用于整个感受野中，对输入图像进行卷积，卷积结果构成输入图像的特征图，从而提取图像的局部特征。每一个卷积滤波器共享相同的参数，包括相同的权重矩阵和偏置项。

3) 将卷积后的特征图进行池化采样不仅能够减小计算复杂度，而且能够增强对位移的鲁棒性。

1.2 全卷积神经网络

2 研究方法

2.1 数据预处理

2.1.1 数据增广

2.1.2 原始图像的分块处理

2.1.3 图像的白化处理

眼底图像通常会受采集环境中光照强度、中心线反射和采集设备等因素的影响，容易引入噪声，并使得血管和背景的对比度降低。为了减少这些因素的影响，提取图像中的恒定信息，需要对图像做白化处理，将图像像素灰度值分布规格化为零均值和单位方差。

1) 计算原始图像$\mathit{\boldsymbol{Z}}$在R、G、B各个通道的像素平均值$μ$和方差${\delta ^2}$, 即

$ {\mu _{\rm{R}}} = \frac{{\sum\limits_{i = 1}^{{N_{\rm{R}}}} {{Z_i}} }}{{{N_{\rm{R}}}}} $

(1)

$ {\mu _{\rm{G}}} = \frac{{\sum\limits_{j = 1}^{{N_{\rm{G}}}} {{Z_j}} }}{{{N_{\rm{G}}}}} $

(2)

$ {\mu _{\rm{B}}} = \frac{{\sum\limits_{k = 1}^{{N_{\rm{B}}}} {{Z_k}} }}{{{N_{\rm{B}}}}} $

(3)

$ {\delta _{\rm{r}}}^2 = \frac{{\sum\limits_{i = 1}^{{N_{\rm{R}}}} {{{({Z_i} - {\mu _i})}^2}} }}{{{N_{\rm{R}}}}} $

(4)

$ {\delta _{\rm{g}}}^2 = \frac{{\sum\limits_{j = 1}^{{N_{\rm{G}}}} {{{({Z_j} - {\mu _j})}^2}} }}{{{N_{\rm{G}}}}} $

(5)

$ {\delta _{\rm{b}}}^2 = \frac{{\sum\limits_{k = 1}^{{N_{\rm{B}}}} {{{({Z_k} - {\mu _k})}^2}} }}{{{N_{\rm{B}}}}} $

(6)

式中，${N_{\rm{R}}}、{N_{\rm{G}}}、{N_{\rm{B}}}$分别表示R、G、B各个通道的像素数量。

2) 将原始彩色图像各通道中的每一个像素减去该层的平均值$μ$，除以该层的标准差$δ$，得

$ x = \frac{{Z - \mu }}{\delta } $

(7)

式中，$x$表示白化处理后图像对应位置像素点值。

白化处理的结果如图 2所示，从图 2可以看出，经过处理后的图像中血管与背景的对比度得到了明显增强。在光照偏低、噪声过大的情况下，原始图像中的某些微小血管几乎难以用肉眼进行识别，但是经过白化处理后能够变得清晰可见，对后期提高血管的分割精度具有重要作用。

图 2 白化处理

Fig. 2 Whitening process ((a)original image; (b) image after whitening)

2.2 模型的搭建与训练

本文搭建的神经网络结构模型借鉴了U-net结构和Dense-net模型中的稠密连接，能够更有效地提取视网膜血管。

U-net网络模型如图 3所示，由输入层、隐藏层、输出层构成。

图 3 U-net结构

Fig. 3 U-net structure

隐藏层可以分为下采样部分和上采样部分，分别对应编码器和解码器。下采样部分由若干卷积层和池化层交替组合而成，在网络训练过程中能够对输入图像进行路径收缩, 从而捕捉全局信息。上采样部分由若干卷积层和反卷积层交替组合而成，网络在训练过程中对下采样的特征图进行路径扩张，从而精确定位每一个像素点。网络中没有全连接层，输出层通过softmax^[23]激活函数将上采样后与原始图像尺寸相同的特征图中的每一个像素点进行分类，是一个端到端的网络，即输入的是一幅图像，输出的也是一幅与之对应的相同尺寸的图像。

在U-net网络模型的基础上，引入Dense-net网络，如图 4所示。

图 4 Dense-net结构

Fig. 4 Dense-net structure

Dense-net网络中的稠密连接具有以下优点：

1) 在深度学习网络模型的隐藏层中，一般将上一层的输出作为下一层的输入，因此网络中有$N$个隐藏层就存在$N$个连接层，但是当网络层数加深到一定程度之后，后层传向前层的梯度信息会随着网络层数加深而变弱，这样就容易引起梯度消失问题，不利于神经网络利用误差反向传播算法学习网络参数。为了解决这一问题，在Dense-net中，隐藏层的每一层输入采用前面所有层输出的集合，以此加强前层与后层之间的联系，这样网络中如果有$N$个隐藏层就存在$N×(N+1)/2$个连接，利于避免梯度消失。

2) 在一定程度上解决过拟合问题。采用的眼底图像数据库中数据量相对匮乏，在网络训练过程中容易出现过拟合问题。深度学习网络中每一层的特征都是对输入数据的一个非线性变换，随着网络层数增加，变换的复杂度随之增加，在网络的最后一层复杂度将积累到一个较大程度。而一般神经网络的分类器都直接依赖网络最后一层的输出，这样很难得到一个具有良好泛化性能的决策函数，过拟合问题随之产生。而Dense-net网络能综合利用靠近输入层中具有低复杂度的特征，使得网络更容易得到一个具有更好泛化性能的决策函数^[24]。

图 5是加入稠密连接机制后的U-net(Dense U-net)模型，在整体上继承了U-net网络的对称结构，隐藏层同样由下采样部分和上采样部分组成，不同的是网络每一层的输入是上层所有输出特征图的叠加，这样每一个更深的网络层都能重复利用前层中提取的特征。

图 5 Dense U-net模型结构

Fig. 5 Dense U-net model structure

在模型的隐藏层，下采样部分和上采样部分分别由若干循环单元组成，如图 6所示。

图 6 模型分解

Fig. 6 Model decomposition diagram

下采样循环单元由卷积层、批标准化层、叠加层、激活层和池化层组成。卷积层中卷积核大小为3×3，因为卷积核大小必须大于1才有提升感受野的作用，而大小为偶数的卷积核即使对称地在特征图两边加填充(padding)也不能保证输入特征图的尺寸和输出特征图的尺寸不变，所以一般选用3×3大小的卷积核。批量标准化(batch normalization)是为了把非线性转换后的数据拉回到均值为0、方差为1的标准正态分布下，以此缓解梯度消失问题，提升网络的收敛速度。模型中激活函数选择的是目前普遍使用的Relu激活函数^[25]。每次下采样操作后原图像块尺寸缩为原来的1/4，上采样循环单元与下采样循环单元相对应，内部结构相似。

在模型训练阶段，训练集共200 000个图像块，每一轮训练选取90%用于训练，训练时将数据分批次输入到模型中以减少训练时长，剩余的10%用作验证。图像块大小为48×48像素，保留了图像中彩色空间的信息，因此图像块尺寸为48×48×3。各隐藏层特征图大小如表 1所示，测试阶段的数据量和数据尺寸如表 2所示。

表 1 隐藏层参数
Table 1 Parameters of hidden layers

下载CSV

/像素
下采样层	特征图	上采样层	特征图	卷积核
Layer_1	48×48	Layer_1	12×12	3×3
Layer_2	24×24	Layer_2	24×24	3×3
Layer_3	12×12	Layer_3	48×48	3×3

表 2 训练集和测试集参数
Table 2 Parameter settings of training images and testing images

下载CSV

实验过程	数据集	数量	尺寸/像素
训练阶段	训练	198 000	48×48×3
	验证	20 000	48×48×3
测试阶段	测试	40 000	48×48×3

3 实验结果与分析

3.1 性能评价指标

判断血管分割方法的性能需要一个有效的评价指标，通常将血管分割结果与专家手动标定的金标准相比较，像素点的分割结果如表 3所示。

表 3 4种分割结果
Table 3 Four cases of segmentation results

下载CSV

分割对象	分割正确的像素	分割错误的像素
血管点	真阳性($TP$)	假阳性($FP$)
背景点	真阴性($TN$)	假阴性($FN$)

表 3中，真阳性($TP$)表示分割正确的血管点，假阳性($FP$)表示分割错误的血管点，真阴性($TN$)表示分割正确的背景点，假阴性($FN$)表示分割错误的背景点。

通过表 3的分割结果可以计算出准确度($ACC$)、灵敏度($SE$)和特异性($SP$)等3个衡量方法性能的指标。$ACC$是分割正确的像素点占整个图像像素点总和的比例，$SE$是分割正确的血管点占金标准血管点总和的比例，$SP$是分割正确的背景点占金标准背景点总和的比例，计算方法如表 4所示。

表 4 血管分割方法性能评估指标
Table 4 Performance evaluation index of vessel segmentation algorithms

下载CSV

性能评估指标	计算方法
灵敏度($SE$)	$TP/(TP+FN)$
特异性($SP$)	$TN/(TN+FP)$
准确度($ACC$)	$(TP+TN)/(TP+FP+TN+FN)$

ROC(receiver operating characteristic)曲线是衡量二分类问题血管分割准确度的重要曲线，以假阳性率(特异性)为横坐标、真阳性率(灵敏度)为纵坐标绘制，曲线越接近左上角，分割结果越精确。AUC (area under the curve)是ROC曲线下方的面积大小，也是度量血管分割方法性能的重要标准，部分血管分割方法会在实验分析中用到，AUC值越接近1，血管分割方法性能越好。

3.2 实验结果分析

实验设置训练轮次为20次，训练曲线图如图 7所示。从图 7可以看出，在训练初始阶段，网络训练曲线收敛速度较快，说明模型学习效率较高，随着训练深入，训练曲线斜率逐渐减小，网络学习效率逐渐变慢，最终当训练次数达到10次左右时，训练曲线开始趋于水平，网络学习效率逐步达到饱和，并呈现微小波动。

图 7 学习曲线

Fig. 7 Learning curve

实验中将模型各层的特征图可视化，以便分析模型在网络层加深过程中的工作机理，从而直观了解模型逐步提取眼底图像血管特征的过程。网络各层特征图如图 8所示，左边为模型输入，中间为模型下采样循环单元或上采样循环单元通过卷积核提取的特征图，右边为模型的两种输出。

图 8 网络各层特征图

Fig. 8 Feature of each layer in network

在下采样过程中网络对图像进行路径收缩，图像逐步缩小，以便提取图像全局信息。在这一过程中，设置卷积核的个数依次为32、64、128，每一个卷积核对图像进行卷积操作后得到一个特征图，依次得到32、64、128个不同的特征图作为下一层的输入。在上采样过程中网络对图像进行路径扩张，图像逐步增大，以对像素点进行精确定位。该过程中设置卷积核个数依次为64、32、2。

从图 8可以看出，网络在卷积操作过程中，每一个卷积核提取原始图像的一种特征。这些特征除了包括血管纹理、亮度等有效信息外，还可能包括背景噪声等干扰信息。网络将这些有效信息和干扰信息综合起来作为下一层的输入，随着网络层的加深，模型会自动强化这些有效信息，同时弱化干扰信息。在最后的上采样特征图e中，网络已经过滤掉了大部分背景噪声，提取到了足够清晰的血管特征，在网络的输出层使用1×1大小的卷积核将其合并到两个通道中，得到两幅特征图，这两幅特征图的背景像素和血管像素分别相反。随后通过激活函数softmax对特征向量中的每一个像素点进行预测，预测结果为该点是血管或背景点的概率，然后将每一点的概率映射到一个尺度为48×48=2 304的列表当中，通过设定合适的阈值就能对血管点和背景点进行分类，达到提取血管的目的。

使用多种性能指标对训练后的模型进行综合评定，模型在DRIVE数据集上的灵敏度、特异性、准确率和AUC分别为0.740 9、0.992 9、0.970 7和0.917 1。其中准确率在健康、病灶和光照不均的图像上有0.01左右的波动。若仅针对原始图像中的眼底区域进行分析，灵敏度、特异性、准确率和AUC分别为0.741 1、0.989 1、0.957 5和0.983 4。本文算法与目前主流方法的性能对比如表 5，分割结果如图 9。

表 5 在DRIVE数据库上的性能表现对比
Table 5 Performance comparison on DRIVE database

下载CSV

类型	方法	$SE$	$SP$	$ACC$	AUC值
无监督学习	Zana[26]	0.697 1	—	0.937 7	0.898 4
	AI-Diri[27]	0.728 2	0.955 1	—	—
	Miri[28]	0.735 2	0.979 5	0.945 8	—
	Fraz[29]	0.715 2	0.975 9	0.943 0	—
	You[13]	0.741 0	0.975 1	0.943 4	—
监督学习	Fraz[2]	0.715 2	0.976 9	0.943 0	—
	Marin[9]	0.706 7	0.980 1	0.945 2	0.958 8
	Ricci[12]	—	—	0.956 3	0.955 8
	Sohini[30]	0.724 9	0.983 0	0.951 9	0.962 0
	Oliveira[31]	0.803 9	0.980 4	0.957 6	0.982 1
	Alom[17]	0.779 2	0.981 3	0.955 6	0.978 4
	本文	0.740 9	0.992 9	0.970 7	0.917 1
注：加粗字体为最优结果, “—”表示文献中未给出相应的结果。

图 9 分割结果

Fig. 9 Segmentation results((a) healthy; (b) sick; (c) uneven illumination)

如表 6所示，本文模型训练周期为20个，每个周期耗时约113 s，在10个训练周期后分割准确率趋于稳定。原始U-net模型训练周期为150个，每个训练周期时长约135 s，大约在120个训练周期后分割准确率趋于稳定。从表 5可以看出，本文模型在训练时长上有所减少，主要原因在于：1)模型中加入的稠密连接机制能综合利用每一层隐藏层提取的有效信息，使得模型在首个训练周期的分割结果就比较接近标签，这样在接下来的训练中就能在更少的训练周期后达到较高的准确率；2)模型中使用的批量标准化能够将每次经过非线性变换后的数据拉回到均值为0、方差为1的标准正态分布下，从而加快网络的学习效率。

表 6 训练时长对比
Table 6 Training duration comparison

下载CSV

模型	设置训练周期/个	每个周期耗时/s	实际需要训练周期/个	完成训练实际耗时/s
U-net	150	135	120	16 200
本文	20	113	10	1 130

4 结论

参考文献

[1] Gu X D, Guo S D, Yu D H. New approach for noise reducing of image based on PCNN[J]. Journal of Electronics and Information Technology, 2002, 24(10): 1304–1309. [顾晓东, 郭仕德, 余道衡. 一种基于PCNN的图像去噪新方法[J]. 电子与信息学报, 2002, 24(10): 1304–1309. ]
[2] Fraz M M, Remagnino P, Hoppe A, et al. Blood vessel segmentation methodologies in retinal images:a survey[J]. Computer Methods and Programs in Biomedicine, 2012, 108(1): 407–433. [DOI:10.1016/j.cmpb.2012.03.009]
[3] Liu I, Sun Y. Recursive tracking of vascular networks in angiograms based on the detection-deletion scheme[J]. IEEE Transactions on Medical Imaging, 1993, 12(2): 334–341. [DOI:10.1109/42.232264]
[4] Lam B S Y, Yan H. A novel vessel segmentation algorithm for pathological retina images based on the divergence of vector fields[J]. IEEE Transactions on Medical Imaging, 2008, 27(2): 237–246. [DOI:10.1109/TMI.2007.909827]
[5] Espona L, Carreira M J, Penedo M G, et al. Retinal vessel tree segmentation using a Deformable contour model[C]//Proceedings of the 19th International Conference on Pattern Recognition. Tampa, FL, USA: IEEE, 2008: 1-4.[DOI: 10.1109/ICPR.2008.4761762]
[6] Gang L, Chutatape O, Krishnan S M. Detection and measurement of retinal vessels in fundus images using amplitude modified second-order Gaussian filter[J]. IEEE Transactions on Biomedical Engineering, 2002, 49(2): 168–172. [DOI:10.1109/10.979356]
[7] Yu Z. Research on medical image segmentation based on geometric deformable model[D]. Tianjin: Tianjin University, 2007. [于正.基于几何形变模型的医学图像分割方法研究[D].天津: 天津大学, 2007.]
[8] Osareh A, Shadgar B. Retinal vessel extraction using Gabor filters and support vector machines[C]//Proceedings of the 13th International CSI Computer Conference on Advances in Computer Science and Engineering. Kish Island, Iran: Springer, 2008: 356-363.[DOI: 10.1007/978-3-540-89985-3_44]
[9] Marin D, Gegundez-Arias M E, Ponte B, et al. An exudate detection method for diagnosis risk of diabetic macular edema in retinal images using feature-based and supervised classification[J]. Medical and Biological Engineering and Computing, 2018, 56(8): 1379–1390. [DOI:10.1007/s11517-017-1771-2]
[10] Niemeijer M, Staal J, van Ginneken B, et al. Comparative study of retinal vessel segmentation methods on a new publicly available database[C]//Proceedings of SPIE 5370, Medical Imaging 2004: Image Processing. San Diego, California, USA: SPIE, 2004, 5370: 648-656.[DOI: 10.1117/12.535349]
[11] Soares J V B, Leandro J J G, Cesar R M, et al. Retinal vessel segmentation using the 2-D Gabor wavelet and supervised classification[J]. IEEE Transactions on Medical Imaging, 2006, 25(9): 1214–1222. [DOI:10.1109/TMI.2006.879967]
[12] Ricci E, Perfetti R. Retinal blood vessel segmentation using line operators and support vector classification[J]. IEEE Transactions on Medical Imaging, 2007, 26(10): 1357–1365. [DOI:10.1109/TMI.2007.898551]
[13] You X G, Peng Q M, Yuan Y, et al. Segmentation of retinal blood vessels using the radial projection and semi-supervised approach[J]. Pattern Recognition, 2011, 44(10-11): 2314–2324. [DOI:10.1016/j.patcog.2011.01.007]
[14] Alonso-Montes C, Vilarino D L, Penedo M G. CNN-based automatic retinal vascular tree extraction[C]//Proceedings of the 9th International Workshop on Cellular Neural Networks and Their Applications. Hsinchu, Taiwan, China: IEEE, 2005: 61-64.[DOI: 10.1109/CNNA.2005.1543161]
[15] Perfetti R, Ricci E, Casali D, et al. Cellular neural networks with virtual template expansion for retinal vessel segmentation[J]. IEEE Transactions on Circuits and Systems Ⅱ:Express Briefs, 2007, 54(2): 141–145. [DOI:10.1109/TCSⅡ.2006.886244]
[16] Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-assisted Intervention. Munich, Germany: Springer, 2015.[DOI: 10.1007/978-3-319-24574-4_28]
[17] Alom M Z, Hasan M, Yakopcic C, et al. Recurrent residual convolutional neural network based on U-Net (R2U-Net) for medical image segmentation[DB/OL].[2018-09-02]. https://arxiv.org/pdf/1802.06955.pdf.
[18] Han Y, Ye J C. Framing U-Net via deep convolutional framelets:application to sparse-view CT[J]. IEEE Transactions on Medical Imaging, 2018, 37(6): 1418–1429. [DOI:10.1109/TMI.2018.2823768]
[19] Huang G, Liu Z, van der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition.2017: 2261-2269.[DOI: 10.1109/CVPR.2017.243]
[20] Li Y D, Hao Z B, Lei H. Survey of convolutional neural network[J]. Journal of Computer Applications, 2016, 36(9): 2508–2515, 2565. [李彦冬, 郝宗波, 雷航. 卷积神经网络研究综述[J]. 计算机应用, 2016, 36(9): 2508–2515, 2565. ] [DOI:10.11772/j.issn.1001-9081.2016.09.2508]
[21] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640–651. [DOI:10.1109/TPAMI.2016.2572683]
[22] Staal J, Abramoff M D, Niemeijer M, et al. Ridge-based vessel segmentation in color images of the retina[J]. IEEE Transactions on Medical Imaging, 2004, 23(4): 501–509. [DOI:10.1109/TMI.2004.825627]
[23] Nahid A A, Mehrabi M A, Kong Y N. Histopathological breast cancer image classification by deep neural network techniques guided by local clustering[J]. BioMed Research International, 2018, 2018: #2362108.
[24] Cortes C, Gonzalvo X, Kuznetsov V, et al. AdaNet: adaptive structural learning of artificial neural networks[EB/OL].[2018-09-02]. https://arxiv.org/pdf/1607.01097.pdf.
[25] Kim J, Kim S, Lee M. Convolutional neural network with biologically inspired ON/OFF ReLU[C]//Proceedings of the 22nd International Conference Neural Information Processing. Istanbul, Turkey: Springer, 2015.[DOI: 10.1007/978-3-319-26561-2_38]
[26] Zana F, Klein J C. Segmentation of vessel-like patterns using mathematical morphology and curvature evaluation[J]. IEEE Transactions on Image Processing, 2001, 10(7): 1010–1019. [DOI:10.1109/83.931095]
[27] Al-Diri B, Hunter A, Steel D. An active contour model for segmenting and measuring retinal vessels[J]. IEEE Transactions on Medical Imaging, 2009, 28(9): 1488–1497. [DOI:10.1109/TMI.2009.2017941]
[28] Miri M S, Mahloojifar A. Retinal image analysis using curvelet transform and multistructure elements morphology by reconstruction[J]. IEEE Transactions on Biomedical Engineering, 2011, 58(5): 1183–1192. [DOI:10.1109/TBME.2010.2097599]
[29] Fraz M M, Barman S A, Remagnino P, et al. An approach to localize the retinal blood vessels using bit planes and centerline detection[J]. Computer Methods and Programs in Biomedicine, 2012, 108(2): 600–616. [DOI:10.1016/j.cmpb.2011.08.009]
[30] Sohini R, Koozekanani D D, Parhi K K. Blood vessel segmentation of fundus images by major vessel extraction and subimage classification[J]. IEEE Journal of Biomedical and Health Informatics, 2015, 19(3): 1118–1128. [DOI:10.1109/JBHI.2014.2335617]
[31] Oliveira A, Pereira S, Silva C A. Retinal vessel segmentation based on fully convolutional neural networks[J]. Expert Systems with Applications, 2018, 112: 229–242. [DOI:10.1016/j.eswa.2018.06.034]