0 引言

随着医学成像技术的发展，医学图像分割在临床中的需求越来越大。肾皮质与肾柱的体积和厚度对肾脏疾病的早期诊断有着重要的临床价值，如肾肿瘤、慢性动脉硬化性肾病和肾移植急性排斥反应等疾病的诊断^[1-2]。肾柱是肾皮质伸展至肾髓质的突起部分，在肾脏图像分割领域，常将肾皮质与肾柱当作同一结构，不影响临床初步诊断。如图 1所示，肾脏图像的分割难点在于：肾脏与其他器官相邻处边界模糊；脊椎、脾脏等与肾脏灰度值接近。

图 1 肾脏及相邻器官增强CT图像

Fig. 1 Kidney and adjacent organs of contrast-enhanced CT

目前国内外对于肾脏图像分割方法的研究大致可分为两类，基于能量最小化的方法和基于标记点模型的方法。1) 基于能量最小化的方法：Khalifa等人^[3]提出加入形状先验信息的4阶Markov-Gibbs随机场模型，对肾脏和背景分别建立随机场模型，在肾脏DCE-MRI(dynamic contrast enhanced magnetic resonance imaging)图像中实现肾皮质分割。张品等人^[4]结合Chan-Vese模型和测地活动轮廓模型构造能量函数，用图割算法优化能量函数，在肾脏CT图像中实现肾脏整体分割。Liu等人^[5]基于概率形状先验信息处理图像中肾脏与其他器官相连接的问题，用马尔可夫随机场构造能量函数，置信传播算法最小化能量函数，可自动分割非增强肾脏CT图像。基于能量最小化的方法的难点在于能量函数的构造和参数估计。2) 基于标记点模型的方法：陈新建等人^[6]将主动外观模型和live wire结合，可更准确识别器官，实现腹部CT图像的多器官分割。Mendoza等人^[7]提出一种基于主动形状模型的肾脏超声图像分割算法，在主动形状模型中引入遗传优化算法，使模型获得更鲁棒的初始化，可加快收敛速度并提高准确率。基于标记点模型的方法的难点在于需要大量的训练样本建立统计模型。目前绝大多数的肾脏分割算法针对一种模态的图像，且只实现了肾脏整体分割。因此研究适于多模态肾脏图像的肾皮质分割算法对临床肾脏疾病的诊断具有重要意义。

近年来深度学习受到广泛关注，成为图像领域的主要研究方向之一，卷积神经网络(CNN)^[8-10]在自然图像分类、目标检测等研究领域获得了广泛应用。与自然图像相比，医学图像更加模糊、特征不明显，且人体的解剖组织结构和形状复杂，个体之间有相当大的差别^[11]，分割难度较大。深度学习应用于医学图像分割时，常采用提取图像块的方法^[12-13]，以整个图形块的抽象信息作为中心像素点的信息。但相邻图像块重复计算，所以占用内存较多，效率较低，且容易丢失物体的细节。

Long等人^[14]提出的基于像素的全卷积网络FCN-32s，将深度学习应用到语义分割中，为实现端对端训练，设置第一层卷积层边缘补零，并增加反卷积层，设置较大的卷积核和步长，因此FCN-32s应用于肾脏图像分割时结果不够精细。本文构建的全卷积网络(K-net)更适于肾脏图像分割，该全卷积网络可分割多模态肾脏图像，网络的输入输出都是整幅图像，避免了提取图像块的局限性。全卷积网络分割未考虑像素点之间的相关性，为进一步提高肾皮质分割准确率，结合GrowCut进行分割。GrowCut^[15]是基于种子点的交互式分割模型，可应用于医学图像分割^[16-17]，但需要用户提供初始种子点，且分割效果受种子点影响，文中将K-net的分割结果作为GrowCut的先验信息，实现肾皮质全自动分割。

1 本文算法

本文算法示意图如图 2所示，主要分为训练和测试两部分。利用训练图像和标注图像训练K-net网络参数，训练之后的网络可用于肾皮质分割。为提高肾皮质的分割准确率，需要进一步考虑像素点的空间信息，如文献[18]将全连接条件随机场作为深度网络的后处理。本文在测试阶段利用K-net网络得到GrowCut所需的种子点标记图，最终GrowCut分割出肾皮质。

图 2 本文算法示意图

Fig. 2 Illustration of the proposed method

1.1 感兴趣区域提取

进行肾脏图像分割之前需要先确定肾脏的位置，从腹部图像中提取出感兴趣区域(ROI)。通过建立R-table表示模板，广义霍夫变换(GHT)将边缘空间映射到累加器空间，可检测任意形状^[19]，文中采用GHT对肾脏进行检测。选取MRI或CT图像序列中肾皮质闭合且边缘清晰的一张切片，可使GHT检测更为准确，该组图像序列中所有切片均在同样的位置截取ROI。为加快GHT的检测速度并提高准确性，结合阈值法和高斯滤波对初始切片进行预处理。

$\begin{array}{l} M\left( {x,y} \right) = \varepsilon \left( {\varepsilon \left( {I\left( {x,y} \right) - T} \right)*} \right.\\ \quad \quad \quad \quad \left. {G\left( {x,y} \right) - k} \right) \end{array}$

(1)

式中，$\varepsilon \left( t \right) = \left\{ {\begin{array}{*{20}{l}} 1&{t \ge 0}\\ 0&{t < 0} \end{array}} \right.$为阶跃函数，$G\left( {x,y} \right) = \frac{1}{{2{\rm{ \mathsf{ π} }}{\sigma ^2}}} \times {{\rm{e}}^{ - \left( {{x^2} + {y^2}} \right)/2{\sigma ^2}}}$为高斯核，$I\left( {x,y} \right)$为图像灰度值，$T$、$k$均为固定阈值。图 3为利用GHT从512×512像素的原图中定位出128×128像素右肾ROI的示意图。选取一个类似右肾的图形作为模板建立R-table，利用GHT在预处理后的图像中搜索模板，累加器矩阵中最大值的位置确定为右肾的参考点，以该点为中心截取ROI，从而达到缩小背景范围的目的。左肾可用同样的方法提取。

图 3 GHT定位肾脏ROI

Fig. 3 Locate the ROI by GHT((a)contrast-enhanced CT image; (b)detection result of GHT; (c)location of ROI)

1.2 构建全卷积网络K-net

由于肾脏图像没有公开的标记数据库，本文使用的是有限的临床专家标记图像，无法直接将网络参数训练至收敛，所以采取迁移学习策略^[20]。选择VGG-16^[10]的预训练模型进行迁移学习，可为网络提供初始参数，避免了网络无法收敛的问题。全卷积网络K-net是用于肾脏图像分割的二分类网络，如表 1所示。将VGG-16网络中的全连接层fc6、fc7、fc8变为卷积层^[14]，使卷积神经网络变为全卷积网络。将fc6、fc7的卷积核个数由4 096变为1 024，可在不影响准确率的情况下减少网络参数，提高训练速度。VGG-16是用于1 000类图片分类的网络，肾脏分割可看作两分类，肾皮质一类，背景一类，因此将fc8的卷积核个数由1 000改为2。

表 1 K-net网络结构
Table 1 The structure of K-net

下载CSV

	conv1	conv2	conv3	conv4	conv5	fc6	fc7	fc8
通道	64	128	256	512	512	1 024	1 024	2
卷积核	3×3	3×3	3×3	3×3	3×3	1×1	1×1	1×1
池化层	pool1	pool2	pool3	—	—	—	—	—

VGG-16网络为实现分类任务，提取出更抽象的特征，所以多次使用池化和下采样，但对于分割任务来说，这样处理丢失过多细节信息，因此K-net保留VGG-16中前三层池化层。若直接将128×128像素的ROI输入K-net，fc8层得到16×16像素的特征图，该特征图太小，因此ROI在输入网络前用双线性插值的方法扩大至500×500像素，fc8层可得到64×64像素的特征图，仅缩小为ROI的1/2。

FCN-32s为使网络输出的图像跟原图大小一样，在conv1_1层设置pad为100，对原图进行补零操作，并在fc8层之后添加反卷积层，采用64×64像素的卷积核和8步长进行上采样。K-net只采用前三层卷积层，输出的特征图为ROI的1/2，可不采用反卷积层，直接将ROI对应的标注图像用邻近插值缩小至64×64像素进行网络训练。表 2表明了K-net与FCN-32s的区别。

表 2 FCN-32s与K-net对比
Table 2 Comparison of FCN-32s and K-net

下载CSV

网络	参数	卷积核大小	池化层个数	反卷积层
FCN-32s	134M	64×64, 7×7,	5	有
		3×3, 1×1
K-net	81M	3×3, 1×1	3	无

用少量样本训练深度卷积网络中的大量参数很容易出现过拟合的现象，数据增强^[8]是防止过拟合的方法之一，包括截取、旋转、平移等，通过截取、翻转来进行数据增强。使用dropout^[21]也可防止过拟合，设置dropout率为0.5。采用随机梯度下降算法^[8]优化损失函数。K-net利用带标记的增强肾脏CT图像训练好网络参数后，得到适用于多模态肾脏图像的肾皮质分割模型，实验结果表明了迁移学习是有效的，网络设计也是合理的。将该网络应用于其他医学图像分割时，微调参数即可。

1.3 GrowCut优化分割结果

K-net与FCN-32s共同的缺点在于只对单个点进行判别而未考虑像素间的空间相关性，分割边缘有毛刺，在脊椎、脾脏、输尿管等部位易出现误分割，肾皮质部分易出现孔洞和不连续，如图 4所示，该切片的分割结果中皮质不完整且不连续。

图 4 误分割的切片

Fig. 4 The slice with mis-segmentation((a)ROI of contrast-enhanced CT; (b)segmentation of K-net)

GrowCut算法^[15]根据用户提供目标和背景的种子点，利用细胞自动机的原理，在邻域系统内相互竞争，迭代至无细胞发生变化。常用的摩尔邻域系统为8-邻域，即判断一点标签时需要考虑其邻域中8个点的攻击强度。细胞状态表示为

${\mathit{\boldsymbol{S}}_i} = ({l_i},{\theta _i},{\mathit{\boldsymbol{C}}_i})$

(2)

式中，$l_i$、${\theta _i}$和${\boldsymbol{C}_i}$分别为$i$点标签、强度和特征向量。但GrowCut算法分割效果好坏依赖于用户选取的初始种子点，本文算法中GrowCut的种子点标记图由K-net提供，避免了用户交互的主观性，使交互式分割转变为自动分割。

将K-net中fc8层的特征图提取出来，如图 5所示，图 5(a)值越大说明越有可能属于背景，值越小说明越有可能属于目标，图 5(b)相反。K-net分割图像时直接比较这两幅特征图，即

图 5 fc8层特征图

Fig. 5 Feature maps of fc8((a)feature map of background; (b)feature map of object)

$L\left( {x,y} \right) = 2 \times \varepsilon \left( {{f_2}\left( {x,y} \right) - {f_1}\left( {x,y} \right)} \right) - 1$

(3)

式中，$f_1(x，y)$、$f_2(x，y)$分别为两幅特征图中的值，$L\left( {x,y} \right)$为分割结果，肾皮质设为1，背景设为-1。这样在肾皮质周围和相邻器官易出现误分割，对式(3) 进行改进，即

$\begin{array}{l} \quad \quad \quad \quad L\left( {x,y} \right) = 2 \times \\ \varepsilon \left( {\left| {{f_1}\left( {x,y} \right) - {f_2}\left( {x,y} \right)} \right|{\rm{ }} - \beta } \right) - 1 \end{array}$

(4)

式中，$\beta $为阈值，通过实验调试，$\beta = 2$时分割准确率最高。利用式(4) 可完成图像目标和背景的初始种子点标记，剩余的未标记点设为0。脊椎、脾脏等部位与肾皮质的灰度值接近，易被标记为目标，为进一步纠正这些部位的错误标记点，结合肾脏图像的先验知识，即肾脏图像ROI中相邻组织的误分割部分面积小于肾皮质面积。先将未标记点都假设为肾皮质，然后检测连通域，保留面积最大的部分，最后再还原该部分中的未标记点，得到GrowCut所需的标记图，如图 6(a)所示，图中灰色区域为未标记的点。GrowCut基于正确的标记图进行分割可改善肾皮质部分丢失和皮质不连续的问题，说明将GrowCut与全卷积网络结合能够提高分割准确率。

图 6 GrowCut优化分割

Fig. 6 Refine segmentation of GrowCut

((a)labeled image; (b)segmentation of GrowCut)

2 实验验证

2.1 实验数据及参数设置

2.2 实验结果与分析

为验证全卷积网络K-net的有效性，使用文献[14]中3个语义分割的评判标准定量比较K-net与FCN的3个预训练模型，3个评判标准分别为$PA$(pixel accuracy)、$MA$(mean accuracy)、平均$IU$(region intersection over union)，具体公式为

$PA = \frac{{\sum\limits_i {{t_{ii}}} }}{{\sum\limits_i {{T_i}} }}$

(5)

$MA = \frac{1}{m}\frac{{\sum\limits_i {{t_{ii}}} }}{{{T_i}}}$

(6)

$\overline {IU} {\rm{ }} = \frac{1}{m}\sum\limits_i {\frac{{{t_{ii}}}}{{{T_i} + \sum\limits_j {{t_{ji}} - {t_{ii}}} }}} $

(7)

式中，$m$表示类别数，$t_ji$表示属于$j$类的像素分为$i$类的个数，${T_i} = \sum\limits_j {{t_{ii}}} $表示属于$i$类的所有点数。

表 3为FCN-32s、FCN-16s、FCN-8s和K-net网络训练至收敛时验证集的准确率和训练所需时间，数据表明，针对肾脏图像分割，FCN-32s的准确率较FCN-16s、FCN-8s两个模型更高，可用于算法的对比实验。同时表 3说明K-net在4个全卷积网络模型中准确率最高，训练耗时最少。

表 3 4种网络对比
Table 3 The comparisons of four networks

下载CSV

网络	$PA$/%	$MA$/%	平均$IU$/%	训练耗时/min
FCN-32s	98.4	97.5	90.6	73
FCN-16s	97.5	95.4	90.6	66
FCN-8s	98.2	93.4	88.9	67
K-net	99.2	98.7	94.9	41

为定量评价本文算法，将该算法与其他4种方法进行对比，包括两种全卷积网络(FCN-32s、K-net)和两种分割肾皮质的主流算法^{[22, 23]}。DSC(Dice similarity coefficient)^[24]是医学图像分割中常用的评判标准，公式为

$DSC = \frac{{2\left| {A \cap B} \right|}}{{\left| A \right| + \left| B \right|}}$

(8)

式中，$A$为分割结果，$B$为标准结果。在语义分割的3个评判标准中，IU更能准确评价二分类任务，故文中采用DSC和IU这两种标准进行评判。表 4对比了5种分割方法所处理的图像模态和准确率，数据表明文献[22-23]的DSC准确率均在90 %以上，但都是针对一种模态分割。全卷积网络FCN-32s和K-net可分割CT、MRI两种模态的肾脏图像，但准确率较低。文中K-net与GrowCut结合的算法能够提高全卷积网络的分割准确率，且优于主流算法^[22-23]。图 7为FCN-32s、K-net和本文算法的分割结果与标准结果的对比。为验证本文算法有效性，对不同模态的肾脏图像进行分割，如图 8所示，第1行为ROI原图，第2行图中半透明红色部分为肾皮质分割结果，图 8(a)(b)分别为横断位增强CT、MRI图像，图 8(c)(d)分别为冠状位增强、非增强CT图像，说明该算法能准确分割多模态的肾脏图像。图 8(e)为发生变异的肾脏的横断位增强CT图像，说明该算法能够准确分割病变肾脏图像，可应用于临床肾脏疾病的诊断。图 9为本文算法对两组序列图像的分割结果，第1行为正常肾脏的增强MRI图像(序号：15-17)，第2行为变异肾脏的增强CT图像(序号：21-23)。

表 4 5种分割方法定量评价
Table 4 Quantitative evaluation of five segmentation methods

下载CSV

方法	图像模态	$IU$/%	$DSC$/%
文献[22]	CT	—	90.50±1.19
文献[23]	MRI	—	90.30±3.30
FCN-32s	CT、MRI	84.28±4.58	84.48±6.12
K-net	CT、MRI	87.73±4.04	88.37±4.44
本文	CT、MRI	91.06±2.34	91.79±2.39

图 7 3种方法分割结果对比

Fig. 7 Segmentation of three methods((a)ROI of contrast-enhanced CT; (b)ground truth; (c)ours; (d)K-net; (e)FCN-32s)

图 8 多模态肾脏图像分割结果

Fig. 8 Segmentation results of kidney from different modalities((a)axial of contrast-enhanced CT image; (b)axial of contrast-enhanced MRI image; (c)sagittal of contrast-enhanced CT image; (d)sagittal of non-contrast CT image; (e)axial of contrast-enhanced CT image from mutated kidney)

图 9 两组序列图像的分割结果

Fig. 9 Segmentation results of two sets((a)contrast-enhanced MRI images from normal kidney; (b)contrast-enhanced CT images from mutated kidney)

3 结论

参考文献

[1] Gloger O, Tönnies K, Laqua R, et al. Fully automated renal tissue volumetry in MR volume data using prior-shape-based segmentation in subject-specific probability maps[J]. IEEE Transactions on Biomedical Engineering, 2015, 62(10): 2338–2351. [DOI:10.1109/TBME.2015.2425935]
[2] Yuksel S E, El-Baz A, Farag A A, et al. A kidney segmentation framework for dynamic contrast enhanced magnetic resonance imaging[J]. Journal of Vibration and Control, 2007, 13(9-10): 1505–1516. [DOI:10.1177/1077546307077417]
[3] Khalifa F, Beache G M, El-Ghar M A, et al. Dynamic contrast-enhanced MRI-based early detection of acute renal transplant rejection[J]. IEEE Transactions on Medical Imaging, 2013, 32(10): 1910–1927. [DOI:10.1109/TMI.2013.2269139]
[4] Zhang P, Liang Y M, Chang S J, et al. Kidney segmentation in computed tomography sequences based on energy minimization[J]. Acta Physica Sinica, 2013, 62(20): #208701. [张品, 梁艳梅, 常胜江, 等. 基于能量最小化的肾脏计算断层扫描图像分割方法[J]. 物理学报, 2013, 62(20): #208701. ] [DOI:10.7498/aps.62.208701]
[5] Liu J F, Linguraru M G, Wang S J, et al.Automatic segmentation of kidneys from non-contrast CT images using efficient belief propagation[C]//Proceedings of SPIE 8670:Medical Imaging 2013:Computer-Aided Diagnosis.Lake Buena Vista(Orlando Area), Florida, USA:SPIE, 2013, 8670:#867005.[DOI:10.1117/12.2007738]
[6] Chen X J, Udupa J K, Bagci U, et al. Medical image segmentation by combining graph cuts and oriented active appearance models[J]. IEEE Transactions on Image Processing, 2012, 21(4): 2035–2046. [DOI:10.1109/TIP.2012.2186306]
[7] Mendoza C S, Kang X, Safdar N, et al.Kidney segmentation in ultrasound via genetic initialization and active shape models with rotation correction[C]//2013 IEEE 10th International Symposium on Biomedical Imaging.San Francisco, CA, USA:IEEE, 2013:69-72.[DOI:10.1109/ISBI.2013.6556414]
[8] Krizhevsky A, Sutskever L, Hinton G E.ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25th International Conference on Neural Information Processing Systems.Lake Tahoe, Nevada:ACM, 2012:1097-1105.
[9] Girshick R, Donahue J, Darrell T, et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus, OH, USA:IEEE, 2014:580-587.[DOI:10.1109/CVPR.2014.81]
[10] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv:1409, 2014: 1556.
[11] Lin Y, Tian J. A survey on medical image segmentation methods[J]. Pattern Recognition and Artificial Intelligence, 2002, 15(2): 192–204. [林瑶, 田捷. 医学图像分割方法综述[J]. 模式识别与人工智能, 2002, 15(2): 192–204. ] [DOI:10.3969/j.issn.1003-6059.2002.02.012]
[12] Dhungel N, Carneiro G, Bradley A P.Deep learning and structured prediction for the segmentation of mass in mammograms[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Munich, Germany:Springer, 2015:605-612.[DOI:10.1007/978-3-319-24553-9_74]
[13] Roth H R, Lu L, Farag A, et al.DeepOrgan:Multi-level deep convolutional networks for automated pancreas segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Munich, Germany:Springer, 2015:556-564.[DOI:10.1007/978-3-319-24553-9_68]
[14] Long J, Shelhamer E, Darrell T.Fully convolutional networks for semantic segmentation[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Boston, MA, USA:IEEE, 2015:3431-3440.[DOI:10.1109/CVPR.2015.7298965]
[15] Vezhnevets V, Konouchine V."GrowCut"-Interactive multi-label N-D image segmentation by cellular automata[C]//Proceedings of the 15th International Conference on Computer Graphics and Applications.Novosibirsk, Russia:Spinger, 2005:150-156.
[16] Yamasaki T, Chen T, Yagi M, et al.GrowCut-based fast tumor segmentation for 3D Magnetic Resonance Images[C]//Proceeding of SPIE 8314:Medical Imaging 2012:Image Processing.San Diego, California, USA:SPIE, 2012, 8314:#831434.[DOI:10.1117/12.911649]
[17] Chen Q.Unsupervised renal cortex image segmentation utilizing cellular automata and Markov Random Field model[D].Beijing:Beijing Institute of Technology, 2015. [陈庆. 基于细胞自动机与马尔可夫随机场模型的肾皮质图像的自动分割[D]. 北京: 北京理工大学, 2015.] http://cdmd.cnki.com.cn/Article/CDMD-10007-1015029768.htm
[18] Chen L C, Papandreou G, Kokkinos I, et al. DeepLab:Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. rXiv:1606, 2016: 00915.
[19] Ballard D H. Generalizing the Hough transform to detect arbitrary shapes[J]. Pattern Recognition, 1981, 13(2): 111–122. [DOI:10.1016/0031-3203(81)90009-1]
[20] Donahue J, Jia Y Q, Vinyals O, et al.DeCAF:a deep convolutional activation feature for generic visual recognition[C]//Proceedings of the 31st International Conference on International Conference on Machine Learning.Beijing, China:ACM, 2014, 32:I-647-I-655.
[21] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout:A simple way to prevent neural networks from overfitting[J]. Journal of Machine Learning Research, 2014, 15(1): 1929–1958.
[22] Li X L, Chen X J, Yao J H, et al. Automatic renal cortex segmentation using implicit shape registration and novel multiple surfaces graph search[J]. IEEE Transactions on Medical Imaging, 2012, 31(10): 1849–1860. [DOI:10.1109/TMI.2012.2203922]
[23] Gloger O, Tönnies K D, Liebscher V, et al. Prior shape level set segmentation on multistep generated probability maps of MR datasets for fully automatic kidney parenchyma volumetry[J]. IEEE Transactions on Medical Imaging, 2012, 31(2): 312–325. [DOI:10.1109/TMI.2011.2168609]
[24] Zou K H, Warfield S K, Bharatha A, et al. Statistical validation of image segmentation quality based on a spatial overlap index:Scientific reports[J]. Academic Radiology, 2004, 11(2): 178–189. [DOI:10.1016/S1076-6332(03)00671-8]