0 引言

1 相关工作

2 分割方法

2.1 系统概述

整个系统的基本流程如图 1和图 2所示，图 1为分割模型的生成，在图 2中使用分割模型进行骨头区域检测和边缘精细分割，最后进行3D可视化提供给骨科临床医生用于度量与诊断(3D可视化非本文涉及内容)，相关内容具体如下描述：

图 1 生成分割模型框架图

Fig. 1 Flowchart of generating segmentation model

图 2 分割流程框架图

Fig. 2 Flowchart of segmentation

2.2 训练分割模型

2.2.1 U-Net分割模型

需要在已经标注好的训练集和验证集8位灰度图像中，生成每个图像的分割掩码，包括：关节骨、肱骨头以及关节骨和肱骨头作为一个整体对象，如图 3所示。

图 3 肩关节图像与对应分割掩码图

Fig. 3 Shoulder joint image and corresponding segmentation mask map

((a) glenoid; (b) humeral head; (c) glenoid and humeral head)

使用的U-Net网络结构如图 4所示，网络层数为3，第1层特征数为16。可以看出，输入图像的分辨率在经过U-Net后会减少，为了保证输出分割图的分辨率仍为192×192像素，通过镜像方式进行边缘扩充，扩展为232×232像素，如图 5所示。

图 4 U-Net结构

Fig. 4 U-Net netwrok

图 5 像素镜像边缘扩充

Fig. 5 Missing input data is extrapolated by mirroring

2.2.2 AlexlNet分割模型

首先获取训练和验证用的图像块数据集。图像块是指以像素为中心的正方形图像，如果像素在关节骨或肱骨头内，为类型1，否则为类型0。由于类型0的像素数量要远远地超过类型1，而且类型0的像素是多样的，包括肌肉、脂肪和其他骨头以外的所有组织。一方面要保证类型1和类型0数量的平衡，另一方面分割的目的是要精确地对骨头内的块和骨头外的块进行分类，从而确定骨头的边缘，所以类型0的像素应该是距离骨头对象最近边缘一定范围内的点，如图 6所示，在所圈标记的区域内进行选择，在本应用中距离为到最近骨头边缘的5~10像素。

图 6 获取骨头内部外部图像块说明图

Fig. 6 Selecting inside and outside image patches of bone

然后需要对AlexNet结构进行一定的调整。

1) 通道数的调整。传统的AlexNet是三通道RGB输入，MRI是灰度图像，其RGB 3个通道的值是一样的。可以通过对一个图像块用3个Window-Level映射或者进行3个不同分辨率采样的方式来增加到3个通道，但是通过与一个通道测试比较，性能上没有任何提高，所以把输入通道调整为一个。

2) 网络层与卷积核的调整。AlexNet最初是处理ImageNet，其原始输入图像分辨率是224×224像素，而图像块分辨率范围在7×7像素到23×23像素之间(测试发现超过23×23像素，训练不再收敛)，所以小了很多。对此做的调整包括：所有的卷积层的核都修改为3×3像素；卷积步长全部修改为1；所有池化层的核修改为2×2像素；将特征通道64，192，384，256，256分别修改为64，64，128，128，256。调整后的AlexNet预测性能有了显著提高，网络结构如图 7所示。

图 7 调整后AlexNet结构

Fig. 7 Adjusted AlexNet

2.3 骨头区域检测

2.3.1 生成候选骨头区域

使用U-Net和AlexNet分割模型的部分分割结果如图 8所示。

图 8 模型分割结果

Fig. 8 Segmentation result

((a)U-Net glenoid; (b) U-Net humeral head; (c) U-Net glenoid and humeral head; (d) AlexNet)

通过模型的分割结果，可以看出：

1) 在图 8(a)中关节骨表现出较好的分割结果，这是因为在图像序列中，关节骨形状较简单，比较接近圆形或椭圆形，且断层间变化幅度较小。

2) 在图 8(b)中肱骨头的分割结果较差，呈现出较多的假阳性区域。一方面，骨骼内部的信号强度和脂肪很接近，容易和附近的一些脂肪区域混淆。如图 9所示，左边椭圆标记区域与关节骨相邻很近，右边椭圆标记区域与肱骨头相邻很近；同时，一些脂肪和软组织区域在形状上和全局位置上容易被误判断为关节骨或肱骨头，如图 10所示。另一方面，肱骨头形状较复杂，断层间变化幅度较大，如图 11所示，这种形态的多样性会导致更加容易地将噪声或脂肪误判为肱骨头。

图 9 与骨头容易混淆区域

Fig. 9 Description for areas easily confused with the bones

图 10 容易被误判断为关节骨或肱骨头的脂肪区域

Fig. 10 The fat areas easily misjudged as glenoid or humeral head

图 11 肱骨头形状与位置变化

Fig. 11 Shape and position changes for humeral head

3) 通过图 8(c)可以看出，由于两种骨头区域在图像中的位置大致固定，在靠近中心区域，同时相对位置比较稳定，所以也表现出较好的分割结果。

4) 图 8(d)中AlexNet分割出了所有对象的边缘，由于训练使用的是关节骨或肱骨头内部或附近的图像块，事实上对于关节骨或肱骨头的分割是更加精准的。

根据上面特征分析可以得出，单一的分割模型是很难将关节骨和肱骨头区域一次性地准确分割出来。下面将所有模型的分割结果都作为候选的骨头区域，并得到所有候选区域的矩形框范围，具体步骤如下：

1) AlexNet模型分割输出的直接是二值图像，255表示骨头区域，0表示非骨头区域。

2) U-Net模型分割输出的是每个像素属于对应骨头区域的概率值，乘以255后转为灰度图像，并通过自适应二值化，转为二值图像，同样255表示骨头区域，0表示非骨头区域。

3) 对所有的分割二值图像进行形态学操作：先腐蚀两次，再膨胀两次，核大小为3×3像素。

4) 获取所有分割区域轮廓的最小矩形框为候选骨头区域。

如图 12的部分示例，其中蓝色、绿色、黄色和红色框分别表示AlexNet、U-Net关节骨、U-Net肱骨、U-Net关节骨和肱骨作为整体模型的获取候选区域结果。

图 12 候选骨头区域示例

Fig. 12 Examples of candidate bone regions

2.3.2 获取有效骨头区域

在候选骨头区域中首先按照位置过滤，去除边界位置的矩形框；然后按照大小过滤，去除过大或过小的矩形框。过滤结果如图 13所示。

图 13 候选骨头区域按照位置和大小过滤结果

Fig. 13 Filtering by location and size

在过滤结果中，采用投票的机制，如果一个候选区域60%的面积至少存在于3个模型的分割结果中，则将所在的所有候选区域进行融合，即获取这些候选区域矩形框的最小外围框作为最终的有效骨头区域，对于图 13例子投票过滤后的结果如图 14所示。

图 14 按照重叠投票后的有效骨头区域

Fig. 14 Valid bone regions after voting by overlapping

在上述获取有效骨头区域的过程中，极少数骨头区域只存在于一到两个预测模型分割结果中，这样在投票过程中会被投出。由于MRI在时间方向上扫描的连续性，如图 15中24~35帧图像变化，对于有效的骨头区域，在很短的时间内变化幅度非常小，所以可以通过帧间预测的方法恢复丢失的骨头区域。

图 15 某测试病人用例的24帧到35帧图像

Fig. 15 Slice 24 to 35 of one test patient case

如果当前图像不存在骨头分割区域，对于首帧和尾帧只是分别获取后一帧和前一帧，其他则获取前后两帧，如果前后帧出现空区域图像，则再前进或后退一帧；通过前后预测帧中骨头矩形区域的均值预测出当前图像中骨头区域；如果当前图像只有一个骨头对象，而前后帧中有两个骨头对象，仍然通过帧间均值预测出不存在对象的矩形区域。

2.4 边缘精细分割

为了覆盖所有的感兴趣骨头对象，同时又不引入周边过多的噪声区域，需要对生成的有效骨头区域边缘进行一定的扩展，此处为10个像素的扩展。再次使用AlexNet分割模型的预测二值掩码图像，在二值掩码图的扩展骨头矩形区域中找到最长的封闭轮廓为骨头精确边缘。在图 16的展示中，选择的都是比较难以分割的例子，其中与骨头混淆的区域较多，噪声较大，可以看出，仍然有效地将附近容易与骨头混淆的脂肪、软组织和噪声区域过滤掉，获取精确的骨头边缘。

图 16 精确获取边缘

Fig. 16 Accurately got contour

3 实验与讨论

实验设备使用单个NVIDIA Titan X GPU，cuD-NN加速，VRAM为12 GB，操作系统为Ubuntu 16.04，使用的深度学习框架为Google的Tensorflow1.0平台。

数据集来自美国哈佛医学院/麻省总医院骨科的8组病人，每组扫描序列包括100片左右图像。5组病人用于训练和进行5倍的交叉验证，3组病人用于测试实际的分割效果。对于所有病人MRI数据集，将DICOM图像序列转为8位灰度图像，分辨率为192×192像素，并进行高斯滤波去噪，医疗工作者对需要关注的关节骨和肱骨头部分进行统一标注，同时将数据集分为训练集，验证集和测试集。

对于3种U-Net模型的训练，每种分割的训练集原始总数量都是500个左右，数据增强到40 000个左右，增强方案包括：随机水平翻转、随机竖直翻转、高和宽10%范围内的随机偏移、随机90°旋转、10%范围内随机缩放、10%范围内随机水平或垂直投影变换，对于超出边界的点填充值为0，即黑色值。训练参数主要包括：优化方法、batch size、iterations和epochs，对应的值分别为momentum(0.2)、1、128和200。

对于AlexNet模型，由于可以获取足够的样本，没有进行数据增强。最终，类型1和类型0的训练数据各25万左右。

为了证明AlexNet在本应用中有更好的性能，使用AlexNet，VGG16，Inception3和ResNet对17× 17像素的块进行评估，结果如表 1所示，可以看出AlexNet在该应用中分类性能最好。

表 1 不同神经网络模型训练验证性能比较
Table 1 Comparison of verification performance of different deep neural network models

下载CSV

神经网络模型	验证分类平均准确率/%	训练速度
AlexNet	93	快
VGG16	90	慢
Inception3	90	慢
ResNet	91	慢

对图像块大小进行选择，实验结果如表 2所示，实验中参数batch size为128，参数drop out为0.5，训练次数为150 000次。可以看出11×11像素块取得最佳性能，平均准确率达到98%。正是因为这样的高准确率分类，才可以使用此处AlexNet学习模型在U-Net分割基础上对骨头分割结果进行优化。

表 2 不同大小图像块训练验证性能比较
Table 2 Comparison of verification performance of different image patch size

下载CSV

7×7	94
9×9	95
11×11	98
13×13	95
15×15	95
17×17	93
19×19	91
21×21	89
23×23	89
25×25	训练不再收敛

实验采用Dice Coefficient($D$)，Positive Predicted Value($V$)和Sensitivity($S$) 3个值进行分割性能的评估，即

$ D = \frac{{\left| {\mathit{\boldsymbol{P}} \cap \mathit{\boldsymbol{T}}} \right|}}{{\left( {\left| \mathit{\boldsymbol{P}} \right| + \left| \mathit{\boldsymbol{T}} \right|} \right)/2}} $

(1)

$ V = \frac{{\left| {\mathit{\boldsymbol{P}} \cap \mathit{\boldsymbol{T}}} \right|}}{{\left| \mathit{\boldsymbol{P}} \right|}} $

(2)

$ S = \frac{{\left| {\mathit{\boldsymbol{P}} \cap \mathit{\boldsymbol{T}}} \right|}}{{\left| \mathit{\boldsymbol{T}} \right|}} $

(3)

式中，$\mathit{\boldsymbol{P}}$表示预测分割结果的体素区域，$\mathit{\boldsymbol{T}}$表示人工标记好的Ground Truth分割结果的体素区域，平均准确度如表 3所示。

表 3 分割性能度量
Table 3 Segmentation performance metrics

下载CSV

方法	Dice	PPV	Sensitivity
本文	0.92±0.02	0.96±0.03	0.94±0.02
文献[2]	0.78±0.02	0.80±0.01	0.89±0.03
文献[7]	0.84±0.03	0.87±0.04	0.90±0.03

由于病人样本比较少(仅仅8个病人)，无法进行3D空间的全卷积训练，所以本文算法无法与基于3D全卷积网络的MRI骨头分割方法^[26-27]进行比较，另一方面，这些算法也不是针对肩膀关节部位，而是对应于其他骨头，对于医学图像应用来讲，也存在一定的差异性。

而对于2D空间上的PCNN，FCN或U-Net，根据前文分析，单独上根本无法进行一次性的正确分割，所以不存在实验比较的可行性。对于传统分割方法，文献[1, 7]是针对各种MRI中骨头区域分割的通用方法，文献[3-4, 6, 8]是针对膝关节分割，文献[5]是针对骨小梁，只有文献[2]是对肩膀关节的分割。对于通用方法，文献[7]的分割效果和鲁棒性要超出文献[1]中的方法，所以此处与传统的文献[7]和文献[2]中的分割方法进行一个对比，结果如表 3所示。

可以看出，由于传统方法主要还是依据像素的灰度特征和已有的边界效果，无法学习出肩膀关节结构固有的形状和位置信息，所以各个度量参数的准确率都是偏低的。

本文算法的分割准确率非常高，Dice、PPV和Sensitivity的最高值可以达到0.94、0.99和0.96，与人工分割结果基本保持一致，甚至分割准确度在相当部分图像中超出了平均人工的标注(通过部分测试图像分割结果观察所得)，这也容易理解，因为人工标注带有一定的主观性和不稳定性，标注也时常会出现一定的偏差。

在实际分割应用中，训练与分割一般都在GPU设备的服务端，分割结果的显示在客户端。对于医疗机构的应用，一般是在局域网内进行操作，对于病人MRI序列的一幅图像，从客户端发出分割请求，到服务端完成分割并将分割结果返回的总体时间平均为1.2 s，可以满足应用中实时性的要求。事实上，在很多情况下，是将一批病人的所有扫描图像统一的在服务端进行线下分割处理，并将分割结果保存，在客户端载入病人数据的时候调用分割结果即可，这种情况，没有实时性的性能要求，这也是非常普遍的一种应用模式。

从实验数据集来看，我们的样本集非常有限，一共就8组病人用例，只要获取图像块样本方法和整帧图像数据增强方法得当，一样可以取得非常好的预测效果。模型融合是在多种机器学习任务中增强预测准确率的一种强大有效的技术，本文中所描述的投票就是模型融合的一种方法，这种思想比较简单，却可以大幅度地提高预测性能，减少泛化误差。

4 结论

参考文献

[1] Dalvi R, Abugharbieh R, Wilson D, et al.Multi-contrast MR for enhanced bone imaging and segmentation[C]//Proceedings of the 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society.Lyon, France: IEEE, 2007: 5620-5623.[DOI: 10.1109/IEMBS.2007.4353621]
[2] Nguyen N T, Laurendeau D, Branzan-Albu A.A new segmentation method for MRI images of the shoulder joint[C]//Proceedings of the 4th Canadian Conference on Computer and Robot Vision.Montreal, Canada: IEEE, 2007: 329-338.[DOI: 10.1109/CRV.2007.4]
[3] Folkesson J, Dam E B, Olsen O F, et al. Segmenting articular cartilage automatically using a voxel classification approach[J]. IEEE Transactions on Medical Imaging, 2007, 26(1): 106–115. [DOI:10.1109/TMI.2006.886808]
[4] Seim H, Kainmueller D, Lamecker H, et al.Model-based auto-segmentation of knee bones and cartilage in MRI data[C]//Proceeding of MICCAI Workshop Medical Image Analysis for the Clinic.New York: Springer, 2010: 213-223.
[5] Folkesson J, Carballido-Gamio J, Eckstein F, et al. Local bone enhancement fuzzy clustering for segmentation of MR trabecular bone images[J]. Medical Physics, 2010, 37(1): 295–302. [DOI:10.1118/1.3264615]
[6] Bindernagel M, Kainmueller D, Seim H, et al.An articulated statistical shape model of the human knee[M]//Handels H, Ehrhardt J, Deserno T H, et al.Bildverarbeitung für die Medizin 2011.Berlin, Heidelberg: Springer, 2011: 59-63.[DOI: 10.1007/978-3-642-19335-4_14]
[7] Schmid J, Kim J, Magnenat-Thalmann N. Robust statistical shape models for MRI bone segmentation in presence of small field of view[J]. Medical Image Analysis, 2011, 15(1): 155–168. [DOI:10.1016/j.media.2010.09.001]
[8] Mallikarjuna Swamy M S, Holi M S. Knee joint articular cartilage segmentation, visualization and quantification using image processing techniques:a review[J]. International Journal of Computer Applications, 2012, 42(19): 36–43. [DOI:10.5120/5803-8151]
[9] Shelhamer E, Long J, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(4): 640–651. [DOI:10.1109/TPAMI.2016.2572683]
[10] Ronneberger O, Fischer P, Brox T.U-net: convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention.Munich, Germany: Springer, 2015: 234-241.[DOI: 10.1007/978-3-319-24574-4_28]
[11] Çiçek O, Abdulkadir A, Lienkamp S S, et al.3D U-Net: learning dense volumetric segmentation from sparse annotation[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens, Greece: Springer, 2016: 424-432.[DOI: 10.1007/978-3-319-46723-8_49]
[12] Milletari F, Navab N, Ahmadi S A.V-Net: fully convolutional neural networks for volumetric medical image segmentation[C]//Proceedings of the 4th International Conference on 3D Vision.Stanford, CA, USA: IEEE, 2016: 565-571.[DOI: 10.1109/3DV.2016.79]
[13] Drozdzal M, Vorontsov E, Chartrand G, et al.The importance of skip connections in biomedical image segmentation[C]//Proceedings of the 1st International Workshop, LABELS 2016, and 2nd International Workshop, DLMIA 2016, Held in Conjunction with MICCAI 2016.Athens, Greece: Springer, 2016: 179-187.[DOI: 10.1007/978-3-319-46976-8_19]
[14] Xie Y P, Zhang Z Z, Sapkota M, et al.Spatial clockwork recurrent neural network for muscle perimysium segmentation[C]//Proceedings of 19th International Conference on Medical Image Computing and Computer-Assisted Intervention. Athens, Greece: Springer, 2016: 185-193.[DOI: 10.1007/978-3-319-46723-8_22]
[15] Stollenga M F, Byeon W, Liwicki M, et al.Parallel multi-dimensional LSTM, with application to fast biomedical volumetric image segmentation[C]//Advances in Neural Information Processing Systems.Montréal, CANADA: Neural Information Processing Systems Foundation, Inc., 2015: 2998-3006.
[16] Andermatt S, Pezold S, Cattin P.Multi-dimensional gated recurrent units for the segmentation of biomedical 3D-data[C]//Proceedings of the 1st International Workshop, LABELS 2016, and 2nd International Workshop, DLMIA 2016, Held in Conjunction with MICCAI 2016.Athens, Greece: Springer, 2016: 142-151.[DOI: 10.1007/978-3-319-46976-8_15]
[17] Poudel R P K, Lamata P, Montana G.Recurrent fully convolutional neural networks for multi-slice MRI cardiac segmentation[C]//Proceedings of the 1st International Workshops, RAMBO 2016 and HVSMR 2016, Held in Conjunction with MICCAI 2016.Athens, Greece: Springer, 2016: 83-94.[DOI: 10.1007/978-3-319-52280-7_8]
[18] Korez R, Likar B, Pernuš F, et al.Model-based segmentation of vertebral bodies from MR images with 3D CNNs[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens, Greece: Springer, 2016: 433-441.[DOI: 10.1007/978-3-319-46723-8_50]
[19] Zhou X R, Ito T, Takayama R, et al.Three-dimensional CT image segmentation by combining 2D fully convolutional network with 3D majority voting[C]//Proceedings of the 1st International Workshop, LABELS 2016, and 2nd International Workshop, DLMIA 2016, Held in Conjunction with MICCAI 2016.Athens, Greece: Springer, 2016: 111-120.[DOI: 10.1007/978-3-319-46976-8_12]
[20] Moeskops P, Wolterink J M, van der Velden B H M, et al.Deep learning for multi-task medical image segmentation in multiple modalities[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens, Greece: Springer, 2016: 478-486.[DOI: 10.1007/978-3-319-46723-8_55]
[21] Shakeri M, Tsogkas S, Ferrante E, et al.Sub-cortical brain structure segmentation using F-CNN'S[C]//The 13th International Symposium on Biomedical Imaging.Prague, Czech Republic: IEEE, 2016: 269-272.[DOI: 10.1109/ISBI.2016.7493261]
[22] Song Y Y, Zhang L, Chen S P, et al. Accurate segmentation of cervical cytoplasm and nuclei based on multiscale convolutional network and graph partitioning[J]. IEEE Transactions on Biomedical Engineering, 2015, 62(10): 2421–2433. [DOI:10.1109/TBME.2015.2430895]
[23] Christ P F, Elshaer M E A, Ettlinger F, et al.Automatic liver and lesion segmentation in CT using cascaded fully convolutional neural networks and 3D conditional random fields[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens, Greece: Springer, 2016: 415-423.[DOI: 10.1007/978-3-319-46723-8_48]
[24] Gao M C, Xu Z Y, Lu L, et al.Segmentation label propagation using deep convolutional neural networks and dense conditional random field[C]//The 13th International Symposium on Biomedical Imaging.Prague, Czech Republic: IEEE, 2016: 1265-1268.[DOI: 10.1109/ISBI.2016.7493497]
[25] Alansary A, Kamnitsas K, Davidson A, et al.Fast fully automatic segmentation of the human placenta from motion corrupted MRI[C]//Proceedings of the 19th International Conference on Medical Image Computing and Computer-Assisted Intervention.Athens, Greece: Springer, 2016: 589-597.[DOI: 10.1007/978-3-319-46723-8_68]
[26] Zeng G D, Yang X, Li J, et al.3D U-net with multi-level deep supervision: fully automatic segmentation of proximal femur in 3D MR images[C]//Proceedings of the 8th International Workshop on Machine Learning in Medical Imaging.Quebec City, QC, Canada: Springer, 2017: 274-282.[DOI: 10.1007/978-3-319-67389-9_32]
[27] Nie D, Wang L, Trullo R, et al.Segmentation of craniomaxillofacial bony structures from MRI with a 3D deep-learning based cascade framework[C]//Proceedings of the 8th International Workshop.Quebec City, QC, Canada: Springer, 2017: 266-273.[DOI: 10.1007/978-3-319-67389-9_31]