发布时间: 2020-02-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.190243
2020 | Volume 25 | Number 2

医学图像处理

周围神经MicroCT图像中神经束轮廓获取

钟映春¹, 祝玉杰¹, 李芳², 朱爽³, 戚剑⁴

1. 广东工业大学自动化学院, 广州 510006;

2. 广东财经大学信息学院, 广州 510320;

3. 南方医科大学珠江医院骨科, 广州 510630;

4. 中山大学附属第一医院显微外科, 广州 510080

收稿日期: 2019-06-06; 修回日期: 2019-09-03; 预印本日期: 2019-09-10

基金项目: 国家自然科学基金项目(81801210);广东省自然科学基金项目(2018A0303130137);广东省高性能计算重点实验室开放项目(TH1528);广东省哲学社会科学规划学科共建项目(GD18XJY05)

第一作者简介: 钟映春, 1973年生, 男, 副教授, 主要研究方向为神经信息学与图像理解。E-mail:gdut_zyc@qq.com;
李芳, 女, 副教授, 主要研究方向为模式识别与图像处理。E-mail:lifang0609@126.com;
朱爽, 男, 主治医师, 主要研究方向为骨组织修复。E-mail:38625267@qq.com;
戚剑, 男, 副教授, 主要研究方向为神经修复。E-mail:2440109868@qq.com.

中图法分类号: TP391

文献标识码: A

文章编号: 1006-8961(2020)02-0356-12

摘要

目的采用不同染色方法获得的周围神经标本经过MicroCT扫描后, 会获得不同效果的神经断层扫描图像。本文针对饱和氯化钙染色、无染色方法获得的两种周围神经MicroCT图像, 提出一种通用的方法, 实现不同染色方法获得的周围神经MicroCT图像在统一架构下的神经束轮廓获取。方法首先设计通用方法架构, 构建图像数据集, 完成图像标注、分组等关键性的准备环节。然后将迁移学习算法与蒙皮区域卷积神经网络(mask R-CNN)算法结合起来, 设计通用方法中的识别模型。最后设计多组实验, 采用不同分组的图像数据集对通用方法进行训练、测试, 以验证通用方法的效果。结果通用方法对不同分组的图像数据集的神经束轮廓获取准确率均超过95%, 交并比均在86%以上, 检测时间均小于0.06 s。此外, 对于神经束轮廓信息较复杂的图像数据集, 迁移学习结合mask R-CNN的识别模型与纯mask R-CNN的识别模型相比较, 准确率和交并比分别提高了5.5% 9.8%和2.4% 3.2%。结论实验结果表明, 针对不同染色方法获得的周围神经MicroCT图像, 采用本文方法可以准确、快速、全自动获取得到神经束轮廓。此外, 经过迁移后的mask R-CNN能显著提高神经束轮廓获取的准确性和鲁棒性。

关键词

周围神经; 神经束; 轮廓获取; 迁移学习; 蒙皮区域卷积神经网络; MicroCT图像

Generic approach to obtain contours of fascicular groups from MicroCT images of the peripheral nerve

Zhong Yingchun¹, Zhu Yujie¹, Li Fang², Zhu Shuang³, Qi Jian⁴

1. School of Automation, Guangdong University of Technology, Guangzhou 510006, China;

2. School of Information, Guangdong University of Finance & Economics, Guangzhou 510320, China;

3. Department of Bone and Joint Surgery, Zhujiang Hospital of Southern Medical University, Guangzhou 510630, China;

4. Department of Orthopedics Trauma and Microsurgery, the First Affiliated Hospital of Sun Yat-sen University, Guangzhou 510080, China

Supported by: National Natural Science Foundation of China(81801210); Natural Science Foundation of Guangdong Province, China (2018A0303130137)

Abstract

Objective Peripheral nerve injury can result in severe paralysis and dysfunction. For a long time, repairing and regenerating injured peripheral nerves have been urgent goals. Detailed intraneural spatial information can be provided by the 3D visualization of fascicular groups in the peripheral nerve. Suitable surgical methods must be selected to repair clinical peripheral nerve defects. The contour information of peripheral nerve MicroCT image is the basis of peripheral nerve 3D reconstruction and visualization. Obtaining the contour information of the fascicular groups is a key step during 3D nerve visualization. In the previous research, the MicroCT images of peripheral nerve were obtained. The foreground and background of these images were relatively different when the images came from samples stained by different methods, such as dyed or not dyed with calcium chloride. If previous segmentation approaches were used to extract the contours of fascicular groups, then various labor-intensive feature extracting and recognition methods had to be applied, and the results were inconsistent. An assistance methodology using image processing can improve the accuracy of obtaining the contour information of fascicular groups. Thus, this study analyzes graph cut theory and algorithm and proposes a generic framework to obtain numerous consistent results easily. The proposed algorithm can be used to assist in neurosurgery diagnosis and has great clinical application value. In the generic framework, the MicroCT images from different dyed samples are processed by the same algorithm, which results in consistent and accurate extracted contours of fascicular groups. Method This method is based on deep learning. The method can automatically extract instinct features from image data and instantly analyze images, can effectively improve detection efficiency, and can be applied to complex images. Mask region convolution neural network (mask R-CNN) is used to extract the contour information from peripheral nerve MicroCT images. Given the impressive achievement of Mask R-CNN for object segmentation, the accuracy of recognition and classification at the pixel level is greatly improved. First, the structure of the generic framework is designed, and the image datasets are constructed. Several key preparations are performed, such as image annotation and grouping. The dataset of images is divided into two groups at a ratio of 3:1, namely, training and test sets. On the basis of the dyed method of the MicroCT images from peripheral nerve, the training and test datasets have three subsets, namely, calcium chloride-dyed image dataset (subset 1), nondyed image dataset (subset 2), and mixed image dataset (subset 3). Second, the principle of mask R-CNN is analyzed, and the generic frameworks of image classification and segmentation are designed, combining mask R-CNN with transfer learning. Even though mask R-CNN is efficient in common segmentation task, it has several limitations. In normal task, mask R-CNN often needs many images to train. However, the datasets of the MicroCT images of peripheral nerves do not have sufficient number of images to train mask R-CNN. Thus, mask R-CNN cannot be used to extract the contour of fascicular groups directly from the MicroCT images of peripheral nerves. Therefore, the transfer learning strategy is combined with mask R-CNN to solve the problem. The training parameters of neural network structure are adjusted manually. mask R-CNN is pretrained by the COCO dataset. mask R-CNN is transferred to the dataset of peripheral nerves for further learning to improve the extracting accuracy of the contour of the fascicular groups. Finally, the target segmentation model based on the contour information of peripheral nerve MicroCT image tasks is constructed. Third, the generic framework is trained and testified by image datasets from different groups. This finding indicates that a highly effective segmentation effect can be achieved. Result All experiments are accomplished in the GTX1070-8G environment. The experimental data are derived from a 5 cm peripheral nerve segment. The peripheral nerve sample is transected into 3 mm segments at -20℃. These segments are used for calcium chloride-dyed and nondyed methods to facilitate the discrimination of different fascicular groups in MicroCT images. The scan sequence from the calcium chloride-dyed method includes 228 images. The scan sequence from the nondyed method includes 523 images. The training dataset in each dataset is used to train the parameters of the neural network structure, and the test dataset is used to test the actual segmentation results. The model execution took 15 000 iterations for the training process. Experiment results show that the pixel average precision of all types of datasets exceeds 95%, and the segmentation accuracy is high, which is highly consistent with the results of artificial segmentation. The intersection over union exceeds 86%, and the mean time to detect is less than 0.06 s, which satisfies the real-time requirements. In comparison with the original mask R-CNN, the proposed framework achieved improved performance, increased average precision by approximately 5.5%-9.8%, and increased intersection over union by approximately 2.4%3.2%. Conclusion Theoretical analysis and experiment results justify the feasibility of the proposed framework. On the basis of the experimental dataset, our training set is relatively limited, but the experiments show that the proposed approach can accurately, rapidly, and automatically extract the contours of fascicular groups. Furthermore, the accuracy, segmentation effect, and robustness are improved greatly when mask R-CNN is combined with transfer learning. The framework can be widely used to segment various MicroCT images, which come from different dyed samples. The auto-mated segmentation of the MicroCT images of peripheral nerves has substantial clinical values. Finally, we discuss the challenges in this generic framework and several unsolved problems.

Key words

peripheral nerves; fascicular groups; acquisition contours; transfer learning; mask region convolution neural network (mask R-CNN); MicroCT images

0 引言

周围神经损伤是临床上的常见疾病(Zhong等, 2015; 眭涛和曹晓建, 2016)。在周围神经损伤的修复手术中, 最理想的是能按照神经束的结构和功能性质对接具有相同功能的神经束, 这将有可能恢复神经的传导和控制功能。周围神经内部神经束的3维可视化技术使得这一设想成为可能(Kagemann等, 2009; 钟映春等, 2011)。实现神经束3维可视化所需要的信息主要来自于神经束轮廓。因此, 获取周围神经中神经束的轮廓是3维可视化中的一个关键环节, 轮廓获取的准确性将直接影响3维可视化和外科临床手术的结果(任高宏和裴国献, 2009; 钟映春和罗鹏, 2012)。

从周围神经的断层图像中获取神经束轮廓是一项非常具有挑战性的任务。Giraldo等人(2015)提出基于贝叶斯的分层聚类方法。该方法虽不需要任何先验信息, 但在一些形状不规则的神经结构中会失效。刘斌等人(2016)针对周围神经CT图像提出了一种交互式的神经束轮廓分割算法, 利用像素灰度和邻域位置信息切割图形, 可以有效抑制图像中的噪声, 但对人工选定的区域和粗糙的边缘进行校正, 不能实现全自动分割。Moiseev等人(2019)使用U-Net网络对小鼠周围神经进行分割, 在使用少量图像进行网络训练的情况下得到较好的分割结果, 但无法完全消除手动细化问题。

此外, 现有的周围神经中神经束轮廓获取算法都是针对某种特定染色的神经标本设计。如冻干无染色(Zhu等, 2016)、碘染色(Yan等, 2017)、乙酰胆碱酯酶(AChE)染色(Qi等, 2018)等都是对周围神经的染色以及神经束轮廓的获取开展相关研究。但是, 目前不同染色的周围神经在经过MicroCT扫描后, 需要采用不同的神经束轮廓获取方法, 不仅费时费力而且一致性不佳。

为此, 本文针对不同染色方式获得的周围神经MicroCT图像, 提出了一种通用的神经束轮廓获取方法, 使不同效果、不同尺寸的神经断层扫描图像在统一框架下实现神经束轮廓获取。本文首先设计了通用方法的架构, 并构建了图像数据集; 而后将迁移学习与蒙皮区域卷积神经网络(mask R-CNN)结合起来, 设计识别模型; 接着采用不同分组的图像数据集在通用方法的框架下进行训练、测试, 以验证通用方法的效果。

1 通用方法的架构设计

不同染色的周围神经MicroCT图像中神经束轮廓获取的通用方法的总体架构, 如图 1所示。

图 1 通用方法的总体架构设计

Fig. 1 Architecture of general approach

从图 1可见, 通用方法包含3个主要部分:图像数据集构建、模型构建和测试。

图像数据集构建部分包括训练集构建和测试集构建。训练集和测试集又分别包含3个子集:冻干无染色数据集、氯化钙染色数据集、混合数据集。

模型构建部分采用了以mask R-CNN识别模型作为基础, 迁移学习相辅助的方法。mask R-CNN是一个实例分割模型, 流程简单, 可以消除复杂的建模过程, 实现批量分割自动化(Patravali等, 2018), 在医学图像分割任务中表现良好(Liu和Li, 2018; Vuola等, 2019)。但是由于mask R-CNN模型需要大量的数据训练网络模型, 而周围神经MicroCT图像的数据集通常数量有限, 因此直接将mask R-CNN模型用于神经束轮廓的获取会导致识别精度不高和模型过拟合等问题(李琼等, 2018; 回天等, 2019)。迁移学习可解决小样本数据集训练mask R-CNN网络模型过程中产生的模型不收敛或者泛化能力弱等问题(Long等, 2016; 张雪松等, 2019)。为此, 本文将迁移学习与mask R-CNN模型结合, 实现不同染色的周围神经MicroCT图像中神经束轮廓的获取。

测试部分将测试数据集中的3个子集分别用于模型测试, 根据准确率和交并比等评价指标对通用方法的效果进行评估。

2 图像数据集构建

2.1 数据集构建的架构

本文分别采用冻干无染色方式和饱和氯化钙染色方式制备周围神经标本, 通过MicroCT设备扫描, 得到四肢周围神经内部神经束的断层图像, 经过图像标注、分组等过程, 构建出包含3个子集的周围神经MicroCT图像数据集, 具体过程如图 2所示。

图 2 数据集构建的架构

Fig. 2 Build dataset architecture

2.2 图像标注

冻干无染色标本的MicroCT图像包括神经束和背景两类, 分辨率为1 024×1 024像素, 共523幅, 该图像背景复杂, 图像中的神经束轮廓边缘清晰, 但没有规律性, 如图 3(a)所示。饱和氯化钙染色标本的MicroCT图像包括神经束和背景两类, 分辨率为890 × 1 024像素, 共228幅, 该图像神经束轮廓模糊, 两个神经束之间的距离较小, 但神经束的轮廓边缘具有一定规律性和稳定性, 如图 3(b)所示。两种染色方式得到的图像具有很大的差异性和专一性, 因此常规的轮廓获取方法无法对其实现一致性的轮廓获取。

图 3 不同染色标本的MicroCT图像及人工标注神经束结果

Fig. 3 MicroCT images from different dyed samples and their manually labelled results ((a) undyed sample; (b) calcium chloride dyed sample; (c) ground-truth of (a); (d) ground-truth of (b))

使用Labelme工具对每一幅周围神经MicroCT图像进行人工轮廓获取、标注标签、格式转换后, 得到真实分割图像(ground-truth图像)。因为图像中只有神经束一种对象, 故标注的目标物只有背景和神经束两类。又因为进行的是实例分割, 故每个神经束后面需加上不同的阿拉伯数字, 同一幅图像中数字从1开始递增, 不同图像中数字可重复。最终生成的ground-truth图像如图 3(c)(d)所示。ground-truth图像不仅用于训练mask R-CNN模型, 而且用于评估自动轮廓获取的效果。

2.3 构建图像数据集的子集

将所有图像分为3个子集:1)冻干无染色数据集(子集1), 通过冻干、无染色脱水得到的MicroCT图像及对应的ground-truth图像; 2)氯化钙染色数据集(子集2), 通过饱和氯化钙染色得到的MicroCT图像及对应的ground-truth图像; 3)混合数据集(子集3), 前两组子集随机抽取一部分组成的混合图像数据集子集。

每个子集按照3 :1的比例将MicroCT图像及对应的ground-truth图像分为训练集与测试集, 训练集与测试集之间的数据互不交叉。子集3的训练集和测试集分别从子集1和子集2的训练集和测试集中随机抽取部分图像组成。

3 模型构建

3.1 迁移学习

迁移学习是将从源领域中学习到的有用知识迁移到目标领域中, 实现知识在相关领域之间的迁移(Gómez-Ríos等, 2019)。迁移学习中领域可以形式化地表示(Pan和Yang, 2010)为

$ \boldsymbol{D}=\{\boldsymbol{X}, p(\boldsymbol{X})\} $

(1)

式中, $\boldsymbol{D}$表示领域, $\boldsymbol{χ}$表示特征空间, $p(\boldsymbol{X})$表示$\boldsymbol{X}$的边缘分布, $\boldsymbol{X}=\left\{\boldsymbol{x}_{1}, \boldsymbol{x}_{2}, \cdots, \boldsymbol{x}_{n}\right\} \in \boldsymbol{X}, \boldsymbol{x}_{i} \in {\bf R}^{d}, i=1, 2, …, n$。

利用数据对深度学习模型进行训练是为了获得解决目标任务最好的网络模型参数。为此, 本文采用基于参数的迁移学习方法(Pan和Yang, 2010; Lin等, 2017a; Tajbakhsh等, 2016)将源领域$\boldsymbol{D}_{{\rm s}}$中解决源任务$T_{s}$时学习到的模型参数作为初始值, 迁移到目标领域$\boldsymbol{D}_{{\rm t}}$, 再结合目标领域中已有的训练数据, 使其构造出对目标任务泛化能力更好的模型。

3.2 蒙皮区域卷积神经网络

mask R-CNN(He等, 2018)模型由两个阶段组成。第1阶段扫描图像并生成提议, 即有可能包含一个目标的区域; 第2阶段分类提议并生成边界框和掩码。

第1阶段使用残差网络(ResNet)和特征金字塔网络(FPN)作为主干网络, 扫描整个图像进行特征提取。ResNet网络解决了随着网络加深, 训练集准确率下降的问题(He等, 2016)。特征金字塔网络通过添加第2个金字塔, 允许每一级的特征都可以和高级、低级特征互相结合, 提升了特征提取的性能(Lin等, 2017a)。之后使用区域建议网络(RPN)生成提议。

在RPN网络中, 对图像的损失函数定义(Ren等, 2017)为

$ \begin{aligned} L\left(\left\{p_{i}\right\}\left\{\boldsymbol{t}_{i}\right\}\right) &=\frac{1}{N_{\mathrm{cls}}} \sum\limits_{i} L_{\mathrm{cls}}\left(p_{i}, p_{i}^{*}\right)+\\ \lambda & \frac{1}{N_{\mathrm{reg}}} \sum\limits_{i} p_{i}^{*} L_{\mathrm{reg}}\left(\boldsymbol{t}_{i}, \boldsymbol{t}_{i}^{*}\right) \end{aligned} $

(2)

式中, $L$为损失函数, $N$为归一化参数, λ为平衡因子, 默认为10。$i$是候选框的索引, $p_{i}$是候选框预测为目标的概率, 如果候选框为正样本则原标记(GT)的标签$p_{i}^*$为1, 否则为0。$\boldsymbol{t}_{i} \in\left\{\boldsymbol{t}_{x}, \boldsymbol{t}_{y}, \boldsymbol{t}_{w}, \boldsymbol{t}_{h}\right\}$表示预测框相对于正候选框的偏移, $\boldsymbol{t}_{i}^{*} \in\left\{\boldsymbol{t}_{x}^{*}, \boldsymbol{t}_{y}^{*}, \boldsymbol{t}_{w}^{*}, \boldsymbol{t}_{h}^{*}\right\}$表示标记框相对于正候选框的偏移。分类损失$L_{{\rm cls}}$是两类(对象与非对象)的对数损失, 具体为

$L_{\mathrm{cls}}\left(p_{i}, p_{i}^{*}\right)=-\log \left[p_{i} p_{i}^{*}+\left(1-p_{i}\right)\left(1-p_{i}^{*}\right)\right]$

(3)

回归损失$L_{\text {reg }}\left(\boldsymbol{t}_{i}, \boldsymbol{t}_{i}^{*}\right)=R\left(\boldsymbol{t}_{i}-\boldsymbol{t}_{i}^{*}\right)$, 其中$R$是鲁棒损失函数(Girshick, 2015)。

第2阶段采用区域特征聚集方式(ROI align)提取特征并进行分类和边界框回归, 将特征图像先通过双线性插值到14×14, 再池化到7×7, 这很大程度上解决了直接采样带来的对齐问题。其中的mask分支为每个感兴趣区域生成了一个二元掩码, 用于像素级分割。

所以总的mask R-CNN的损失函数为

$L=L_{\mathrm{cls}}+L_{\mathrm{box}}+L_{\mathrm{mask}}$

(4)

分类损失$L_{{\rm cls}}$和边界框损失$L_{{\rm box}}$的定义为RPN网络中提到的式(2)。

3.3 迁移学习与mask R-CNN的结合

Girshick等人(2016)提出, 对卷积神经网络进行预训练, 而后进行模型参数迁移, 可以有效提高模型的泛化能力和准确度, 并显著减少训练时间。

COCO数据集(Chen等, 2015)是一个大型丰富的数据集, 图像主要从复杂的日常场景中选取, 包括91类目标, 328 000幅影像和2 500 000个标签, 专为图像检测、语义分割、实例分割任务而设计。本文构造的数据集由不同染色方式得到的周围神经束图像组成, 包括神经束和背景两类目标, 751幅图像和约12 150个标签。两个数据集之间差异较大, 因此, 不可直接将COCO数据集训练好的模型直接用于周围神经图像进行神经束轮廓获取。

但因为COCO数据集进行实例分割任务与本文研究的周围神经MicroCT图像中神经束轮廓分割任务具有一定的相似性, 因此, 本文使用COCO数据集对mask R-CNN模型进行预训练, 而后进行模型参数的迁移, 具体过程如图 4所示。

图 4 迁移学习与mask R-CNN相互结合的架构

Fig. 4 Structure of mask R-CNN combined with transfer learning

4 实验与结果分析

4.1 实验环境配置

实验硬件平台为:CPU为i7-6700K, 内存32 GB, GPU为英伟达公司的GTX1070-8 GB, 硬盘1 TB。软件平台为:深度学习专用编程框架CUDA, 高层神经网络API库Keras, TensorFlow和Python 3.6。

4.2 实验设计

为了使得mask R-CNN与迁移学习相结合的算法能更好地适应周围神经MicroCT图像中神经束轮廓的获取, 并避免训练模型中配置信息不同带来的轮廓获取误差, 本文对实验过程进行以下调整:

1) 由于GPU显存的限制, 设定每个GPU同时训练1幅图像, 故1个GPU的mini-batch设置为1。由于图像中只有背景和神经束两类, 将网络分类层的输出设定为2。

2) 先使用COCO数据集对mask R-CNN模型进行预训练, 再利用周围神经MicroCT图像对迁移的网络参数进行再次训练, 提高模型在周围神经MicroCT图像分割任务中的泛化能力和准确度。

3) 采用相同的迭代次数与学习率调整方式, 进行15 000次迭代训练。前10 000次迭代的学习率为0.001, 梯度下降很快, 加快模型的收敛速度。后5 000次迭代将学习率调整为0.000 1, 对网络模型中参数进行微调, 寻找最优值。

4) 两种染色方式获取的周围神经MicroCT图像的尺寸不同, 故将所有图像归一化为704×704像素, 再进行训练。

为了对比不同染色方式的数据集和使用迁移学习策略对神经束轮廓分割性能的影响, 本文设计了3组实验。

第1组实验用于验证本文方法的通用性, 包括以下对比实验:1)采用数据集中的子集1、子集2和子集3分别训练本文方法网络模型得到模型1、模型2和模型3。2)采用训练完成的模型1测试子集1, 模型2测试子集2, 模型3测试子集3。3)评估3个模型的测试结果。

第2组实验用于评估模型对其他染色方式图像数据集的轮廓获取效果, 包括以下交叉实验:1)采用模型1对子集2进行测试。2)采用模型2对子集1进行测试。3)对比上述两种测试方法并评估测试结果。

第3组实验用于验证迁移学习的有效性, 包括对mask R-CNN网络进行2种不同方式的训练并进行测试:1)用3个图像数据子集分别对mask R-CNN网络从随机参数开始训练, 即不采用迁移学习, 而后进行测试。2)用COCO数据集对mask R-CNN网络进行预训练, 将学习到的模型参数迁移到3个子集上进行再学习并测试。3)对上述测试结果进行对比评估。

4.3 评价指标

为了评价本文方法的效果, 使用交并比(IoU)(Lin等, 2017b; Nguyen等, 2018)、准确率(AP)(Kang等, 2017; Feichtenhofer等, 2017; Zhu等, 2018; Johnson, 2018)和平均检测时间(MTD)(He等, 2018; 黄龙等, 2019)等指标进行评价。

IoU为真实值(ground-truth)和预测值(predicted segmentation)的交并比, 即

$ F_{\mathrm{loU}}=\frac{\boldsymbol{S}_{\mathrm{a}} \cap \boldsymbol{S}_{\mathrm{g}}}{\boldsymbol{S}_{\mathrm{a}} \cup \boldsymbol{S}_{\mathrm{g}}} $

(5)

式中, $\boldsymbol{S}_{{\rm a}}$是产生的候选框(anchor bound), $\boldsymbol{S}_{{\rm g}}$为原标记框(ground-truth bound), $F_{{\rm IoU}}$是它们的交叠率, 即交集与并集的比值。最理想情况是完全重叠, 即$F_{{\rm IoU}}=1$。一般约定, ${\rm IoU}$值大于0.5时, 认为检测正确。

AP值为检测模型在测试集上的平均准确率, 由精确度(precision)与召回率(recall)共同决定, 具体为

$ p=T P /(T P+F P) $

(6)

$ r=T P /(T P+F N) $

(7)

$ A=\int_{0}^{1} p(r) \mathrm{d} r $

(8)

式中, $TP$为正确预测正样本数; $FP$为错误预测为正类的负样本数; $FN$为错误预测为负类的正样本数。AP值为P-R曲线(precision-recall curves)下的面积。AP值越接近1, 说明模型效果越好。

4.4 实验结果与分析

在模型的训练阶段, 随着迭代次数的增加, 模型的loss值逐渐降低, 并最终趋近于0, 且不再变化, 即模型达到收敛。模型1、模型2和模型3的loss值最终稳定在0.35、0.24和0.30。未经过迁移学习的模型1、模型2和模型3的loss值最终稳定在0.62、0.20和0.56。可以看出, 经过迁移学习的模型loss值更低, 说明迁移后再训练的效果更好。

4.4.1 第1组实验结果与分析

第1组实验针对3组周围神经MicroCT图像数据集, 进行了3组对比实验。结果如表 1所示。

表 1 第1组实验结果
Table 1 Experimental results of the first group

下载CSV

子集	模型	IoU/%	AP/%	MTD/s
子集1	模型1	86.7	95.2	0.023
子集2	模型2	90.2	100	0.053
子集3	模型3	87.5	96.5	0.016

从表 1可以看出, 3个分割模型对于其子集的AP值都在95%以上, IoU均为86%以上, 检测时间均小于0.06 s。说明本文方法不仅适用于单独一种染色方式图像的数据集, 而且混合图像的数据集也可应用本文方法进行模型的训练, 且分割结果较好。

因为子集2中神经束轮廓具有一定的规律性, 所以模型2对子集2的AP值与IoU值最高, 达到100%和90.2%。

第1组实验的神经束轮廓获取结果如图 5所示, 可以看出, 3个模型对其子集的分割效果较好, 基本实现神经束轮廓的准确分割。模型2的分割效果最好, 自动分割出的结果图与ground-truth几乎一致。但模型1与模型3会出现将背景识别成神经束轮廓的情况。这虽然不影响真正的神经束轮廓信息, 但会对识别出的神经束数量产生影响。模型3对冻干无染色标本的MicroCT图像的分割结果与模型1相比, 会出现极少的神经束轮廓重叠的现象, 且更容易受到背景信息干扰, 将背景识别为神经束。对于饱和氯化钙染色标本的MicroCT图像, 模型3与模型2分割效果差别不大。因此可以推断, 单独一种染色方式的数据集训练出的模型比混合数据集训练出的模型对其染色方式图像的分割效果好。

图 5 第1组实验的神经束轮廓获取结果

Fig. 5 Contours acquisition results of fascicular groups of the first experiment ((a) segmentation results; (b) mask images after segmentation; (c) ground-truths)

4.4.2 第2组实验结果与分析

第2组实验为模型1、模型2与子集1、子集2之间的交叉测试。使用模型1对子集2、模型2对子集1分别进行实验, 结果如表 2所示。由表 2可以看出, 模型1对数据子集2的测试结果仅为1.33%, 模型2对数据子集1的测试结果为6.75%, 说明专一数据集训练的模型具有专一性的特点, 通用性不佳。

表 2 第2组实验结果
Table 2 Experimental results of the second group

下载CSV

子集	模型	IoU	AP/%
子集1	模型2	NaN	6.75
子集2	模型1	NaN	1.33
注:“NaN”表示未定义或不可表示的值。

第2组实验的神经束轮廓获取结果如图 6所示, 可以看出, 模型1将多个神经束识别为1个, 无法准确分割出神经束轮廓。模型2只分割出1个神经束的轮廓信息。两个模型对没有训练过的另外一种染色方式的图像分割效果不好, 既无法分割出每一个神经束准确的轮廓信息, 也无法识别出正确的神经束个数。这说明模型对没有训练过的其他染色方式的数据集泛化性能不佳。

图 6 第2组实验的神经束轮廓获取结果

Fig. 6 Contours acquisition results of fascicular groups of the second experiment ((a) segmentation results; (b) mask images after segmentation; (c) ground-truths)

4.4.3 第3组实验结果与分析

第3组实验研究迁移学习对神经束轮廓获取的影响。实验结果如表 3所示。

表 3 第3组实验结果
Table 3 Experimental results of the third group

下载CSV

子集	模型	训练方法	IoU/%	AP/%
子集1	模型1	迁移	86.7	95.2
子集1	模型1	未迁移	83.5	85.4
子集2	模型2	迁移	90.2	100
子集2	模型2	未迁移	91.3	100
子集3	模型3	迁移	87.5	96.5
子集3	模型3	未迁移	85.1	91.0
注:加粗字体为最优结果。

从表 3可以看出, 采用迁移学习的模型1和模型3的IoU值比不采用迁移学习模型的IoU值要高出3.2%和2.4%, AP值高出9.8%和5.5%。但采用迁移学习的模型2比不采用迁移学习的模型的IoU值低了1.1%, AP值相同。这说明对于子集1与子集3这种神经束轮廓较复杂的数据集, 将迁移学习与mask R-CNN结合起来完成神经束轮廓获取, 可以显著提高轮廓获取的AP值和IoU值, 基于参数迁移训练出的卷积神经网络模型要比在目标领域重新训练模型更好, 模型的准确率和鲁棒性更佳。但对于子集2这样神经束轮廓有一定规律的数据集, 不采用迁移学习进行参数迁移, 直接对其数据集进行训练得到的模型更好。结合迁移学习策略的算法, 其模型在训练过程的loss值更低, 但测试阶段的分割准确率没有降低, 说明本文方法不会出现小样本数据集应用深度学习时产生的模型过拟合等问题。

第3组实验的神经束轮廓获取结果如图 7所示, 可以看出, 未进行迁移学习的模型1与模型3在分割无染色冻干标本的MicroCT图像时都会出现较明显的轮廓重叠现象, 模型1的分割结果图与真实的ground-truch图像差别较大, 模型3较容易受到背景信息干扰。对于饱和氯化钙染色标本的MicroCT图像, 未进行迁移学习的模型2与模型3的分割结果与真实的ground-truth图像几乎一致, 分割效果较好。

图 7 第3组实验的神经束轮廓获取结果

Fig. 7 Contours acquisition results of fascicular groups of the third experiment ((a) segmentation results; (b) mask images after segmentation; (c)ground-truths)

5 讨论

神经束轮廓获取是神经内部结构3维可视化的前提之一, 其准确性将影响外科诊断和临床手术的结果。本文以多种染色方式的周围神经MicroCT图像为研究对象, 意图实现对具有明显差异的周围神经MicroCT图像中神经束轮廓的全自动、通用化提取, 目的是解决当前普遍存在的特定染色方式需要设计特定分割算法的问题, 有助于3维可视化系统的构建和临床的普及应用。

在不同染色方式获取的周围神经MicroCT图像中的神经束轮廓提取方面, Giraldo等人(2015)针对无染色的超声图像提出贝叶斯分层聚类方法, Liu等人(2016)对于无染色制备的周围神经CT图像设计基于像素信息的算法, Yan等人(2017)对于碘染色的MicroCT图像应用GVF方法来分割图像轮廓, Qi等人(2018)针对乙酰胆碱酯酶染色后的2维全景图像, 采用改进的K-means聚类方法及像素点“蚕食”的方法获取神经束边界。上述大部分方法都是针对特定染色方式的神经图像设计分割算法, 其算法不可扩展到其他染色方式的图像中, 且部分需要人工干预来保证其准确性。而本文提出的通用算法不仅在神经束轮廓差异较大的多个单一染色方式的数据集中具有良好的分割效果, 并且适用于由单一染色方式图像混合而成的数据集, 可满足周围神经束轮廓分割的准确性和实时性的要求。

关于训练样本数量不足的问题, Tajbakhsh等人(2016)指出在训练深度卷积神经网络模型时, 基于参数迁移训练出的卷积神经网络模型要比在目标领域重新训练模型更好。Girshick等人(2016)和Oquab等人(2014)使用参数迁移的方法从源领域CNN模型中迁移参数用于训练目标领域CNN模型。Hoffman等人(2016)将CNN在源领域RGB图片集上训练的模型迁移到目标领域深度图的应用中。由于周围神经的MicroCT扫描图像数量有限, 在训练识别模型时受到极大限制。借鉴上述研究, 本文提出将mask R-CNN与迁移学习结合的通用轮廓获取方法, 以解决小样本的周围神经数据集应用深度学习时产生的模型过拟合等限制问题, 且在实验过程中对参数、迭代次数等进行调整, 使其适用于周围神经MicroCT图像中神经束轮廓获取的任务。

此外, 通过实验发现, 在神经束轮廓较复杂的数据集中, 本文方法可以在一定程度上提高分割准确率和IoU值。在神经束轮廓有一定规律性的数据集中, 本文方法与直接使用mask R-CNN模型的准确率相同, 只是IoU值略微降低了1.1%, 但也在90%以上, 达到实验要求。

在分析实验结果的过程中, 发现在无染色脱水处理的周围神经MicroCT图像中, 由于轮廓形状较不规律且背景复杂, 在分割后的图像中会出现将背景识别成神经束的现象, 虽然不影响正确的神经束轮廓信息, 但导致神经束数量的错误。在将来的工作中, 此问题是研究的重点之一。

6 结论

针对不同染色方法获得的周围神经MicroCT图像, 常规方法在获取神经束轮廓时费时费力且难以保证一致性的问题, 本文提出一种通用的方法, 将不同染色方法获得的周围神经MicroCT图像放在统一框架下完成轮廓获取。实验结果表明:1)多个单一染色图像数据集和混合图像数据集训练的模型的AP值均在95%以上, 检测时间均小于0.06 s。2)对于神经束轮廓较复杂的图像数据集, 采用迁移学习的模型的AP值和IoU值比不采用迁移学习的模型分别高出5%~10%和2%~4%左右。由此可见, 针对不同染色方法获得的周围神经MicroCT图像, 采用本文的通用方法可以准确、快速、全自动获取神经束轮廓。此外, 对于神经束轮廓信息较复杂的周围神经MicroCT图像, 经过迁移后的mask R-CNN能显著提高神经束轮廓获取的准确性和鲁棒性。

参考文献

Chen X L, Fang H, Lin T Y, Vedantam R, Gupta S, Dollar P and Zitnick C L. 2015. Microsoft COCO captions: data collection and evaluation server.[2019-05-22]. https://arxiv.org/pdf/1504.00325.pdf

Feichtenhofer C, Pinz A and Zisserman A. 2017. Detect to track and track to detect//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 3057-3065[DOI: 10.1109/ICCV.2017.330]

Giraldo J J, álvarez M A and Orozco A Á. 2015. Peripheral nerve segmentation using nonparametric Bayesian hierarchical clustering//Proceedings of the 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Milan, Italy: IEEE: 3101-3104[DOI: 10.1109/EMBC.2015.7319048]

Girshick R. 2015. Fast R-CNN//Proceedings of 2015 IEEE International Conference on Computer Vision. Santiago, Chile: IEEE: 1440-1448[DOI: 10.1109/ICCV.2015.169]

Girshick R, Donahue J, Darrell T, Malik J. 2016. Region-based convolutional networks for accurate object detection and segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(1): 142-158 [DOI:10.1109/TPAMI.2015.2437384]

Gómez-Ríos A, Tabik S, Luengo J, Shihavuddin A S M, Krawczyk B, Herrera F. 2019. Towards highly accurate coral texture images classification using deep convolutional neural networks and data augmentation. Expert Systems with Applications, 118: 315-328 [DOI:10.1016/j.eswa.2018.10.010]

He K M, Gkioxari G, Dollar P and Girshick R. 2018. Mask R-CNN[EB/OL].[2019-05-22]. https://arxiv.org/pdf/1703.06870.pdf

He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]

Hoffman J, Gupta S, Leong J, Guadarrama S and Darrell T. 2016. Cross-modal adaptation for RGB-D detection//Proceedings of 2016 IEEE International Conference on Robotics and Automation. Stockholm, Sweden: IEEE: 5032-5039[DOI: 10.1109/ICRA.2016.7487708]

Huang L, Yang Y, Wang Q J, Guo F, Gao Y. 2019. Indoor scene segmentation based on fully convolutional neural networks. Journal of Image and Graphics, 24(1): 64-72 (黄龙, 杨媛, 王庆军, 郭飞, 高勇. 2019. 结合全卷积神经网络的室内场景分割. 中国图象图形学报, 24(1): 64-72) [DOI:10.11834/jig.180364]

Hui T, Abudureyimu H, Du H. 2019. Multi-type flame detection combined with Faster R-CNN. Journal of Image and Graphics, 24(1): 73-83 (回天, 哈力旦·阿布都热依木, 杜晗. 2019. 结合Faster R-CNN的多类型火焰检测. 中国图象图形学报, 24(1): 73-83) [DOI:10.11834/jig.180430]

Johnson J W. 2018. Adapting mask-RCNN for automatic nucleus segmentation[EB/OL].[2019-05-22]. https://arxiv.org/pdf/1805.00500.pdf

Kagemann L, Isikawa H, Wollstein G, Gabriele M, Schuman J S. 2009. Visualization of 3D high speed ultrahigh resolution optical coherence tomographic data identifies structures visible in 2D frames. Optics Express, 17(5): 4208-4220 [DOI:10.1364/OE.17.004208]

Kang K, Li H, Yan J, Zeng X, Yang B, Xiao T, Zhang C, Wang Z, Wang R, Wang X and Ouyang W. T-CNN: Tubelets with convolutional neural networks for object detection from videos. IEEE Transactions on Circuits and Systems for Video Technology PP(99) (2017) 1-1.

Li Q, Bai Z Y, Liu Y F. 2018. Automated classification of diabetic retinal images by using deep learning method. Journal of Image and Graphics, 23(10): 1594-1603 (李琼, 柏正尧, 刘莹芳. 2018. 糖尿病性视网膜图像的深度学习分类方法. 中国图象图形学报, 23(10): 1594-1603) [DOI:10.11834/jig.170683]

Lin T Y, Dollár P, Girshick R, He K M, Hariharan B and Belongie S. 2017a. Feature pyramid networks for object detection//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 936-944[DOI: 10.1109/CVPR.2017.106]

Lin T Y, Goyal P, Girshick R, He K M and Dollár P. 2017b. Focal loss for dense object detection//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 2999-3007[DOI: 10.1109/ICCV.2017.324]

Liu B, Zhou X L, Zhang M, Zhu X C. 2016. A study on peripheral nerve image segmentation algorithm. Journal of Changshu Institute of Technology, 30(2): 64-68 (刘斌, 周学礼, 张敏, 朱鑫晨. 2016. 周围神经图像分割算法研究. 常熟理工学院学报, 30(2): 64-68) [DOI:10.3969/j.issn.1008-2794.2016.02.015]

Liu J and Li P F. 2018. A mask R-CNN model with improved region proposal network for medical ultrasound image//Huang D S, Jo K H and Zhang X L, eds. Intelligent Computing Theories and Application. Cham: Springer: 26-33[DOI: 10.1007/978-3-319-95933-7_4]

Long M S, Wang J M, Cao Y, Sun J G, Yu P S. 2016. Deep learning of transferable representation for scalable domain adaptation. IEEE Transactions on Knowledge and Data Engineering, 28(8): 2027-2040 [DOI:10.1109/TKDE.2016.2554549]

Moiseev D, Hu B, Li J. 2019. Morphometric analysis of peripheral myelinated nerve fibers through deep learning. Journal of the Peripheral Nervous System, 24(1): 87-93 [DOI:10.1111/jns.12293]

Nguyen D H, Le H T, Tran T H, Vu H, Le T L and Doan H G. 2018. Hand segmentation under different viewpoints by combination of Mask R-CNN with tracking//Proceedings of the 5th Asian Conference on Defense Technology. Hanoi, Vietnam: IEEE: 14-20[DOI: 10.1109/ACDT.2018.8593130]

Oquab M, Bottou L, Laptev I and Sivic J. 2014. Learning and transferring mid-level image representations using convolutional neural networks//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, OH, USA: IEEE: 1717-1724[DOI: 10.1109/CVPR.2014.222]

Pan S J, Yang Q. 2010. A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10): 1345-1359 [DOI:10.1109/TKDE.2009.191]

Patravali J, Jain S and Chilamkurthy S. 2018. 2D-3D fully convolutional neural networks for cardiac MR segmentation//Proceedings of the 8th International Workshop on Statistical Atlases and Computational Models of the Heart. Quebec City, Canada: Springer: 130-139[DOI: 10.1007/978-3-319-75541-0_14]

Qi J, Wang W Y, Zhong Y C, Zhou J M, Luo P, Tang P, He C F, Zhu S, Liu X L, Zhang Y. 2018. Three-dimensional visualization of the functional fascicular groups of a long-segment peripheral nerve. Neural Regeneration Research, 13(8): 1465-1470 [DOI:10.4103/1673-5374.235307]

Ren G H, Pei G X. 2009. Research progress on three-dimensional reconstruction and visualization of peripheral nerve. Chinese Journal of Reparative and Reconstructive Surgery, 23(2): 239-244 (任高宏, 裴国献. 2009. 周围神经3维重建与可视化研究进展. 中国修复重建外科杂志, 23(2): 239-244)

Ren S Q, He K M, Girshick R, Sun J. 2017. Faster R-CNN:towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(6): 1137-1149 [DOI:10.1109/TPAMI.2016.2577031]

Sui T, Cao X J. 2016. Identification of motor and sensory fiber during surgical repair of peripheral nerve injury:the situation and prospect. Chinese Journal of Experimental Surgery, 33(11): 2438-2441 (眭涛, 曹晓建. 2016. 周围神经损伤修复术中运动束与感觉束鉴别的现状及展望. 中华实验外科杂志, 33(11): 2438-2441) [DOI:10.3760/cma.j.issn.1001-9030.2016.11.002]

Tajbakhsh N, Shin J Y, Gurudu S R, Hurst R T, Kendall C B, Gotway M B, Liang J M. 2016. Convolutional neural networks for medical image analysis:full training or fine tuning?. IEEE Transactions on Medical Imaging, 35(5): 1299-1312 [DOI:10.1109/TMI.2016.2535302]

Vuola A O, Akram S U and Kannala J. 2019. Mask-RCNN and U-net ensembled for nuclei segmentation//Proceedings of the 16th IEEE International Symposium on Biomedical Imaging. Venice, Italy: IEEE: 208-212[DOI: 10.1109/ISBI.2019.8759574]

Yan L W, Guo Y Z, Qi J, Zhu Q T, Gu L Q, Zheng C B, Lin T, Yu Y T, Zeng Z T, Yu S, Zhu S, Zhou X, Zhang X, Du Y F, Yao Z, Lu Y, Liu X L. 2017. Iodine and freeze-drying enhanced high-resolution MicroCT imaging for reconstructing 3D intraneural topography of human peripheral nerve fascicles. Journal of Neuroscience Methods, 287: 58-67 [DOI:10.1016/j.jneumeth.2017.06.009]

Zhang X S, Zhuang Y, Yan F, Wang W. 2019. Research and development of class-level object recognition and detection based on transfer learning. Acta Automatica Sinica, 45(7): 1224-1243 (张雪松, 庄严, 闫飞, 王伟. 2019. 基于迁移学习的类别级物体识别与检测研究与进展. 自动化学报, 45(7): 1224-1243) [DOI:10.16383/j.aas.c180093]

Zhong Y C, Luo P. 2012. Type recognition of fascicular groups from nerve slice image. Journal of Image and Graphics, 17(1): 82-89 (钟映春, 罗鹏. 2012. 从神经切片图像中识别功能束类型的研究. 中国图象图形学报, 17(1): 82-89) [DOI:10.11834/jig.20120112]

Zhong Y C, Qi J, Liu X L, Zhang M. 2011. Study on discrete nerve fascicular groups edge extraction from slice image. Journal of System Simulation, 23(7): 1414-1418 (钟映春, 戚剑, 刘小林, 张淼. 2011. 从图像中提取离散点状神经功能束边缘的研究. 系统仿真学报, 23(7): 1414-1418) [DOI:10.16182/j.cnki.joss.2011.07.038]

Zhong Y C, Wang L P, Dong J H, Zhang Y, Luo P, Qi J, Liu X L, Xian C J. 2015. Three-dimensional reconstruction of peripheral nerve internal fascicular groups. Scientific Reports, 5: 17168 [DOI:10.1038/srep17168]

Zhu S, Zhu Q T, Liu X L, Yang W H, Jian Y T, Zhou X, He B, Gu L Q, Yan L W, Lin T, Xiang J P, Qi J. 2016. Three-dimensional reconstruction of the microstructure of human acellular nerve allograft. Scientific Reports, 6: 30694 [DOI:10.1038/srep30694]

Zhu X Z, Dai J F, Yuan L and Wei Y C. 2018. Towards high performance video object detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE: 7210-7218[DOI: 10.1109/CVPR.2018.00753]