0 引言

根据2010年世界卫生组织发布的《出生缺陷报告》，先天性疾病是常见疾病，全世界因先天性异常而死亡的人数约为260 000人，占所有新生儿死亡病例大约7%。中国的出生缺陷儿绝对数量巨大。据《中国出生缺陷防治报告(2012)》(中华人民共和国卫生部，2012)报告显示，我国出生缺陷发生率在5.6%左右。先天性疾病和出生缺陷可以造成自然流产和死产，是导致新生儿死亡和残疾的一个重要原因。它们可以危及生命，导致长期残疾，从而对个人、家庭和社会造成不利影响。因此，针对出生缺陷诊断的科学研究具有重要价值(Abid和Hamami，2018)。

染色体包含着人类遗传信息，常用于分析人类遗传病。一般来说，人体细胞中在正常情况下包含46条染色体，其中由22对常染色体(1—22类)和1对性染色体(女性为两条X性染色体，男性为一条X染色体和一条Y染色体)构成(林成创等，2020)。染色体核型化分析是产前诊断和遗传疾病诊断的重要且常用方法，是临床上遗传疾病诊断的金标准。如图 1所示，染色体核型化分析是指从细胞分裂中期的显微镜图像中分割得到染色体实例后，凭借ISCN(international system for human cytogenetic nomenclature)标准(Shaffer等，2013)，最终形成染色体核型图的过程。

图 1 染色体核型分析示例

Fig. 1 Example of chromosome karyotype analysis

((a) metaphase image; (b) chromosome karyotype map)

医学影像是现代医学最重要的临床诊断和鉴别诊断方法，也是计算机辅助诊断的重要依据(田娟秀等，2018)。染色体分类作为医学影像处理的子任务，是临床遗传疾病诊断的重要方法，通常由熟练的细胞遗传学专家手工完成。受染色体非刚性特性影响，同一类型的染色体常具有完全不同的形状和方向，给染色体分类研究带来巨大挑战。染色体分类是染色体核型化分析中最复杂也是最容易出错的中间环节，对临床医生出具产前诊断结果有着很好的借鉴价值。因此，染色体分类是一类极具挑战性且值得深入研究的热点问题。

在深度学习兴起之前，染色体分类技术主要分为两大技术路线，基于人工神经网络(artificial neural network，ANN)的技术路线(Kubola和Wayalun，2018；Popescu等，1999；Moradi等，2003；Oskouei和Shanbehzadeh，2010)和基于概率神经网络(probalilistic neural network，PNN)的技术路线(Poletti等，2011；Rungruangbaiyok和Phukpattaranont，2010；Khan等，2012)。第1类方法主要采用多层感知机(multilayer perceptron，MLP)提取染色体特征，但有一个复杂的特征筛选过程；第2类方法的精度较低，所需的训练时间较短。早期染色体分类方法有着复杂的特征选择过程，手工设计的特征提取器有固有的局限性，无法全面涵盖图像的低级像素特征，更加难以设计出高层抽象的特征，导致染色体的错误分类(金旭等，2020)。

随着以深度学习为代表的人工智能技术的快速发展，采取深度学习技术的医学影像分析成为研究热点，吸引众多学者投入染色体分类的研究。Sharma等人(2017)和Swati等人(2017)分别较早地提出基于改进卷积神经网络和基于改进孪生网络的染色体分类方法，在各自选择的数据集中取得了86.7%和84.6%的分类准确率。Lin等人(2020b)提出残差神经网络变体模型和自适应接口(image adaptive interface，IAI)的染色体分类方法。其中，自适应接口有效解决了染色体图像尺寸输入不一致问题。在作者人工标注的2 990条染色体图像数据集中，测试准确率为95.98%。Zhang等人(2021)提出了结合交错和多任务学习网络的染色体分类和校正模型，按3个阶段进行特征学习。在作者收集的数据集上进行性能评估，准确率为98.1%。

染色体分类任务研究取得了一定进展，但基于深度学习的染色体分类研究存在滞后性，且暴露出一些问题。1)难以收集到大规模带标签的染色体数据。数据量和数据质量都在数据获取过程中存在明显的人员和技术阻碍，存在数据壁垒。标准化数据往往采取人工标注方式，存在着标注难度大、标注信息难以获取以及高成本等问题。2)模型性能的好坏与训练数据量密切相关。深度学习需要大量的训练数据，目前染色体分类研究大量依赖高成本标注背景下的染色体小样本数据。虽然目前染色体分类算法已经取得了一些进展，但大部分是在轻量化数据集上得到的不同水准的分类性能，训练数据不够充分，导致现有模型可能处于低层次精度水平。3)模型难以验证，成果转化难。

存在上述问题的根本原因是数据量缺乏。针对上面的问题，本文尝试从以下3个方面开展研究工作。1)针对第1个问题，构建目前最大规模的临床染色体数据库。其中，分割染色体实例以及开展的数据标注工作全部由专业临床医生团队全程参与并完成。2)针对第2个问题，在保证数据量的前提下，提供给现有模型足够的训练数据，尝试验证现有模型性能能否得到整体的提升。3)针对第3个问题，在构建好的数据集上展开染色体分类算法之间的性能评估实验，探究不同网络结构之间是否存在性能差异，为临床应用提供对网络模型的初筛建议。

为开展性能评估实验，本文工作从广东省妇幼保健院医学遗传中心获得126 453条染色体样本的临床数据集，从近年基于深度学习的染色体分类的相关研究成果中重点挑选出6种主流染色体分类算法，所有参评模型进行染色体分类识别性能测试(https://github.com/CloudDataLab/ChromesomeBen-chmark)。本文主要贡献如下：1)阐述近5年基于深度学习的染色体分类方法。按网络结构的设计思想和时间发展顺序进行介绍，并给出网络间存在的联系，对相关研究人员有较好的借鉴意义。2)精选6个主流染色体分类模型在大规模临床数据集展开性能评估实验。本次评估实验是在染色体分类研究领域中第一次进行较大规模实验评估，对染色体分类研究具有重要价值。3)在评估实验中，带有不同参数量的模型借助准确率、精确率、召回率和F1值4类评价指标来分析模型在大型数据集上的分类潜力，这对于更加准确地认识深度学习在染色体分类中的分类性能具有重要意义。

1 基于深度学习的染色体分类算法

1.1 问题定义和描述

染色体分类是将单条染色体图像按照ISCN规则确定所有染色体组号和染色体号的过程，如图 2所示。关于染色体组号，ISCN规则(McGowan-Jordan等，2016)将染色体分成7组，从A到G依次编号。其中A组包括1、2、3号常染色体，B组包括4、5号常染色体，C组包括6—12号常染色体以及X性染色体，D组包括13、14、15号常染色体，E组包括16、17、18号常染色体，F组包括19、20号常染色体，G组包括21、22号常染色体和Y性染色体。关于染色体号，ISCN规则中对染色体核型分析的描述如下：在核型图中，常染色体按照长度递减的顺序用数字1到22编号(唯一例外是21号染色体比22号短)，性染色体用X和Y表示。

图 2 染色体分类过程

Fig. 2 The process of chromosome classification

染色体分类问题使用形式化公式描述如下：使用${\boldsymbol{X}}$=$\{x_{1}, x_{2}, …, x_{N}\}$表示包含$N$个染色体图像样本的数据集，其中$x_{j}$表示第$j$个染色体图像样本；使用${\boldsymbol{Y}}$={$y_{1}, y_{2}, …, y_{N}$}表示与${\boldsymbol{X}}$数据集对应的染色体真实类别集合, 通常称为ground truth(GT)标签集；其中$y_{j}$∈{1, 2, …, 22, X, Y}表示第$j$个染色体图像样本的真实类别；使用$F$(·)表示一个染色体分类算法或模型，使用$y′_{j}$=$F$($x_{j}$)表示$F$(·)算法或模型推理第$j$个染色体样本的预测类别；使用$\boldsymbol{Y}^{\prime}=\left\{x_1^{\prime}, x_2^{\prime}, \cdots, x_N^{\prime}\right\}$表示$F$(·)的分类结果集合，通常称为Predicted Set测试数据集。

1.2 常用数据库和评价指标

1.2.1 常用数据库

染色体影像依赖显微镜制作。采样过程中，既要保证拍摄的影像完全呈现出细胞中的所有染色体，还需要尽可能提高染色体图像的清晰度，无法同时兼顾成像视野与放大倍数，而且制作染色体图像的过程过于烦琐。现实中收集一个大型且带有标注信息的染色体数据集难度更大，一方面，收集过程费时，还需相关专业领域的知识储备；另一方面，医疗机构出于隐私保护等医学伦理问题的考虑，基本不公开相应染色体数据。即使收集数据途径得到保证，但将数据集进行开放共享需具备一定的前提条件，即科研团队和医疗机构存在着研究合作关系并需满足患者知情以及严格的数据脱敏等要求。打造高质量的大型公开数据集过程相当具有挑战性。历年染色体分类研究数据集如表 1所示。

表 1 染色体分类常用数据库
Table 1 Common datasets for chromosome classification

下载CSV

方法	数据库大小/幅	是否公开
Poletti等人(2008)	5 474	是
Sharma等人(2017)	1 800	否
Swati等人(2017)	1 740	否
Zhang等人(2018)	10 304	否
Sharma等人(2018)	5 256	否
Hu等人(2019)	4 184	是
吕丹丹(2019)	18 400	否
Qin等人(2019)	87 831	否
Lin等人(2020b)	2 990	是
Remya等人(2020)	21 423	否
Lin等人(2020a)	2 990	否
张成成等人(2020)	1 275	否
Zhang等人(2021)	32 810	否

最早公开的数据集是Poletti等人(2008)提出并由细胞学专家手动分割得到的，名为BiolmLab数据集。数据集分为119个文件夹(细胞)，每个文件夹包含46条染色体，共5 474条染色体，总大小为10.5 MB(图像格式：BMP，8位/像素)。每幅图像分辨率大小取染色体的最佳分布位置，以保证标注数据的高质量。BiolmLab数据集(http://bioimlab.dei.unipd.it/)对染色体分类有着重要的研究价值。部分数据集如图 3所示。Hu等人(2019)从91张核型图片中分割得到4 184条正常染色体图像并制作成公开数据集(https://github.com/Xi-Hu/Chromosome-Images)。其中，图像背景统一扩展为100(宽)×220(高)像素。染色体标记信息体现在文件名中。例如，在“161923.054.K.chr1.1invert_pad.gif”文件名中，“161923.054”是样本编号，K代表核型图像，“chr1.1”代表该图像是成对染色体1号中的一条(另一条染色编号为chr1.2)。Lin等人(2020b)于2020年发布了染色体数据库(https://github.com/CloudDataLab/CIR-Net), 该数据集包括2 990幅尺寸约为224×224像素的单条染色体图像，每个像素占用的有效比特数为8(8bpp)。

图 3 BiolmLab数据集部分情况

Fig. 3 Parts of the BiolmLab dataset

手工标注染色体数据是一个费时费力的阶段(周雪雁等，2004)。因此，收集大型公开可用的染色体数据集过程具有挑战性。值得注意的是，即使数据集极少数开源，但染色体分类的研究从未间断。

1.2.2 评价指标

染色体分类是一个多分类任务，但实际操作时往往将每类染色体都单独作为一个二分类问题，然后再对所有类别进行加权计算。其中任意一组染色体的二分类混淆矩阵如表 2所示。对于第$j$组染色体，$TP_{j}$表示实际属于类别$j$的染色体被模型预测为$j$。$FP_{j}$表示实际不属于类别$j$的染色体被模型预测为$j$。$FN_{j}$表示实际属于类别$j$的染色体被模型预测为不是类别$j$。$TN_{j}$表示实际不属于类别$j$的染色体被模型预测为不是类别$j$。

表 2 二分类混淆矩阵
Table 2 Confusion matrix of binary classfication

下载CSV

真实类别	预测结果
	正例	反例
正例	真正例(TP)	假反例(FN)
反例	假正例(FP)	真反例(TN)

不同的分类算法需要进行客观评估，尤其是量化的评估指标。对于染色体分类问题，更加需要一类具备客观可量化、可解释以及被广泛接受特性的评价指标。常用染色体分类算法的评价指标有准确率(accuracy, ACC)、精确率PPV(positive predictive value)、召回率TPR(true positive rate)和F1分数(${{\text{F}}_{1}}$ score)。准确率指每一类染色体在所有染色体中正确分类的比例，可以判断总的分类正确率，常作为评估分类效果的最主要和最常用的指标。精确率也称查准率，用于评估所有被预测为正样本中实际为正样本的概率。精确率考察单个类别的准确率，准确率考察整体的准确率。召回率也称查全率，用于评估实际为正样本中被预测为正样本的概率。${{\text{F}}_{1}}$分数是精确率和召回率的加权调和平均值。分别表示为

$ A C C=\frac{1}{N} \sum\limits_{j=1}^N T P_j $

(1)

$ P P V=\frac{1}{N} \sum\limits_{j=1}^N \frac{T P_j}{T P_j+F P_j} $

(2)

$ T P R=\frac{1}{N} \sum\limits_{j=1}^N \frac{T P_j}{T P_j+F N_j} $

(3)

$ F_1=\frac{1}{N} \sum\limits_{j=1}^N \frac{2 \times P P V_j \times T P R_j}{P P V_j+T P R_j} $

(4)

式中，$N$表示染色体的类别总数。

上述评价指标能够提供分类任务中的评价参考，但在实际使用时需根据任务需求选择不同评价指标进行组合，多方面评价分类算法的准确性和稳定性。

1.3 模型设计

染色体分类网络模型主要分为3种设计思路，即网络内部堆叠卷积层的设计思路、网络内部精细化模块的优化设计思路(如跳跃连接和相似度匹配的思想)以及拼接图像多尺度特征的多任务模型设计思路。针对以上3种设计思路，本文提出了基于深度学习的染色体分类算法的划分框架，如图 4所示。具体分为基于卷积神经网络(convolutional neural network，CNN)及其变体的分类模型、基于ResNet和Siamese的分类模型以及自设计的多任务学习分类模型。

图 4 深度学习下染色体分类研究

Fig. 4 Research on chromosome classification under deep learning

1.3.1 基于CNN及其变体的分类模型

卷积神经网络(CNN)作为深度学习的代表性算法之一，是包含卷积计算和一定深度结构的前馈型神经网络，借助堆叠卷积层层数的网络模型能有效将大数据量的图像降维成小数据量，使原图像信号特征增强，并降低噪音。不同于传统的图像分类方法，基于卷积神经网络的图像分类方法具有很好的表征学习能力，其卷积核参数共享和层次化的核心思想使CNN能对图像像素进行潜在特征学习，较大幅度地提高图像分类效果。

Sharma等人(2017)提出结合众包技术、数据预处理和卷积神经网络(CNN)算法进行染色体分类。该研究将染色体灰度图像集的分割任务众包给专业技术人员，构建了染色体数据集。在此数据集上，按照拉直弯曲染色体、染色体图像归一化和使用Deep CNN模型3个流程将染色体分为24类。Deep CNN模型架构如图 5所示，该模型串行了4个卷积模块，对120×120像素的染色体图像多重卷积下采样，自学习训练样本的内部特征。池化层也称下采样层，会压缩输入的特征图，一方面减少了特征数，能显著减少训练参数，另一方面保持了特征的某种不变性(旋转、平移和伸缩等)。模型的训练与测试在1 800条染色体下进行，经过数据预处理操作后，实验表明，Deep CNN模型有较好的性能，准确率为86.7%。

图 5 Deep CNN架构的染色体分类模型(Sharma等，2017)

Fig. 5 Chromosome classification model based on Deep CNN architecture(Sharma et al., 2017)

Remya等人(2020)在Kiruthika等人(2018)方法启发下，提出了CNN变体双模型ChromNet1和ChromNet2，如图 6所示。ChromNet1是一个包含卷积层和池化层(或称采样层)构成的浅层网络模型。模型选取的3×3卷积核(小的感受野)不仅能使模型专注图像的细节信息，并且可以减缓后续参数量的剧增。激活函数选取线性整流单元(ReLU)而不是Sigmoid函数，能有效应对训练过程中出现的梯度饱和以及梯度消失问题。ChromNet2网络在ChromNet1网络的基础上，增添了多层卷积模块和dropout方法(Srivastava等，2014)。在私有标注的21 423条染色体构成的数据集上进行预训练和性能测试，ChromNet2的分类准确率为91.3%，ChromNet1的分类效果在文献中没有提及。

图 6 ChromNet1和ChromNet2(Remya等，2020)

Fig. 6 ChromNet1 and ChromNet2(Remya et al., 2020)

((a) ChromNet1; (b) ChromNet2)

减少训练开销的常用策略是权值共享(weight share)，这个策略在卷积神经网络中发挥了重要作用。经典Le-Net网络(Lecun等，1998)一经提出就受到了学者们的广泛关注和深入研究，Zhang等人(2018)提出Vanilla CNN网络就借鉴了这一结构。如图 7，120×40像素的染色体图像送入Vanilla CNN网络，模型拼接多个卷积层和池化层对输入信号进行加工，然后在连接层实现与输出结果之间的映射。每个卷积层都包含多个特征映射，其中每个特征映射是由多个神经元构成的多维平面，并通过卷积核提取特征。池化层(pooling)的别称为“汇合”层，其目的是基于局部相关性原理进行亚采样，从而既能减少数据量也能留住有效信息。Vanilla CNN网络将原始染色体图像映射成高维特征向量，最后通过一个由120个神经元构成的连接层和输出层连接完成分类。其中，随机失活半数神经元(随机失活dropout=0.5)可以减少神经元之间复杂的共适应关系，增强网络的泛化能力。该方法在包含10 304个染色体图像的私有G带染色体数据集上的分类准确率为92.5%。然而，数据集中样本分布不均衡，仅包含了垂直染色体，所以该模型的分类结果在遇到新的数据集时容易出现染色体的错误分类。

图 7 基于Le-Net网络变体的染色体分类模型(Zhang等，2018)

Fig. 7 Chromosome classification model based on Le-Net network variant(Zhang et al., 2018)

深度神经网络能自然地以端到端的多层次方式将图像低、中、高层次特征(Zeiler和Fergus，2014)整合进分类器，并且通过堆积层的数量(深度)来丰富特征的“层次”。VGGNet(Visual Geometry Group network)网络(Simonyan和Zisserman，2015)探索了卷积神经网络的深度与其性能之间的关系，成功构筑了深度为16~19层的卷积神经网络，证明了通过小卷积核增加模型深度能在一定程度上影响网络最终的性能，使错误率大幅下降。为解决染色体分类问题，Hu等人(2019)从VGGNet网络中得到启发，提出了如图 8所示的染色体分类模型，相比基于手工特征的方法有着明显优势。模型设置了6个卷积层和2个全连接层，其构成的神经网络对100×220像素的染色体图像进行分类。图中的Conv1层专注抽取染色体边缘等低层次特征，而其余卷积层负责连续抽取高层次特征，如染色体条带特征、染色体着丝点特征等。原始图像输入至模型后得到256维特征，随后将特征集展平为1维表示并连接FC1层，随机失活FC1层的半数神经元连接至FC2层，最终完成染色体分类任务。堆叠多个小卷积核、使用池化操作和dropout技巧的加入，保证了模型具有较好的鲁棒性。该团队从91张染色体核型图中分割得到4 184条染色体作为实验数据集，评估结果显示，分类准确率为93.79%。

图 8 基于VGGNet架构的染色体分类模型(Hu等，2019)

Fig. 8 The architecture of the proposed VGGNet for chromosome classification model(Hu et al., 2019)

对于如何充分获取图像的多重特征，目前存在着从模型外部拼接不同尺度图像组合后作为输入端的改进思路。例如，将不同形状图像产生的复合信号输入模型以展开训练。李康等人(2020)认为，染色体形状多变性的客观因素和普通CNN模型存在特征提取不充分问题，会带来染色体分类精度不佳的困扰，提出了融合多图像特征的Multi-input CNN模型，借助Mask R-CNN(He等，2017)实现染色体的自动分割，如图 9所示。染色体图像经几何优化操作得到优化图像，随后将原始图像和优化图像并行作为Multi-input CNN模型的输入信号。分类过程可精简为残差网络提取特征、融合多层次特征图、使用多层感知机(MLP)进行分类预测3个步骤。数据集源于医院提供的核型图中分割出的染色体实例，共5 000幅128×128尺寸的染色体图像，每张图片包含1条染色体。为了保证Multi-input CNN模型的效果，先训练3个单独的CNN模块直到收敛，然后拼接3个子网络，固定CNN的参数且只训练顶层的分类器，最后解锁整个模型，并在一个很低的学习率(0.000 5)下进行微调，评估结果准确率为95.6%。

图 9 Multi-input CNN网络架构(李康等，2020)

Fig. 9 Multi-input CNN network architecture(Li et al., 2020)

卷积神经网络是一种通过模拟生物大脑皮层结构而特殊设计的含有多隐层的人工神经网络。卷积层、池化层和激活函数是卷积神经网络的核心部分。卷积神经网络通过局部感受野、权重共享和降采样这3种策略，降低了网络模型的复杂度，因此增加网络深度进而提升网络的分类性能是积极有效的一种常规技术方案。

1.3.2 基于ResNet和Siamese的分类模型

为进一步提升网络的分类效果，一些学者从网络内部着手，提出了允许输入信息可以跨越后续网络层并进行传播(即残差网络)和允许两个输入共享编码层(即孪生网络)的基于卷积操作模型。

神经网络一味地增加深度和宽度会面临梯度消失和梯度爆炸导致的网络退化问题，具体表现为网络性能不再随深度增加而提升。为解决此类问题，He等人(2016)提出残差网络，并在ImageNet(Deng等，2009)比赛中取得佳绩。残差网络允许输入信息可以跨越多个隐含层传播，并始终保持信息畅通状态，极大降低了网络复杂度，加速了网络训练过程，同时突破了由网络退化引起的深度限制。

因其通用性与实用性并存，张成成等人(2020)提出了如图 10所示的染色体分类模型。该模型由4个残差子模块组成，每个子模块包含两层1×1卷积层(Lin等，2013)和3×3卷积层。将1 225例受检人员的分裂中期染色体图像纳入数据集，并分为训练集735例、内部验证集245例和外部验证集245例；另取50例染色体图像资料开展人机对抗实验。分类结果显示，模型分类准确率为91.22%。同时，该模型每幅图像测试平均耗时仅需0.06 s，远低于专业医师62.5 s的水准。该方法凭借跳跃连接的思想找最优路径，使分类过程耗时短、效率高，但数据量问题仍未得到有效解决。

图 10 ResNet网络的染色体分类模型(张成成等，2020)

Fig. 10 Chromosome classification model of ResNet network (Zhang et al., 2020)

Sharma等人(2018)为充分挖掘染色体图像中隐藏的条带信息，设计了融合卷积神经网络ResNet-50、循环神经网络(recurrent neural network，RNN)和深度注意机制的染色体分类方法Res-CRANN(residual convolutional recurrent attention neural network)，如图 11所示。具体步骤如下：首先，将标准化后的染色体图像(224×224像素)经由深度卷积神经网络(主干网络为ResNet-50)输出G×H×K的高维特征图；然后，串行RNN模型逐步了解染色体条带序列信息；最后，利用残差网络的优点并通过回归层推断染色体的类别标签(0~23)。Res-CRANN模型主动聚焦染色体深浅交替生成的亮带序列区域范围产生的序列信息，关注常规的深度卷积神经网络忽略的特征，提升了模型对染色体的识别能力，在BiolmLab数据集的分类准确率为91.94%。

图 11 Res-CRANN网络架构图(Sharma等，2018)

Fig. 11 The proposed architecture of Res-CRANN network(Sharma et al., 2018)

对于如何更进一步提升卷积神经网络性能，目前的主流观点是从网络内部结构着手，通过增加网络深度和宽度来实现，但会出现网络训练参数量大幅增加和训练速度降低问题。为解决上述问题，Szegedy等人(2015)从网中网(Lin等，2013)中得到启发，提出了Inception-V1网络结构。与Lin等人(2013)方法类似，Szegedy等人(2017)使用了类似结构，设计并提出了Inception-ResNet网络模型。

Lin等人(2020b)借鉴了Inception-ResNet模型架构，提出一种多注意网络CirNet进行分类，如图 12所示。与传统卷积神经网络不同，该网络以成熟的Inception-ResNet架构作为主干网络，附加深度可分离卷积和卷积核分解等优化策略，并增添了图像增强算法(chromosome data augmentation，CDA)以增强图像特征，同时使用图像自适应接口(image adaptive interface，IAI)将染色体图像规格统一化。CirNet模型多方位了解和推断2 990条染色体，准确率为95.98%，代码和数据集可从GitHub获取。

图 12 CirNet网络的架构图(Lin等，2020b)

Fig. 12 The architeture of CirNet network(Lin et al., 2020b)

He等人(2016)首次提出，Xie等人(2017)开发的批量残差网络ResNeXt体系结构是一种精简但高度模块化的网络体系结构，它执行一组变换，每个变换基于低维嵌入，其输出通过求和进行聚合。Lin等人(2020a)(MixNet)在ResNeXt的基础上提出一种新颖的MixNet框架，如图 13所示。模型可以有效地探测染色体图像的类别信息表征，最终在染色体分类任务中获得了满意的结果。MixNet由双模块构成，染色体编码骨干网络和自适应报头。聚集残差架构构成的染色体编码骨干可以将染色体图像潜在特征通过卷积等方式编码成向量形式，是MixNet的染色体特征编码的核心模块；自适应报头通过最大池化层捕捉图像关键特征，同时利用全局平均池化层捕捉一般特征。在两个不同数据集下分别训练和测试，测试结果表明，MixNet在包含2 990条染色体的临床G带数据集上的分类准确率为(98.73±0.81)%，在包含5 474条染色体的公共Q带数据集上的分类准确率为(96.50±1.87)%，在两个数据集上准确率均超过95%，且仅需少数迭代(训练时间不到1 h)就能使模型结束训练阶段。

图 13 MixNet网络架构图(Lin等，2020a)

Fig. 13 The architeture of MixNet network(Lin et al., 2020a)

上述4种染色体分类研究都是在ResNet网络的基础上改进的模型结构。现有方法常通过各种图像预处理、扩张模型深度和宽度、引入各种优化技术和多模块串行等方法增强算法的鲁棒性和泛化能力，都取得了超过90%的分类效果。孪生网络Siamese最早由Bromley等人(1993)提出，是用来验证支票字迹与银行预留笔迹是否一致的一种方法。在此基础上，涌现出大量针对孪生网络结构的变体模型(Zagoruyko和Komodakis，2015)，更有尝试将其应用于计算机视觉领域(Bertinetto等，2016；Valmadre等，2017)。Swati等人(2017)提出将孪生网络用于染色体图像上的分类算法，使用中轴和众包(straightening via medial axis extraction and crowdsouring，SMAC)以及投影向量(straightening via projection vectors，SPV)的矫正方法来拉直染色体。拉直的染色体输入至由Base-CNN网络组建的孪生网络进行预训练，如图 14所示。

图 14 孪生网络中使用的Base-CNN架构(Swati等，2017)

Fig. 14 The Base-CNN architecture utilized in Siamese network (Swati et al., 2017)

孪生网络等同于连体的神经网络，连体通过共享权值实现。在低维空间下，孪生网络可以拉近同类染色体间的空间距离，拉长不同类别染色体之间的空间距离。由于训练数据量缺乏，该模型在染色体分类任务上的准确率为84.6%。

吕丹丹(2019)将孪生网络应用于染色体图像分类中，采用Multi-Siamese架构进行迁移学习以及增添空间金字塔池化层和多级卷积，如图 15所示。

图 15 Multi-Siamese网络架构(吕丹丹等，2019)

Fig. 15 Multi-Siamese network architecture(Lyu et al., 2019)

Multi-Siamese网络模型引入空间金字塔池化层取代网络末端的池化层，解决了对输入数据固定大小的限制。为全面提取染色体特征，模型采用一种多级卷积特征提取结构，该结构能深层次地提取染色体特征，孪生网络模型精度进一步提升。该方法将提取的大小不同的特征图转换成固定大小的特征向量，送入全连接层形成一维向量，最后根据欧氏距离计算特征向量间的相似度。部分参数设定如下：初始学习率为0.01，最大迭代次数为4×10⁴，动量因子为0.9。在18 400条染色体数据集的准确率为85.32%。

总体来看，基于ResNet网络的染色体分类模型的分类性能在91%以上，而基于Siamese网络的染色体分类模型性能远不如前者。原因可能是残差网络中引入的跳跃连接扩宽了网络模型的深度，使ResNet算法能比孪生网络模型学习到更多的图像细节信息，最终带来了较好的性能结果。

1.3.3 多任务学习的分类模型

多任务学习是一种推导迁移学习方法，主任务使用相关子任务的训练信号提高主任务的泛化性能，其强大的特征学习能力引起研究者关注，并将其应用于染色体分类任务中。

Qin等人(2019)提出Varifocal-Net网络架构，同时执行染色体分类和染色体极性分类两项任务。Varifocal-Net网络架构如图 16所示，包含全局网络(global-scale network，G-Net)和局部网络(local-scale network，L-Net)，并分为3个阶段逐步开展。首先，引入G-Net和L-Net网络分别进行全局和局部尺度的图像特征学习，同时加入残差学习和多任务学习策略促进图像的特征提取，改善分类效果。模型后面附加两个多层感知分类器，以融合多尺度特征信息。最后，模型末端引入核型分析的领域知识和调度策略，得到染色体分类结果。Varifocal-Net模型融入染色体先验知识进行分类，即每一个健康受检者都有46条染色体(男性分为24类，女性分为23类)，异常受检者通常情况下每一类染色体数目在1~3之间(极其罕见的除外)。评估结果显示，Varifocal-Net网络在1 909幅核型图中分割得到的87 831条染色体中，分类准确率为99.2%。

图 16 Varifocal-Net架构图(Qin等，2019)

Fig. 16 The architeture of Varifocal-Net(Qin et al., 2019)

Zhang等人(2021)提出一种融入交错和多任务学习网络的染色体分类架构，如图 17所示。该模型包含3个阶段。第1阶段，改进的HRNet(high resolution network)网络(Sun等，2019)构成的交错网络机制允许网络选择性地增强有用的特征并抑制无用的特征，甚至不仅限于高分辨率特征，从而实现特征的有效学习。第2阶段，将前一阶段学习到的高分辨率特征信息(提供的关键点信息以定位染色体)送至卷积神经子网络进行染色体联合检测，而融合剩余特征信息喂送入多层感知子网络实现染色体类型和极性的分类。最后一个阶段执行拉直染色体的任务。在收集到的32 810条染色体构成的数据集上进行测试，5折交叉验证结果显示，模型的平均分类准确率为98.1%。

图 17 多任务分类架构图(Zhang等，2021)

Fig. 17 Multi-task classification architecture diagram(Zhang et al., 2021)

本文精选并阐述了近5年基于深度学习技术的染色体分类代表性算法，并按照网络设计思路介绍了模型的演变过程，总结了现有染色体分类模型相关细节信息，如表 3所示。

表 3 深度学习下的染色体分类代表性算法
Table 3 Chromosome classification representative algorithm under deep learning

下载CSV

方法	模型	分辨率/像素	数据量	ACC/%
Sharma等人(2017)	Deep CNN	120×120	1 800	86.70
Zhang等人(2018)	Vanilla CNN	120×40	10 304	92.50
Hu等人(2019)	VGGNet	100×220	4 184	93.79
Remya等人(2020)	ChromNet2	64×64	21 423	91.30
李康等人(2020)	Multi-CNN	128×128	5 000	95.60
Sharma等人(2018)	ResNet-50	224×224	5 256	91.94
张成成等人(2020)	ResNet-101	224×224	1 275	91.22
Lin等人(2020b)	CirNet	224×224	2 990	95.98
Lin等人(2020a)	MixNet	224×224	5 474	98.73
Swati等人(2017)	Siamese	60×60	1 740	84.60
吕丹丹(2019)	Multi-Siamese	60×60	18 400	85.32
Qin等人(2019)	Varifocal-Net	-	87 831	99.20
Zhang等人(2021)	多任务网络	-	32 910	98.10
注：“-”表示无法获取。

2 性能评估

2.1 评估使用的数据库

染色体数据库的建立过程如图 18所示，主要包括中期细胞图像数据获取、染色体图像筛选和染色体实例分割获取3个阶段。

图 18 染色体数据库的建立过程

Fig. 18 Chromosome database establishment process

2.1.1 中期细胞图像数据获取

2.1.2 细胞图像筛选

经显微镜获取的中期细胞图像可能存在质量问题，如细胞杂质、噪声和拍摄模糊等，如图 19所示。为此，组织16位广东省妇幼保健院经验丰富的细胞遗传学专家对低质量细胞图像开展人工剔除。最终在图像选择阶段收集到2 795幅高质量的细胞图像。

图 19 带杂质细胞图像示例

Fig. 19 Example of an image of a cell with impurities

2.1.3 染色体实例获取

2.2 参评模型及其环境配置

2.2.1 参与评估的主流模型

为了测试现有染色体分类算法之间的性能，本文在构建的临床数据集上实现并评估现有算法，从表 3中精选出6种主流算法开展评估实验，如表 4所示。

表 4 参与评估的分类算法比较
Table 4 Comparison of classification algorithms participating in the evaluation

下载CSV

方法	模型	准确率
Sharma等人(2017)	Deep CNN	0.867
Zhang等人(2018)	Vanilla CNN	0.925
Hu等人(2019)	CNN	0.937
Remya等人(2020)	ChromNet2	0.913
Lin等人(2020b)	CirNet	0.959
Lin等人(2020a)	MixNet	0.987

2.2.2 实验设置

2.3 实验结果与分析

采用准确率、精确率、召回率和F1分数作为定量评估指标。实验结果如表 5所示。绝对提升是指评估性能与原有方法性能的绝对差值，相对提升是指绝对提升性能数值占原有方法性能数值的比率。具体提升如图 20所示。

表 5 参评模型在构建的数据集上的实验结果
Table 5 Experimental results of existing methods on the proposed dataset

下载CSV

方法	参数量/MB	原有准确率/%	精确率/%	召回率/%	F1分数/%	评估精确率/%	绝对提升/%	相对提升/%
Deep CNN	2.62	86.70	91.66	90.69	91.03	92.09	+5.39	+6.21
Vanilla CNN	31.82	92.50	95.40	94.74	95.02	95.48	+2.98	+3.22
CNN	30.58	93.79	94.33	93.59	93.89	94.70	+0.91	+0.97
ChromNet2	13.02	91.30	95.06	94.62	94.81	95.23	+3.93	+4.30
CirNet	207.3	95.98	98.57	98.21	98.38	98.64	+2.66	+2.77
MixNet	33.11	98.73	98.91	98.71	98.81	98.92	+0.19	+0.19
注：加粗字体表示各列最优结果。

图 20 不同算法的性能提升结果

Fig. 20 Performance improvement results of different algorithms

从表 5可以看出，1)参数量是深度学习分类模型中的一个重要因素，参数量的改变带来的是网络分类效果的巨大变化。对染色体分类任务来说，参数量为2.62 MB的Deep CNN轻量化模型准确率为86.7%，参数量为207.3 MB的CirNet模型的准确率为95.98%，表明参数量与模型分类性能存在一定的相关性，但不包含MixNet模型。2)评价指标的不同选取方式可以客观评估模型的真实效能。参数量为33.11 MB的MixNet模型在精确率(98.91%)、准确率(98.92%)、召回率(98.71%)和F1值(98.81%)等4类分类结果上都取得了最好结果，说明MixNet模型分类稳定性较好。模型性能优劣不取决于参数规模的大小，而取决于网络结构设计过程的合理性与否。通过巧妙设计，在降低网络复杂性的同时，可以在同等条件下提升分类性能。3)所有模型均有不同程度上的性能提升。Deep CNN模型提升幅度最大。在本文选取的数据集上重新评估，Deep CNN网络的识别效果从86.7%提升至92.09%，有效缩短了与其他模型的差距。Lin等人(2020a)提出的基于改进残差神经网络的MixNet的分类精度为98.73%，有0.19%的小幅度提升。

从表 4、表 5和图 20可以看出，深度学习方法非常依赖大数据的学习，训练数据的多少决定了网络模型的效果。大规模临床染色体数据集对于评估现有染色体分类方法的真实性能至关重要。基于本文提出的临床数据集，评估实验能客观了解现有方法的分类水准，并且结果显示所有算法的分类性能都有不同程度上的数值提升，绝对提升幅度为0.19%~5.39%，相对提升幅度为0.19%~6.21%，其中数据集起到了关键性作用。结果表明，本文提出的大规模数据集在各个模型上是有效的。

CirNet和MixNet模型无论是初始性能还是提升后的分类效果都明显好于其他算法模型，上述两种模型的原型都是残差神经网络。运用ResNet模型开展染色体分类研究的相关算法设计可以取得不错效果，原因可能是残差连接能扩宽网络的深度和宽度，增加训练参数量，提高网络的空间复杂度，增强网络结构本身的表达能力，进而得到最为理想的分类水平。此外，大规模染色体数据量缓解了模型过拟合现象的发生。

现有方法评估后最高分类准确率为98.92%，但距高精度的临床应用仍有提升空间。因为1%的精度缺失导致的某个误诊可能使一个生命无辜放弃，因此针对网络结构的改进和大型具有代表性的临床染色体数据库的构建，是染色体分类研究在很长一段时间需要解决的重点问题。

3 结论

参考文献

Abid F, Hamami L. 2018. A survey of neural network based automated systems for human chromosome classification. Artificial Intelligence Review, 49(1): 41-56 [DOI:10.1007/s10462-016-9515-5]
Bertinetto L, Valmadre J, Henriques J F, Vedaldi A and Torr P H S. 2016. Fully-convolutional Siamese networks for object tracking//Proceedings of 2016 European Conference on Computer Vision. Amsterdam, the Netherlands: Springer: 850-865[DOI: 10.1007/978-3-319-48881-3_56]
Bromley J, Bentz J W, Bottou L, Guyon I, Lecun Y, Moore C, Säckinger E, Shah R. 1993. Signature verification using a "Siamese" time delay neural network. International Journal of Pattern Recognition and Artificial Intelligence, 7(4): 669-688 [DOI:10.1142/S0218001493000339]
Deng J, Dong W, Socher R, Li L J, Li K and Li F F. 2009. ImageNet: a large-scale hierarchical image database//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, USA: IEEE: 248-255[DOI: 10.1109/cvpr.2009.5206848]
Grisan E, Poletti E, Ruggeri A. 2009. Automatic segmentation and disentangling of chromosomes in Q-band prometaphase images. IEEE Transactions on Information Technology in Biomedicine, 13(4): 575-581 [DOI:10.1109/TITB.2009.2014464]
He K M, Gkioxari G, Dollár P and Girshick R. 2017. Mask R-CNN//Proceedings of 2017 IEEE International Conference on Computer Vision. Venice, Italy: IEEE: 2980-2988[DOI: 10.1109/ICCV.2017.322]
He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 770-778[DOI: 10.1109/CVPR.2016.90]
Hu X, Yi W L, Jiang L, Wu S J, Zhang Y, Du J Q, Ma T Y, Wang T, Wu X M. 2019. Classification of metaphase chromosomes using deep convolutional neural network. Journal of Computational Biology, 26(5): 473-484 [DOI:10.1089/cmb.2018.0212]
Jin X, Wen K, Lyu G F, Shi J, Chi M X, Wu Z, An H. 2020. Survey on the applications of deep learning to histopathology. Journal of Image and Graphics, 25(10): 1982-1993 (金旭, 文可, 吕国锋, 石军, 迟孟贤, 武铮, 安虹. 2020. 深度学习在组织病理学中的应用综述. 中国图象图形学报, 25(10): 1982-1993) [DOI:10.11834/jig.200460]
Jindal S, Gupta G, Yadav M, Sharma M and Vig L. 2017. Siamese networks for chromosome classification//Proceedings of 2017 IEEE International Conference on Computer Vision Workshops. [s. l. ]: IEEE: 72-81
Khan S, DSouza A, Sanches J and Ventura R. 2012. Geometric correction of deformed chromosomes for automatic karyotyping//Proceedings of 2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Diego, USA: IEEE: 4438-4441[DOI: 10.1109/EMBC.2012.6346951]
Kiruthika P, Jayanthi K B and Nirmala M. 2018. Classification of metaphase chromosomes using deep learning neural network//Proceedings of the 4th International Conference on Frontiers of Signal Processing. Poitiers, France: IEEE: 110-114[DOI: 10.1109/ICFSP.2018.8552042]
Kubola K and Wayalun P. 2018. Automatic determination of the G-band chromosomes number based on geometric features//Proceedings of the 15th International Joint Conference on Computer Science and Software Engineering. Nakhonpathom, Thailand: IEEE: 1-5[DOI: 10.1109/JCSSE.2018.8457330]
Lecun Y, Bottou L, Bengio Y, Haffner P. 1998. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11): 2278-2324 [DOI:10.1109/5.726791]
Li K, Xie N, Li X, Tan K. 2020. Statistical karyotype analysis using CNN and geometric optimization. Journal of Nanjing University (Natural Science), 56(1): 116-124 (李康, 谢宁, 李旭, 谭凯. 2020. 基于卷积神经网络和几何优化的统计染色体核型分析方法. 南京大学学报(自然科学), 56(1): 116-124) [DOI:10.13232/j.cnki.jnju.2020.01.013]
Lin C C, Zhao G A, Yin A H, Guo L, Chen H B and Zhao L. 2020a. MixNet: a better promising approach for chromosome classification based on aggregated residual architecture//Proceedings of 2020 International Conference on Computer Vision, Image and Deep Learning. Chongqing, China: IEEE: 313-318[DOI: 10.1109/CVIDL51233.2020.00-79]
Lin C C, Zhao G S, Yang Z R, Yin A H, Wang X M, Guo L, Chen H B, Ma Z H, Zhao L, Luo H Y, Wang T X, Ding B C, Pang X W, Chen Q R. 2020b. CIR-Net: automatic classification of human chromosome based on inception-resnet architecture. IEEE/ACM Transactions on Computational Biology and Bioinformatics, 19(3): 1285-1293 [DOI:10.1109/TCBB.2020.3003445]
Lin C C, Zhao G S, Yin A H, Ding B C, Guo L, Chen H B. 2020. AS-PANet: a chromosome instance segmentation method based on improved path aggregation network architecture. Journal of Image and Graphics, 25(10): 2271-2280 (林成创, 赵淦森, 尹爱华, 丁笔超, 郭莉, 陈汉彪. 2020. AS-PANet: 改进路径增强网络的重叠染色体实例分割. 中国图象图形学报, 25(10): 2271-2280) [DOI:10.11834/JIG.200236]
Lin M, Chen Q and Yan S C. 2013. Network in network[EB/OL]. [2021-07-01]. https://arxiv.org/pdf/1312.4400.pdf
Lyu D D. 2019. Research on automatic segmentation arrangement and abnormal diagnosis of human chromosome images. Hangzhou: Zhejiang Sci-Tech University (吕丹丹. 2019. 人染色体图像自动分割排列与异常诊断研究. 杭州: 浙江理工大学[DOI: 10.27786/d.cnki.gzjlg.2019.000206])
McGowan-Jordan J, Simons A and Schmid M. 2016. ISCN 2016: An International System for Human Cytogenomic Nomenclature (2016). New York, USA: S. Karger[DOI: 10.1159/isbn.978-3-318-06861-0]
Moradi M, Setarehdan S K and Ghaffari S R. 2003. Automatic landmark detection on chromosomes' images for feature extraction purposes//The 3rd International Symposium on Image and Signal Processing and Analysis. Rome, Italy: IEEE: 567-570[DOI: 10.1109/ISPA.2003.1296960]
Oskouei B C and Shanbehzadeh J. 2010. Chromosome classification based on wavelet neural network//Proceedings of 2010 International Conference on Digital Image Computing: Techniques and Applications. Sydney, Australia: IEEE: 605-610[DOI: 10.1109/DICTA.2010.107]
Paszke A, Gross S, Chintala S, Chanan G, Yang E, DeVito Z, Lin Z M, Desmaison A, Antiga L and Lerer A. 2017. Automatic differentiation in PyTorch//Proceeding of the 31st Conference on Neural Information Processing Systems. Long Beach, USA: [s. n.]
Pedregosa F, Varoquaux G, Gramfort A, Michel V, Thirion B, Grisel O, Blondel M, Prettenhofer P, Weiss R, Dubourg V, Vanderplas J, Passos A, Cournapeau D, Brucher M, Perrot M, Duchesnay É. 2011. Scikit-learn: machine learning in Python. The Journal of Machine Learning Research, 12: 2825-2830
Poletti E, Grisan E and Ruggeri A. 2008. Automatic classification of chromosomes in Q-band images//Proceedings of the 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Vancouver, Canada: IEEE: 1911-1914[DOI: 10.1109/IEMBS.2008.4649560]
Poletti E, Ruggeri A and Grisan E. 2011. An improved classification scheme for chromosomes with missing data//Proceedings of 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Boston, USA: IEEE: 5072-5075[DOI: 10.1109/IEMBS.2011.6091256]
Popescu M, Gader P, Keller J, Klein C, Stanley J, Caldwell C. 1999. Automatic karyotyping of metaphase cells with overlapping chromosomes. Computers in Biology and Medicine, 29(1): 61-82 [DOI:10.1016/S0010-4825(98)00040-7]
Qin Y L, Wen J, Zheng H, Huang X L, Yang J, Song N, Zhu Y M, Wu L Q, Yang G Z. 2019. Varifocal-Net: a chromosome classification approach using deep convolutional networks. IEEE Transactions on Medical Imaging, 38(11): 2569-2581 [DOI:10.1109/TMI.2019.2905841]
Remya R S, Hariharan S, Vinod V, Fernandez D J W, Ajmal N M and Gopakumar C. 2020. A comprehensive study on convolutional neural networks for chromosome classification//Proceedings of 2020 Advanced Computing and Communication Technologies for High Performance Applications. Cochin, India: IEEE: 287-292[DOI: 10.1109/ACCTHPA49271.2020.9213238]
Rungruangbaiyok S, Phukpattaranont P. 2010. Chromosome image classification using a two-step probabilistic neural network. Songklanakarin Journal of Science and Technology, 32(3): 255-262
Shaffer L G, McGowan-Jordan J and Schmid M. 2013. ISCN 2013: an international system for human cytogenetic nomenclature(2013). Karger Medical and Scientific Publishers
Sharma M, Saha O, Sriraman A, Hebbalaguppe R, Vig L and Karande S. 2017. Crowdsourcing for chromosome segmentation and deep classification//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu, USA: IEEE: 786-793[DOI: 10.1109/CVPRW.2017.109]
Sharma M, Swati and Vig L. 2018. Automatic chromosome classification using deep attention based sequence learning of chromosome bands//Proceedings of 2018 International Joint Conference on Neural Networks. Rio de Janeiro, Brazil: IEEE: 1-8[DOI: 10.1109/IJCNN.2018.8489321]
Simonyan K and Zisserman A. 2015. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2021-07-01]. https://arxiv.org/pdf/1409.1556.pdf
Smith L N. 2018. A disciplined approach to neural network hyper-parameters: part 1——learning rate, batch size, momentum, and weight decay[EB/OL]. [2021-07-01]. https://arxiv.org/pdf/1803.09820.pdf
Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. 2014. Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, 15(1): 1929-1958
Sun K, Xiao B, Liu D and Wang J D. 2019. Deep high-resolution representation learning for human pose estimation//Proceedings of 2919 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, USA: IEEE: 5686-5696[DOI: 10.1109/CVPR.2019.00584]
Swati, Gupta G, Yadav M, Sharma M and Vig L. 2017. Siamese networks for chromosome classification//Proceedings of 2017 IEEE International Conference on Computer Vision Workshops. Venice, Italy: IEEE: 72-81[DOI: 10.1109/ICCVW.2017.17]
Szegedy C, Ioffe S, Vanhoucke V and Alemi A A. 2017. Inception-v4, inception-resnet and the impact of residual connections on learning//Proceedings of the 31st AAAI Conference on Artificial Intelligence. San Francisco, USA: AAAI Press: 4278-4284
Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 1-9[DOI: 10.1109/cvpr.2015.7298594]
Szegedy C, Vanhoucke V, Ioffe S, Shlens J and Wojna Z. 2016. Rethinking the inception architecture for computer vision//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, USA: IEEE: 2818-2826[DOI: 10.1109/CVPR.2016.308]
Tian J X, Liu G C, Gu S S, Ju Z J, Liu J G, Gu D D. 2018. Deep learning in medical image analysis and its challenges. Acta Automatica Sinica, 44(3): 401-424 (田娟秀, 刘国才, 谷珊珊, 鞠忠建, 刘劲光, 顾冬冬. 2018. 医学图像分析深度学习方法研究与挑战. 自动化学报, 44(3): 401-424) [DOI:10.16383/j.aas.2018.c170153]
Valmadre J, Bertinetto L, Henriques J, Vedaldi A and Torr P H S. 2017. End-to-end representation learning for correlation filter based tracking//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 5000-5008[DOI: 10.1109/CVPR.2017.531]
Xie S N, Girshick R, Dollár P, Tu Z W and He K M. 2017. Aggregated residual transformations for deep neural networks//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, USA: IEEE: 5987-5995[DOI: 10.1109/CVPR.2017.634]
Zagoruyko S and Komodakis N. 2015. Learning to compare image patches via convolutional neural networks//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, USA: IEEE: 4353-4361[DOI: 10.1109/CVPR.2015.7299064]
Zeiler M D and Fergus R. 2014. Visualizing and understanding convolutional networks//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer: 818-833[DOI: 10.1007/978-3-319-10590-1_53]
Zhang C C, Song J P, Xu S Q, Li H, Xu R H, Wang X Y, Zhang L, You Q J, Zhang K, Lin H T. 2020. Application research on classification of metaphase chromosomes based on deep convolutional neural networks. Chinese Journal of New Clinical Medicine, 13(2): 123-126 (张成成, 宋婕萍, 徐淑琴, 李卉, 徐闰红, 王小艳, 张立, 游齐靖, 张凯, 林浩添. 2020. 基于深度卷积神经网络对中期染色体分类的应用研究. 中国临床新医学, 13(2): 123-126) [DOI:10.3969/j.issn.1674-3806.2020.02.04]
Zhang J P, Hu W J, Li S Y, Wen Y F, Bao Y, Huang H F, Xu C M, Qian D H. 2021. Chromosome classification and straightening based on an interleaved and multi-task network. IEEE Journal of Biomedical and Health Informatics, 25(8): 3240-3251 [DOI:10.1109/JBHI.2021.3062234]
Zhang W B, Song S F, Bai T M, Zhao Y X, Ma F, Su J L and Yu L M. 2018. Chromosome classification with convolutional neural network based deep learning//Proceedings of the 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics. Beijing, China: IEEE: 1-5[DOI: 10.1109/CISP-BMEI.2018.8633228]
Zhou X Y, Guan W J, Ma Y H, Liu G L. 2004. Chromosome banding technology and its significance in biological research. Shanghai Journal of Animal Husbandry and Veterinary Medicine, (5): 2-3 (周雪雁, 关伟军, 马月辉, 刘桂林. 2004. 染色体显带技术及其在生物学研究中的意义. 上海畜牧兽医通讯, (5): 2-3) [DOI:10.3969/j.issn.1000-7725.2004.05.001]