发布时间: 2020-10-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200460
2020 | Volume 25 | Number 10

综述

深度学习在组织病理学中的应用综述

金旭, 文可, 吕国锋, 石军, 迟孟贤, 武铮, 安虹

中国科学技术大学计算机科学与技术学院, 合肥 230026

收稿日期: 2020-07-30; 修回日期: 2020-08-20; 预印本日期: 2020-08-27

基金项目: 国家重点研发计划项目（2016YFB1000403）；中央高校基本科研业务费专项资金资助

第一作者简介: 金旭, 1992年生, 男, 博士研究生, 主要研究方向为数字病理学与机器视觉。E-mail:jinxu@mail.ustc.edu.cn;
文可, 男, 博士研究生, 主要研究方向为数字病理学与机器视觉。E-mail:wenke51@mail.ustc.edu.cn;
吕国锋, 男, 硕士研究生, 主要研究方向为数字病理学与深度学习系统。E-mail:lvguofeng@mail.ustc.edu.cn;
石军, 男, 博士研究生, 主要研究方向为医学图像认知计算与深度学习。E-mail:shijun18@mail.ustc.edu.cn;
迟孟贤, 男, 博士研究生, 主要研究方向为深度学习算法与系统。E-mail:mxchi10@mail.ustc.edu.cn;
武铮, 男, 博士研究生, 主要研究方向为并行计算与深度学习系统。E-mail:zhengwu@mail.ustc.edu.cn.

中图法分类号: TP391.4

文献标识码: A

文章编号: 1006-8961(2020)10-1982-12

摘要

组织病理学是临床上肿瘤诊断的金标准，直接关系到治疗的开展与预后的评估。来自临床的需求为组织病理诊断提出了质量与效率两个方面的挑战。组织病理诊断涉及大量繁重的病理切片判读任务，高度依赖医生的经验，但病理医生的培养周期长，人才储备缺口巨大，病理科室普遍超负荷工作。近年来出现的基于深度学习的组织病理辅助诊断方法可以帮助医生提高诊断工作的精度与速度，缓解病理诊断资源不足的问题，引起了研究人员的广泛关注。本文初步综述深度学习方法在组织病理学中的相关研究工作。介绍了组织病理诊断的医学背景，整理了组织病理学领域的主要数据集，重点介绍倍受关注的乳腺癌、淋巴结转移癌、结肠癌的病理数据及其分析任务。本文归纳了数据的存储与处理、模型的设计与优化以及小样本与弱标注学习这3项需要解决的技术问题。围绕这些问题，本文介绍了包括数据存储、数据预处理、分类模型、分割模型、迁移学习和多示例学习等相关研究工作。最后总结了面向组织病理学诊断的深度学习方法研究现状，并指出当下研究工作可能的改进方向。

关键词

组织病理学; 深度学习; 卷积神经网络; 迁移学习; 多示例学习

Survey on the applications of deep learning to histopathology

Jin Xu, Wen Ke, Lyu Guofeng, Shi Jun, Chi Mengxian, Wu Zheng, An Hong

School of Computer Science and Technology, University of Science and Technology of China, Hefei 230026, China

Supported by: National Key Research and Development Program of China(2016YFB1000403); Fundamental Research Funds for the Central Universities

Abstract

Histopathology is the gold standard for the clinical diagnosis of tumors and directly related to clinical treatment and prognosis. Its application inclinics has presented challenges in terms of the accuracy and efficiency of histopathological diagnosis, and pathological diagnosis is time consuming and requires pathologists to examine slides with a microscope for them to make reliable decisions. Moreover, the training period of a pathologist is long. In many parts of China, pathology departments are generally overworked due to the insufficient number of pathologists. Recently, deep learning has achieved great success in computer vision. The utilization of whole slide scanners enables the application of deep learning-based classification and segmentation methods to histopathological diagnosis, thereby improving efficiency and accuracy. In this paper, we first introduce the medical background of histopathology diagnosis. Then, we provide an overview of the primary datasets of histopathological diagnosis. We focus on introducing the datasets of three types of malignant tumors along with corresponding computer vision tasks. Breast cancer forms in the cells of breasts and is one of the most common cancer diagnosed in women. Early diagnosis can significantly improve survival rate and quality of life. Sentinel lymph node metastasis are visible when a cancer spreads. The diagnosis of lymph node metastasis is directly related to cancer staging and surgical plan decision. Colon cancer can be detected by colonoscopy biopsy, and early diagnosis requires pathologists to examine slides thoroughly for small malignancies.Computer-aided diagnosis can increase the efficiency of pathologists. Moreover, we propose three key technical problems: data storage and processing, model design and improvement, and learning with small amount or weakly labeled data. Then we review research progress related to tasks, including data preprocessing, classification, and segmentation and transfer learning and multiple instance learning. Pathology datasets are usually stored in a pyramidal tiled image format for fast loading and rescaling. The OpenSlide library provides high-performance pathology data reading, and the open-source softwareautomated slide analysis platform (ASAP) can be used in viewing and labeling these data. Trimming white backgrounds can reduce storage and calculation overhead to 82% on mainstream datasets. A stain normalization technology can eliminate color difference caused by slide production and scanning process. The classification of pathological image patches is the basic structure of whole slide classification and the backbone network of segmentation. Mainstream convolutional neural network models in the field of computer vision, including AlexNet, visual geometry group(VGG), GoogLeNet, and residual neural networks can reach satisfying results for pathological image patches. The patch sampling method can divide a whole slide image into smaller patches that can be processed by the mainstream convolutional neural network models. By aggregating the features of sampled patches through random forest or voting, a patch sampling method can be used in classifying or segmenting arbitrarily sized images. A migration learning technology based on neural network models pretrained on an ImageNet dataset is effective in alleviating the problem introduced by the small number of training samples in histopathological data. Fully convolutional network (FCN) represented by U-Net is a network designed for medical image segmentation tasks and are faster than convolutional neural networks with patch sampling methods. To utilize weakly labeled data, multiple instance learning (MIL) treats whole slide image as a bag of unlabeled pathological image patches. With bags labeled, MIL can be used for weakly supervised learning. Finally, this paper summarizes the main works surveyed and identifies challenges for future research. To make deep learning-based computer aided diagnosis clinically practical, researchers have to improve model accuracy, expand clinical application scenarios, and improve the interpretability of results.

Key words

histopathology; deep learning; convolutional neural network; transfer learning; multiple instance learning

0 引言

组织病理学(histopathology)是指病理专家在显微镜下观察研究组织切片的科学，被认为是临床上肿瘤诊断的金标准(Nature, 2017)。组织病理学的研究对象是组织切片，通常是手术或活检中收集的组织样品，通过固定、包埋、切片和染色等步骤制成几微米厚的薄片组织，附着于载玻片上。病理医生通过显微镜观察这些切片以作出诊断。这些诊断高度依赖医生的经验。染色是制备组织切片的重要步骤，不同的染色剂可以显示不同的细胞和组织结构。苏木精和伊红(hematoxylin and eosin, H&E)染色剂可以在细胞核和细胞质上染出强烈的颜色对比，是使用最广泛的染色试剂，可以应用于许多不同的组织类型。此外，还有以免疫组织化学技术(immunohistochemistry，IHC)为主的特殊染色技术，通常简称为免疫组化，是利用抗原与抗体特异性结合的原理来检测组织中的一些特定的肽或者蛋白质。

组织病理学的临床诊断工作责任重大，诊断的准确性与临床科室的诊疗质量直接挂钩。病理医生需要熟练地根据组织形态学特征，给出疾病的良恶性分类、肿瘤的分型与分级，并结合血管、淋巴管和神经的侵犯与淋巴结转移等指标判断肿瘤的分期。对于部分复杂的病例，还需要结合免疫组化等手段来给出明确的诊断。

通常情况下，每位患者的送检标本可能包含几张到几十张的切片，逐个分析后才可以给出该患者的病理诊断报告。根据病例的复杂程度，这个分析过程可能耗时几十分钟到几天不等。每组病理医生每天分析病理切片的数量约为400张。

在外科手术中，为了判断已切除组织的性质，并决定进一步手术的范围，需要病理医生快速给出诊断报告。冰冻切片(cryosection)技术使用专门的冰冻切片机在低温下对组织进行切片，跳过传统的石蜡制片流程，有效地节约了制片时间。典型的一台淋巴结清扫术可能会给出上百张冰冻切片，这些切片一般需要在30 min之内给出诊断报告。在时间有限的情况下进行精准的判断，同时考验医生的技术水平与心理素质。

培养一名优秀的病理医生需要十万张以上阅片经验的积累，至2018年，我国有执照的病理医生仅有1万余人，缺口达90 % (卞修武和平轶芳，2019)。病理科人才极度短缺以及超负荷工作的现状，远远无法满足临床患者对病理诊断工作精准高效的需求。

近年来，深度学习方法推动计算机视觉领域取得了巨大的成功。随着显微摄影和全切片扫描技术的发展，病理切片能以数字图像的形式保存下来，使得计算机视觉方法可以用于病理领域。一些基于深度学习的组织病理辅助诊断方法涌现出来，这些方法能够辅助病理医生的诊断工作，解决临床病理诊断中耗时费力的问题与疏漏的隐患，改善病理诊断的效率和质量，缓解病理诊断资源不足的困境。

本文尝试综述深度学习方法在组织病理学中的应用研究现状。首先以数据和任务为主线介绍组织病理学研究工作中的临床热点需求，得出深度学习在组织病理诊断中应用的主要挑战。其次从方法与模型层面阐述相关研究工作如何面向这些挑战给出解决方案。最后本文对相关工作进行总结，并给出未来研究的趋势与展望。

1 组织病理分析的热点问题与挑战

病理医生通常使用光学显微镜在镜下观察切片，光学显微镜一般可以分辨尺度为0.2 μm左右的组织结构。新兴的切片数字化技术通过自动显微镜和光学放大系统扫描出病理切片的高分辨率数字化图像，即全切片图像(whole slide image，WSI)。许多医院的病理科已经将切片数字化工作整合进入日常工作流，替代使用传统显微镜阅片的形式，开展基于互联网的远程病理会诊和数字存档。

随着数字病理的应用，许多医院与科研机构积累了丰富的数字化切片数据集，这些数据集可以用来训练基于人工智能(artifical intelligence, AI)的病变区域量化分析算法，提高组织病理诊断工作的效率、准确率和可重复性。

本节介绍主流的组织病理学数据集及在其上开展的数字病理分析任务。重点介绍了极受关注的乳腺癌、淋巴结转移癌、结肠癌的病理切片数据集及其分析任务。总结深度学习在组织病理诊断应用中要解决的主要问题与挑战。

1.1 主要的病理数据集及其分析任务

癌症基因组图谱(the cancer genome atlas，TCGA)是一项始于2005年的项目，由美国国家癌症研究所管理。TCGA数据集包括了33种癌症的基因组、蛋白质以及组织病理学的数据(TCGA，2006)。TCGA数据集的规模巨大，但是缺少细粒度的标注，研究人员往往需要自行标注数据。

随着数字病理学研究工作的发展，越来越多的医学机构都发布数据集以推动自动诊断的方法在相应领域的应用。表 1整理了部分主流的组织病理学数据集。这些数据集大多伴随着挑战赛发布。

表 1 部分主流的组织病理学数据集
Table 1 Commonly used histopathology datasets

下载CSV

数据集	年份	组织	模态	视觉任务
Bioimaging	2015	乳腺	H&E	分类
Bioimaging	2016	乳腺	H&E	分类
BACH	2018	乳腺	H&E	分类、分割
HER2-Scoring	2016	乳腺	IHC	分类
Camelyon16	2016	乳腺癌的前哨淋巴结	H&E	分类、分割
Camelyon17	2017	乳腺癌的前哨淋巴结	H&E	分类
Patch-Camelyon	2018	乳腺癌的前哨淋巴结	H&E	分类
GlaS	2015	结肠	H&E	分割、分类
CRC-HE	2018	结肠	H&E	分类
DigestPath	2019	结肠	H&E	分类、分割
MICCAI-2014-Brain	2014	脑	H&E	分类
ACDC-@LUNGHP	2019	肺	H&E	分类、分割
TCGA	2005	多种	多种	多种(需自行标注)

2014年国际医学图像计算和计算机辅助干预协会(Medical Image Cormputing and Computer Assisted Intervention Society, MICCAI)举办了脑肿瘤数字病理挑战赛(MICCAI，2014)，公布了30张高分辨率的H&E染色切片。从2015年至2019年，多个数据集都在关注乳腺癌及其前哨淋巴结的转移，此外，结肠组织的数据集也吸引了众多研究者的关注。2019年国际生物医学成像研讨会(International Symposium on Biomedical Imaging, ISBI)举办了肺癌的自动检测与分类挑战赛ACDC@LUNGHP(automatic cancer detection and classification in whole-slide lung histopathology)，发布了包括150张像素级标注的H&E染色切片。

下面重点介绍乳腺癌、淋巴结转移癌与结肠癌的病理数据集。

1.2 乳腺癌的组织病理数据集

乳腺癌是20岁至59岁的妇女因癌症死亡的首要原因，早期的筛查和治疗可以明显降低发病率，有效控制疾病进展。临床上通常使用超声和钼靶X射线进行影像学的诊断，并对存疑的恶性组织进行穿刺活检。穿刺活检得到的组织一般使用苏木精和伊红(H&E)染色，病理医生需要在镜下分辨出4种类型的组织：正常组织(normal)、良性病变(benign)、原位癌(in situ carcinoma)和浸润性癌(invasive carcinoma)。乳腺癌的组织病理切片诊断的相关研究工作开展较早，得到了业界的广泛关注，由此积累了较多高质量的数据集。

Araújo等人(2015)在2015年生物成像应用研讨会(Bioimaging 2015)上发布了乳腺组织数据集，该数据集包括140张H&E染色的乳腺组织病理镜下图像(microscopy image)，切片以200倍放大扫描为2 048×1 536像素的位图，每个像素对应0.42 μm×0.42 μm的组织，每幅镜下图像有一个标签，分为正常组织、良性病变、原位癌和浸润性癌4类之一。

Aresta等人(2019)继续丰富了Bioimaging 2015数据集，发布了BACH(BreAst cancer histology)数据集。该数据集除了包括400幅和Bioimaging 2015同样规格的乳腺组织镜下图像以外，还有另外的30幅大小约为50 000×50 000像素的全切片图像。这些全切片图像对良性病变、原位癌和浸润性癌3种组织进行了像素级的标注。

Spanhol等人(2016)发布的BreakHis(breast cancer histopathological database)数据集包含了来自82位患者的7 909幅乳腺组织病理图像。BreakHis对乳腺的病变给出了细粒度的临床分型标注信息，包括良性病变中的乳腺病(adenosis, A)、纤维腺瘤(fibroadenoma, F)、叶状瘤(phyllodes tumor, PT)、管状腺瘤(tubular adenoma, TA)，以及恶性病变中的导管癌(ductal carcinoma, DC)、小叶癌(lobular carcinoma, LC)，黏液癌(mucinous carcinoma, MC)和乳头状癌(papillary carcinoma, PC)。这让BreakHis数据集不仅能推进良恶性二分类算法研究，还可以推进临床意义更重大的病理分型算法(多分类)研究。

除了常见的H&E染色切片，人工智能还可以辅助免疫组化切片的诊断。人类表皮生长因子受体2 (human epidermal growth factor receptor 2，HER2)是细胞膜表面的受体酪氨酸激酶，其对应的基因在乳腺癌细胞中常见过度表达。HER2的表达水平被视为影响乳腺癌预后的重要因素。通过免疫组织化学技术，在专一识别HER2的抗体上结合特殊的显色剂，可以将组织病理切片中的HER2阳性细胞染色，在临床诊断中，病理学家通过目视观察给出HER2表达水平的评分。Qaiser等人(2018)发布的HER2评分数据集，包括100幅尺寸约为100 000×80 000像素的乳腺HER2免疫组化全切片图像，以及对应的HER2表达水平评分。

1.3 乳腺癌的前哨淋巴结数据集

淋巴循环是人体重要的体液循环途径之一。淋巴循环的载体是淋巴液，淋巴液要经过众多淋巴结，后者起到过滤作用。淋巴循环遍布全身，这为癌细胞扩散和转移提供了便利条件。以乳腺癌来说，如果发生淋巴结转移，第一个目的地就是腋下淋巴结，后者被称为乳腺癌的前哨淋巴结。淋巴结转移受累(metastatic involvement)与否是乳腺癌中最重要的预后变量之一(Bejnordi等，2017)。诊断淋巴结转移需要病理医生细致地观察整张切片，寻找其中可能的微观或者宏观转移，这是非常烦琐耗时的工作。

ISBI在2016年和2017年举办了两届Camelyon挑战赛(Bejnordi等，2017)，发布了丰富的数据集，以鼓励相关研究。

数据集包括了来自5个医学研究中心的共计200位患者的1 000幅全片图像。每幅图像都有其转移区域的像素级标注，同时每位患者都有其病理性N分期(pathologic N-stage)的诊断。

Veeling等人(2018)基于Camelyon数据集构建了PatchCamelyon数据集，该数据集包括了327 680幅96×96像素大小的图像，每幅图像对应了其是否包含转移的二分类标签。该数据集适合于训练分类、分割等任务中的骨干网络。

1.4 结肠组织病理数据集

结肠镜检查是筛查结肠癌的有效方法，对于内镜下看到的息肉和增生组织，需要通过病理活检来明确性质。病理学家需要从大量的切片中找到包含早期病变的微小的组织，这是一项耗时且费力的工作。

结肠腺体的结构和形态是病理学家诊断结肠癌的重要标准，Sirinukunwattana等人(2017)发布了结肠组织的腺体分割挑战GlaS(gland segmentation challenge)，并公布了165幅H&E染色的结肠腺体组织的镜下图像数据集(Sirinukunwattana等，2017)，图像的平均大小为500×700像素左右，每个像素对应0.62 μm×0.62 μm的组织。病理学家对图像中的腺体给出了边界的标注，并给出了腺体的良恶性分类，这项挑战的任务是训练结肠腺体的分割和良恶性诊断的人工智能算法。

Kather等人(2018)发布了CRC-HE(Colorectal Cancer with Hematoxylin & Eosin stained)数据集，包括了10万幅224×224像素的H&E染色病理图像分块(Kather等，2018)，分块中的每个像素对应0.5 μm×0.5 μm的组织。数据集包括了结肠切片中常见的脂肪(adipose，ADI)，背景(background，BACK)，碎片(debris，DEB)，淋巴细胞(lymphocytes，LYM)，黏液(mucus，MUC)，平滑肌(smooth muscle，MUS)，正常结肠黏膜(normal colon mucosa，NORM)，癌症相关基质(cancer-associated stroma，STR)，大肠腺癌上皮(colorectal adenocarcinoma epithelium，TUM)共计9种不同类型的组织的细粒度分类。这些病理图像采集自德国海德堡的两所医学研究中心，为了消除不同数据来源的切片在制片、扫描等过程中的色差，所有图像都已经按照Macenko等人(2009)的方法做了染色标准化。

SenseTime(2019)提出了一项针对结肠镜自动组织分割和筛选的挑战任务，旨在对镜下组织进行自动的良恶性分类和病变区域分割。其发布的DigestPath数据集(Li等，2019)包括了660张平均大小为5 000×5 000像素的组织病理切片，所有的切片都使用H&E染色。按照WHO(World Health Organization)的分类标准，病理学家将高级上皮内瘤变和腺癌视为恶性，以此给出切片的良恶性分类，对于恶性切片，还会给出恶性区域的像素级标注。这些数据采集于多个包括发展中国家(地区)的医疗中心，所以不同的图像之间存在色差，也给研究工作带来挑战。

1.5 关键技术问题与挑战

计算机辅助诊断的长期目标是能够实际应用于临床。尽管来自临床病理诊断工作的需求各异，病种具有多样性，但其本质上都可以对应到分类与分割两项主要的视觉任务。设计准确的图像分类模型与高精度的图像分割模型是解决临床问题的基本要求。通用机器视觉领域经过检验的方法可以帮助数字病理图像的分析与处理，但病理学科特有的性质给研究工作带来了不一样的挑战，主要体现在以下几个方面。

1.5.1 数据的存储与处理

数字病理全切片图像包含了从组织到细胞层面丰富而详尽的信息。典型的全切片图像约为50 000×50 000像素，相当于仅一张全切片就包含了10 GB的未压缩像素数据，当前业界先进的Leica、Philips等病理扫描设备能够以0.25 μm的像素分辨率扫描2×3英寸的载玻片，获得的全片数字化图像可达到200 000×300 000像素，其一张全切片的未压缩像素原始数据高达240 GB。以美国纪念斯隆凯特琳癌症中心(Memorial Sloan Kettering Cancer Center, MSKCC)为例，每年新产生约100万张病理切片，全部数字化后将产生1~24 EB(10¹⁸量级)的原始数据。这为数据的存储与加载提出了巨大挑战。

由于手工制片过程的误差以及染色剂、扫描仪的不同，来自不同医疗机构的数据，甚至来自同一个医疗机构的不同批次的数据，都有可能存在颜色的差异，会给深度学习模型的训练带来额外的噪声，设计能在消除色差的同时尽可能保留原始图像信息的算法，对于模型效果的提升有着重要意义。

1.5.2 模型的设计与优化

基于深度学习的主流计算机视觉模型对于日常应用中的分类、分割等任务都可以取得良好的效果，但数字病理全切片图像尺寸巨大，无法直接应用这些模型进行分析。在实践中，面向病理应用特征，设计针对性的模型与算法，将病理图像的大规模问题转化为可以利用主流计算机视觉模型解决的小规模问题，再通过合适的方案将小规模问题的结果汇总得出大规模问题的解，是一项重要的挑战。

随着计算机视觉领域研究工作的发展，主流视觉模型的精度已经可以适用于日常应用，但病理学的临床应用责任重大，对精度有着更高的要求。设计更高精度的模型以更好地辅助临床应用，同样是这个领域研究工作面临的挑战。更复杂的模型有着相对更高的学习能力，能够学习到数据中深层而抽象的关系，但复杂的模型并不一定就能取得好的效果，设计出好的模型，需要大量的经验积累与丰富的测试实验。

1.5.3 小样本与弱标注训练

深度学习需要大量的训练数据，但目前病理领域的数据集样本数相比计算机视觉领域的通用数据集仍然很小。利用海量的通用图像数据集来改善病理领域的样本数量少的问题，有着明显的研究价值。

因为病理数据的标注工作知识门槛高，且全切片图像尺寸巨大，标记工作相当费时，许多医院与科研机构都有大量的粗粒度数据，这些数据一般有临床上诊断的标签分类，但是缺少具体病变区域的像素级标注，如果能利用这些数据，将会极大地丰富数据的多样性。

2 组织病理诊断的研究现状

本节从方法与模型层面阐述相关研究工作是如何解决这些挑战性问题的。首先介绍病理全切片图像的数据存储与处理。然后围绕分类和分割两个核心应用需求介绍相关研究工作。

2.1 数据的准备

深度学习离不开数据，病理领域的数据有着特殊的性质。本节介绍病理数据的存储形式、使用方法以及一些常见的数据预处理技术。

2.1.1 全切片图像的存储与处理

全切片图像通常以多分辨率的金字塔结构存储(Bejnordi等，2016)。图像文件包含原始图像的多个缩减采样版本。金字塔中的每个图像都存储为一系列图像分块，以便于快速加载图像的子区域。数字病理切片的储存方式如图 1。

图 1 数字病理切片的存储方式

Fig. 1 Pyramidal tiled digital pathology image

在最高分辨率下，典型的全切片图像约为50 000×50 000像素。这意味着单张全片就包含了10 GB的未压缩像素数据，不适合用常规的图形图像软件包处理。OpenSlide是一个提供了C、Python等多种编程语言接口的开源函数库(Goode等，2013)，它提供一组统一的应用程序接口来读取包括Philips、Leica和MIRAX等制造商扫描出的WSI。自动载玻片分析平台(automated slide analysis platform，ASAP)是一个基于OpenSlide、Qt和OpenCV的开源平台，用于可视化、标注和自动分析组织病理学图像(Litjens，2017)。

2.1.2 背景消除

病理切片图像通常包含大量的白色背景区域，带来无意义的计算与存储开销，通常在处理病理切片图像的时候，会使用基于阈值的Otsu二值化技术(Otsu，1979)来裁剪这些背景，Wang等人(2016)的实验表明，大型的全切片病理图像平均82 %的面积都是背景，裁剪以后可以极大地提高诊断和分析的效率。

2.1.3 染色标准化

手工制片过程的误差与染色剂、扫描仪的不同会给数字化切片之间带来颜色的差异，这会给后续的分析工作带来误差。一般使用染色标准化技术来消除切片之间的色差。Reinhard等人(2001)认为，RGB色彩空间的3个通道有着明显的相关性，对像素色彩的调整必须同时联动3个通道，增加了复杂性，而Ruderman等人(1998)提出的lαβ色彩空间能够减少通道之间的相关性。Reinhard等人(2001)提出了一种色彩迁移方法，该方法先将图像从RGB空间变换到lαβ空间，再借助lαβ空间的3个通道的均值和标准差对图像进行调整，最后再变换回RGB空间。

依赖统计特征的方法隐含了不同切片之间有着相同的染色组成的假设，但实际的切片包含了不同类型的组织，不能保证染色组成总是相同，Reinhard方法应用于病理领域可能会让白色的背景在色彩迁移后也带有颜色。针对病理切片领域，研究人员(Macenko等，2009；Vahadane等，2015)使用染色分离的方法，将RGB空间的图像通过颜色反卷积(color deconvolution)技术映射到染色剂的色彩空间进行染色标准化。

2.2 病理图像分块的分类

小尺寸的组织病理图像块可能是显微镜视野中待诊断的局部图像，也可能是全切片裁剪出的一个采样块。分块的大小通常在1 000×1 000像素以下，使用计算机视觉领域常见的图像分类方法一般可以工作良好。这些图像分块的分类模型可以直接用于镜下局部图像的分类，同时也是实现全切片分类与病变区域分割的基础结构。本小节论述深度卷积神经网络取代传统特征工程方法的发展历程，以及可以有效解决病理图像样本数量少的问题的迁移学习技术。

2.2.1 传统的特征工程方法

在深度学习被广泛使用以前，科研团队使用传统的图形图像学技术探索病理图像的良恶性分类方法。这些方法一般把组织视为细胞的图(graph)，通过定位细胞核，从这个图中手工挖掘可以用于分类的特征。Petushi等人(2006)提出了一种基于细胞核的密度和空间位置特征的组织分类方法。Naik等人(2008)使用基于图像形态学的特征和基于图论的组织结构特征来做肿瘤的诊断分级。Altunbay等人(2010)使用了图着色的方法来提取细胞图的结构特征，并使用支持向量机(support vector machine, SVM)进行组织的诊断分类。

依赖图形图像学和病理学的先验知识手工设计的特征提取器有其固有的局限性，难以全面涵盖图像的低级像素特征，也难以设计出高层抽象的特征。深度学习技术具有端到端训练的特点，亦能通过深层的神经网络来逐级表征抽象的概念或者模式(Zhang等，2020)，在深度学习方法进入组织病理学诊断领域以后，传统的手工特征提取方法就被更强大的卷积神经网络取代了。

2.2.2 深度卷积神经网络方法

Araújo等人(2017)在乳腺癌组织分类研究中，将2 048×1 536像素大小的组织病理图片划分为512×512像素大小的图像分块，并使用了8层的卷积神经网络对分块进行分类。Cruz-Roa等人(2014)提出了一种基于卷积神经网络的乳腺癌组织分类方法，相比基于手工特征的方法有着明显的优势。该方法的关键是使用一个包含了两层卷积的神经网络对全切片图像中裁剪出的100×100像素大小的分块进行分类。如果一个分块的80 %面积属于恶性区域，则把这个分块视为恶性，否则视为良性。

随着计算机视觉领域的多年发展，一些神经网络模型得到了广泛认可，成为主流模型。这些模型也能胜任组织病理学图像分块的分类任务。在2016年的Camelyon乳腺癌淋巴结转移分类挑战赛中，参赛者提交的32种算法有25种使用了卷积神经网络(Bejnordi等，2017)，其中包括VGG-16(visual geometry group 16-layer net)(Simonyan和Eisserman，2014)、GoogLeNet(Szegedy等，2015)和ResNet-101(He等，2016)等多种著名模型。来自哈佛大学医学院(Harvard Medical School, HMS)和麻省理工学院(Massachusetts Institute of Technology, MIT)的研究人员(Wang等，2016)使用基于GoogLeNet的模型取得了0.925的受试者工作特征曲线下面积(area under ROC curve，AUC)的最佳成绩。

2.2.3 迁移学习方法

组织病理领域已经积累了相当多的数据，但细分到特定的组织类型和具体分析任务上以后，数据集的样本数还远不如通用的ImageNet等数据集。虽然ImageNet数据集并不包含病理图像，但神经网络从ImageNet数据集学习到的参数能够识别边缘、纹理等通用的图像特征(Zhang等，2020)。研究人员通常使用迁移学习的技术，通过微调(fine tuning)卷积神经网络的分类器层，把使用ImageNet预训练的网络模型迁移到病理图像分块的分类任务中。Xu等人(2017)使用在ImageNet数据集(Deng等，2009)上预训练的AlexNet(Krizhevsky等，2012)提取脑肿瘤病理图像分块的特征，在小样本的MICCAI 2014脑肿瘤数字病理挑战赛数据集上达到了97.5 %的分类准确率。

2.3 全切片分类

组织病理学的典型全切片图大小通常在50 000× 50 000像素左右，如果直接使用主流的卷积神经网络对其分类，需要的计算量和内存空间会超出主流GPU硬件的能力，在实践中缺乏可行性。如果把全切片图像直接降采样到可以使用神经网络分类，那么许多微小的细胞形态与组织结构细节就会丢失。本小节首先介绍全切片分类中广泛使用的分块采样方法，然后针对许多医学机构只有粗粒度标注数据集的现实问题，介绍多示例学习方法。

2.3.1 分块采样方法

主流的全切片分类方案是使用分块采样(patch sampling)的方法(Cruz-Roa等，2014)，把全切片图像视为一个由小尺寸图像块组成的网格，这些小尺寸分块可以送入神经网络中提取特征。聚合这些来自小尺寸分块的特征，可以得到全切片图像的特征，再使用SVM、随机森林等分类器就可以得到分类结果。

Xu等人(2017)在脑肿瘤组织病理分类研究中，将全切片裁剪为151 872 nm×151 872 nm大小的有相互重叠的正方形分块。这些分块被采样为224×224像素，送入预训练的AlexNet进行分类的微调。在预测时，网络的第2个全连接(fc2)层输出的4 096维向量被当做分块的特征。全切片图像的特征由所有分块的特征经过p-norm池化和基于类间距离的特征筛选得到，并送入SVM进行多形性胶质母细胞瘤(glioblastoma multiforme, GBM)和低级别胶质瘤(low-grade glioma, LGG)的判别。

Wang等人(2016)将Camelyon 16乳腺癌前哨淋巴结切片随机裁剪出256×256像素的分块，每个分块有一个良恶性标签，表示其是否是淋巴结转移。分块经过随机裁剪和水平翻转的数据扩增以后，送入GoogLeNet训练得到一个判断分块良恶性程度的模型。训练病理图像块的分类模型如图 2。

图 2 训练病理图像块的分类模型

Fig. 2 Training histopathology image patch classifier

在预测时，用滑动窗口提取待预测全切片的分块，并使用先前训练好的模型预测，将所有分块的预测结果组合起来，就能得到全切片的肿瘤区域热力图。作者基于热力图设计了包括平均预测值、热区面积占比等28种高层特征，再送入随机森林进行全片分类。这个模型取得了0.925的AUC最佳成绩，作为参照的病理学家在不限制时间的情况下的AUC是0.966。通过难样本挖掘、染色标准化等工作，把AUC进一步提高到了0.994。切片预测工作流程如图 3。

图 3 切片预测工作流程

Fig. 3 Whole slide image prediction

2.3.2 多示例学习方法

包括TCGA在内的很多病理数据集并没有详细的像素级病变区域标注，这让基于分块采样的方法无法直接应用。多示例学习是一个弱监督的方法，它将多个实例组合为一个包，数据集只有包的标注，没有每个实例的标注。在病理学领域，可以把全切片视为一个包，而它的每个分块即为一个实例，如果一个包是良性的，那么可以认为其所有的实例都是良性的，如果一个包是恶性的，那么其包含的实例至少有一个是恶性的。Xu等人(2014)使用深度神经网络来提取分块的特征，并使用多示例学习来训练分类模型。Hou等人(2016)提出了一种期望最大化(expectation maximization，EM)的方法来筛选有判别力的分块，并改进了全片级别的决策融合模型。Wang等人(2020)认为虽然在全切片上追求区域的细分标注很难，但是可以让医生进行有限的粗粒度的标注，并面向粗粒度区域标注优化了损失函数的设计，改进了模型的效果。

2.4 病变区域的分割

在临床应用中，仅给出切片的分类性质是不够的，切片中病变区域的具体位置可以为诊断提供更准确的信息，这对应图像的分割任务。本小节结合相关研究工作，介绍了基于CNN和基于FCN的两种主流的全切片图像分割方法。

2.4.1 基于CNN的分割

通过分块采样的方法可以得到全片的肿瘤区域热力图，从而实现组织分割任务。Cruz-Roa等人(2014)训练了一个用于乳腺癌组织图像分块良恶性识别的神经网络，该网络输入的分块大小为100×100像素，包含了两层卷积和一层全连接。把神经网络对全片的每个分块的预测结果组合起来，就得到了肿瘤组织的分割。Wang等人(2016)在Camelyon 16乳腺癌全切片肿瘤区域热力图的基础上，使用0.9的阈值对图像进行二值化，再通过连通域分析得到病变区域的分割。为了减少分块之间差异导致的假阳性和假阴性，Google Brain团队在该工作基础上增加了模仿病理学家诊断流程的多尺度特征提取(Liu等，2017)，通过将20倍、10倍放大的图像生成的热力图与最高分辨率的40倍图像生成的热力图融合得到了更平滑的热力图。百度的研究团队提出神经条件随机场(neural conditional random field，NCRF)算法(Li和Ping，2018)，该算法并不是单独计算分块的特征，而是将该分块四周相邻的分块共同纳入分析，以作出置信度更高的判断。相邻分块之间的空间相关性通过特定类型的概率图形模型——条件随机场(conditional random field，CRF)进行建模，可以在降低假阳性的基础上仍然保持检测的敏感性与分割的清晰度。

为了实现更细粒度的分割，Xu等人(2017)使用了112×112像素的小尺寸分块，以及8像素的步长对全片进行分块预测。这种分块方法会使每个像素同时被包含在多个图像分块内，使用这些分块的预测结果进行投票就得到了像素级的分割。

2.4.2 基于FCN的分割

实现像素级分割的另一种常见方法是使用全卷积网络(fully convolutional networks，FCN)。FCN先使用卷积层抽取图像特征，再通过1×1卷积层将通道数变换为类别数，最后通过转置卷积层将特征图的高和宽变换回输入图像的尺寸，从而输出每个像素的类别。Sun等人(2019)对比FCN模型和基于分块采样的CNN模型在肺部组织全切片上的表现，发现对于分割任务，FCN使用粗粒度的图像分块就可以达到CNN使用细粒度分块的效果，而且因为没有相互重叠的采样块引入的重复计算，运行效率更高。

U-Net(Ronneberger等，2015)在FCN的基础上，增加了卷积层到对称的上采样层的跨层连接，从而增加了上采样路径的通道数，提高了神经网络的表示能力，同时这种对称跨层连接使得神经网络能学习到多尺度卷积特征。实验表明U-Net普遍可以达到比FCN更高的交并比(intersection over union, IoU)和Dice系数。Oskal等人(2019)将全切片分为4 096×4 096像素大小的没有相互重叠的大型分块，并使用U-Net对每一个分块进行分割，分割后的结果使用了11×11的平均池化来滤波，再经过阈值化以得到病变区域的分割结果。

3 结语

组织病理学是临床上肿瘤诊断的金标准。病理诊断工作大量依赖医生的经验，耗时费力。基于深度学习的组织病理诊断技术可以辅助医生的诊断工作，提高质量和效率。

本文首先以病理切片数据和分析任务为主线介绍组织病理学研究工作中的临床热点需求，分析深度学习在组织病理诊断中应用的主要挑战，包括全切片数据的存储和加载、准确的分类模型与高精度的分割模型的设计、小样本数量与粗标注粒度下的训练问题等。

然后，本文从方法与模型层面阐述了相关研究工作面向这些挑战给出的解决方案。全切片图像有着巨大的尺寸，金字塔结构的存储可以实现多尺度缩放下指定区域的快速加载，裁剪空白背景可以减少存储和计算的开销，染色标准化技术可以消除制片流程带来的色差。小规模病理图像块的分类模型是实现全切片分类与病变区域分割的基础。计算机视觉领域主流的卷积神经网络模型被广泛用于分块的分类与特征提取中，在分类与分割两项主要的应用里都有着良好的效果，结合病理图像分块的分类模型与分块采样方法，可以在任意大小的病理切片上实现分类与分割。基于预训练模型的迁移学习能够缓解组织病理数据集样本数较小的问题。以U-Net为代表的FCN网络模型是针对分割任务设计的网络，相比分块采样的CNN方法，运行效率更高。由于组织病理图像的细粒度标注费时费力，对于只有全切片分类、缺少像素级标注的数据集，可以使用基于多示例学习的弱监督方法来训练。

随着以卷积神经网络为主的深度学习方法得到广泛应用，组织病理学数字切片的计算机辅助诊断技术研究取得了明显的进展，在部分任务中(Wang等，2016；Liu等，2017)的准确率已经达到了人类病理学专家水平，但仍然有一些研究工作还有待进一步完善。深层模型的表征能力强于浅层模型，但简单的加深模型并不能得到更高的精度，对深度卷积神经网络设计的改进从未停止。

深度学习需要大量的训练数据，目前组织病理领域的研究工作大量依赖像素级精细标注的切片数据。自动切片扫描仪的普及使得许多医院和科研机构可以得到大量的全切片图像数据，但因为病理数据的标注工作知识门槛高，全切片图像尺寸巨大，所以大量的数据尚未被标注。而且目前的病理数据集大部分都是H&E染色切片，缺少免疫组化切片。通过计算机辅助改进数据标注的工作效率，拓展包括免疫组化切片在内的多种临床应用场景等研究工作亟待开展。

病理诊断工作责任重大，自动化的诊断方法如果没有循证依据的支撑，在临床应用中可能面临伦理问题。卷积神经网络能够学习图像的纹理、边缘等特征，但是这些特征与临床诊断的依据，如细胞的异型性、腺体等微组织的完整性等仍然缺少明确的对应关系。以神经网络为主的方法需要在可解释性方面取得进一步突破才能更地的面对临床的挑战。

总之，以卷积神经网络为代表的深度学习方法在组织病理诊断领域已经取得了明显的研究进展，但总体上还处于起步阶段，距离高效准确地运用于临床的目标还有很大差距，需要继续提高模型精度，拓展更多的临床应用场景，并完善结果的可解释性。

参考文献

Altunbay D, Cigir C, Sokmensuer C, Gunduz-Demir C. 2010. Color graphs for automated cancer diagnosis and grading. IEEE Transactions on Biomedical Engineering, 57(3): 665-674 [DOI:10.1109/TBME.2009.2033804]

Araújo T, Aresta G, Castro E, Rouco J, Aguiar P, Eloy C, Polónia A and Campilho A. 2017. Classification of breast cancer histology images using convolutional neural networks. PLoS One, 12(6): #0177544[DOI:10.1371/journal.pone.0177544]

Araújo Teresa. 2015. BIOIMAGING 2015 Breast Histology Dataset[EB/OL].[2020-5-14]. http://www.bioimaging2015.ineb.up.pt/dataset.html

Aresta G, Araújo T, Kwok S, Chennamsetty S S, Safwan M, Alex V, Marami B, Prastawa M, Chan M, Donovan M, Fernandez G, Zeineh J, Kohl M, Walz C, Ludwig F, Braunewell S, Baust M, Vu Q D, To M N N, Kim E, Kwak J T, Galal S, Sanchez-Freire V, Brancati N, Frucci M, Riccio D, Wang Y Q, Sun L L, Ma K Q, Fang J N, Kone I, Boulmane L, Campilho A, Eloy C, Polónia A, Aguiar P. 2019. BACH:grand challenge on breast cancer histology images. Medical Image Analysis, 56: 122-139 [DOI:10.1016/j.media.2019.05.010]

Bejnordi B E, Veta M, van Diest P J, van Ginneken B, Karssemeijer N, Litjens G, van der Laak J A W M and the CAMELYON16 Consortium. 2016. ISBI Challenge on cancer metastasis detection in lymph node[EB/OL].[2020-05-14]. http://www.diagnijmegen.nl/index.php/Pathology_Project_Camelyon16

Bejnordi B E, Veta M, van Diest P J, van Ginneken B, Karssemeijer N, Litjens G, van der Laak J A W M and the CAMELYON16 Consortium. 2017. Diagnostic assessment of deep learning algorithms for detection of lymph node metastases in women with breast cancer. JAMA, 318(22): 2199-2210[DOI:10.1001/jama.2017.14585]

Bian X W, Ping Y F. 2019. Pathology in China:challenges and opportunities. Journal of Third Military Medical University, 41(19): 1815-1817 (卞修武, 平轶芳. 2019. 我国病理学科发展面临的挑战和机遇. 第三军医大学学报, 41(19): 1815-1817) [DOI:10.16016/j.1000-5404.201909212]

Cruz-Roa A, Basavanhally A, González F, Gilmore H, Feldman M, Ganesan S, Shih N, Tomaszewski J and Madabhushi A. 2014. Automatic detection of invasive ductal carcinoma in whole slide images with convolutional neural networks//Proceedings of SPIE 9041, Medical Imaging 2014: Digital Pathology. San Diego: SPIE: #904103[DOI:10.1117/12.2043872]

Deng J, Dong W, Socher R, Li L J, Li K and Li F F. 2009. ImageNet: a large-scale hierarchical image database//Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami: IEEE: 248-255[DOI:10.1109/CVPR.2009.5206848]

Goode A, Gilbert B, Harkes J, Jukic D, Satyanarayanan M. 2013. OpenSlide:a vendor-neutral software foundation for digital pathology. Journal of Pathology Informatics, 4: #27 [DOI:10.4103/2153-3539.119005]

He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778[DOI:10.1109/CVPR.2016.90]

Hou L, Samaras D, Kurc T M, Gao Y, Davis J E and Saltz J H. 2016. Patch-based convolutional neural network for whole slide tissue image classification//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 2424-2433[DOI:10.1109/CVPR.2016.266]

Kather J N, Halama N and Marx A. 2018.100, 000 histological images of human colorectal cancer and healthy tissue (Version v0.1)[EB/OL].[2020-05-14]. http://doi.org/10.5281/zenodo.1214456

Krizhevsky A, Sutskever I and Hinton G E. 2012. Imagenet classification with deep convolutional neural networks//Proceedings of the 25th International Conference on Neural Information Processing Systems. Lake Tahoe: NIPS: 1097-1105

Li J H, Yang S, Huang X D, Da Q, Yang X Q, Hu Z Q, Duan Q, Wang C F and Li H S. 2019. Signet ring cell detection with a semi-supervised learning framework//Proceedings of the 26th International Conference on Information Processing in Medical Imaging. Hong Kong, China: Springer: 842-854[DOI:10.1007/978-3-030-20351-1_66]

Li Y and Ping W. 2018. Cancer metastasis detection with neural conditional random field[EB/OL].[2020-05-14]. https://arxiv.org/pdf/1806.07064.pdf

Litjens G. 2017. Automated slide analysis platform[EB/OL].[2020-05-14]. https://computationalpathologygroup.github.io/ASAP/

Liu Y, Gadepalli K, Norouzi M, Dahl G E, Kohlberger T, Boyko A, Venugopalan S, Timofeev A, Nelson P Q, Corrado G S, Hipp J D, Peng L and Stumpe M C. 2017. Detecting cancer metastases on gigapixel pathology images[EB/OL].[2020-05-14]. https://arxiv.org/pdf/1703.02442.pdf

Macenko M, Niethammer M, Marron J S, Borland D, Woosley J T, Guan X J, Schmitt C and Thomas N E. 2009. A method for normalizing histology slides for quantitative analysis//Proceedings of 2009 IEEE International Symposium on Biomedical Imaging: From Nano to Macro. Boston: IEEE: 1107-1110[DOI:10.1109/ISBI.2009.5193250]

MICCAI. 2014. Brain tumor digital pathology challenge[EB/OL].[2020-05-14]. https://wiki.cancerimagingarchive.net/display/Public/MICCAI+2014+Grand+Challenges

Naik S, Doyle S, Agner S, Madabhushi A, Feldman M and Tomaszewski J. 2008. Automated gland and nuclei segmentation for grading of prostate and breast cancer histopathology//Proceedings of the 5th IEEE International Symposium on Biomedical Imaging: From Nano to Macro. Paris: IEEE: 284-287[DOI:10.1109/ISBI.2008.4540988]

Nature E. 2017. Histopathology is ripe for automation. Nature Biomedical Engineering, 1(12): #925 [DOI:10.1038/s41551-017-0179-5]

Oskal K R J, Risdal M, Janssen E A M, Undersrud E S, Gulsrud T O. 2019. A U-net based approach to epidermal tissue segmentation in whole slide histopathological images. SN Applied Sciences, 1(7): 1-12 [DOI:10.1007/s42452-019-0694-y]

Otsu N. 1979. A threshold selection method from gray-level histograms. IEEE Transactions on Systems, Man, and Cybernetics, 9(1): 62-66 [DOI:10.1109/TSMC.1979.4310076]

Petushi S, Garcia F U, Haber M M, Katsinis C, Tozeren A. 2006. Large-scale computations on histology images reveal grade-differentiating parameters for breast cancer. BMC Medical Imaging, 6: #14 [DOI:10.1186/1471-2342-6-14]

Qaiser T, Mukherjee A, Reddy P B C, Munugoti S D, Tallam V, Pitkäaho T, Lehtimäki T, Naughton T, Berseth M, Pedraza A, Mukundan R, Smith M, Bhalerao A, Rodner E, Simon M, Denzler J, Huang C H, Bueno G, Snead D, Ellis I O, Ilyas M, Rajpoot N. 2018. Her2 challenge contest:a detailed assessment of automated Her2 scoring algorithms in whole slide images of breast cancer tissues. Histopathology, 720(2): 227-238 [DOI:10.1111/his.13333]

Reinhard E, Adhikhmin M, Gooch B, Shirley P. 2001. Color transfer between images. IEEE Computer Graphics and Applications, 21(5): 34-41 [DOI:10.1109/38.946629]

Ronneberger O, Fischer P and Brox T. 2015. U-net: convolutional networks for biomedical image segmentation//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer: 234-241[DOI:10.1007/978-3-319-24574-4_28]

Ruderman D L, Cronin T W, Chiao C C. 1998. Statistics of cone responses to natural images:implications for visual coding. Journal of the Optical Society of America A, 15(8): 2036-2045 [DOI:10.1364/JOSAA.15.002036]

Simonyan K and Zisserman A. 2014. Very deep convolutional networks for large-scale image recognition//Proceedings of the 3rd International Conference on Learning Representations. San Diego: [s.n.]: 1-14

Sirinukunwattana K, Pluim J P W, Chen H, Qi X J, Heng P A, Guo Y B, Wang L Y, Matuszewski B J, Bruni E, Sanchez U, Böhm A, Ronneberger O, Cheikh B B, Racoceanu D, Kainz P, Pfeiffer M, Urschler M, Snead D R J, Rajpoot N M. 2017. Gland segmentation in colon histology images:the glas challenge contest. Medical Image Analysis, 35: 489-502 [DOI:10.1016/j.media.2016.08.008]

Spanhol F A, Oliveira L S, Petitjean C, Heutte L. 2016. A dataset for breast cancer histopathological image classification. IEEE Transactions on Biomedical Engineering, 63(7): 1455-1462 [DOI:10.1109/TBME.2015.2496264]

Sun S J, Jiang B N, Zheng Y S and Xie F Y. 2019. A comparative study of CNN and FCN for histopathology whole slide image analysis//Proceedings of the 10th International Conference on Image and Graphics. Beijing, China: Springer: 558-567[DOI:10.1007/978-3-030-34110-7_47]

Szegedy C, Liu W, Jia Y Q, Sermanet P, Reed S, Anguelov D, Erhan D, Vanhoucke V and Rabinovich A. 2015. Going deeper with convolutions//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 1-9[DOI:10.1109/CVPR.2015.7298594]

TCGA. 2006. The cancer genome atlas program[EB/OL].[2020-05-14]. https://www.cancer.gov/tcga

Vahadane A, Peng T Y, Albarqouni S, Baust M, Steiger K, Schlitter A M, Sethi A, Esposito I and Navab N. 2015. Structure-preserved color normalization for histological images//The IEEE 12th International Symposium on Biomedical Imaging. New York: IEEE: 1012-1015[DOI:10.1109/ISBI.2015.7164042]

Veeling B S, Linmans J, Winkens J, Cohen T and Welling X. 2018. Rotation equivariant CNNs for digital pathology//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 210-218[DOI:10.1007/978-3-030-00934-2_24]

Wang D Y, Khosla A, Gargeya R, Irshad H and Beck A H. 2016. Deep learning for identifying metastatic breast cancer[EB/OL].[2020-05-14]. https://arxiv.org/pdf/1606.05718.pdf

Wang X, Chen H, Gan C X, Lin H J, Dou Q, Tsougenis E, Huang Q T, Cai M Y, Heng P A. 2020. Weakly supervised deep learning for whole slide lung cancer image analysis. IEEE Transactions on Cybernetics, 50(9): 3950-3962 [DOI:10.1109/TCYB.2019.2935141]

Xu Y, Jia Z P, Wang L B, Ai Y Q, Zhang F, Lai M D, Chang E I C. 2017. Large scale tissue histopathology image classification, segmentation, and visualization via deep convolutional activation features. BMC Bioinformatics, 18: #281 [DOI:10.1186/s12859-017-1685-x]

Xu Y, Mo T, Feng Q W, Zhong P L, Lai M D and Chang E I C. 2014. Deep learning of feature representation with multiple instance learning for medical image analysis//Proceedings of 2014 IEEE international conference on acoustics, speech and signal processing. Florence: IEEE: 1626-1630[DOI:10.1109/ICASSP.2014.6853873]

Zhang A, Lipton Z C, Li M and Smola A J. 2020. Dive into deep learning[EB/OL].[2020-05-14]. https://d2l.ai/