Print

发布时间: 2020-10-16
摘要点击次数:
全文下载次数:
DOI: 10.11834/jig.200188
2020 | Volume 25 | Number 10




    前沿进展    




  <<上一篇 




  下一篇>> 




4D时空纵向分析在生物医学领域中的应用现状与趋势
expand article info 徐春园, 曾晓天, 宋泽雨, 唐晓英
北京理工大学生命学院医学工程与信息技术实验室, 北京 100081
收稿日期: 2020-05-20; 修回日期: 2020-07-10; 预印本日期: 2020-07-17
基金项目: 国家自然科学基金项目（81471743）
第一作者简介: 徐春园, 1998年生, 女, 硕士研究生, 主要研究方向为医学影像处理。E-mail:3120191400@bit.edu.cn;
曾晓天, 男, 硕士研究生, 主要研究方向为生物医学信号检测与处理。E-mail:3220181068@bit.edu.cn;
宋泽雨, 男, 硕士研究生, 主要研究方向为医学影像处理。E-mail:3220181090@bit.edu.cn.
中图法分类号: TP183
文献标识码: A
文章编号: 1006-8961(2020)10-2100-10

摘要

随着成像技术的成熟，临床医生及实验人员能获得同时带有时间和空间信息的4D（3D+时间）数据，用于纵向研究疾病变化情况。由于缺乏合适的处理算法，导致明显的信息丢失。为解决这一问题，一些研究发挥人工智能在海量数据处理上的优势进行纵向医学图像分析，研究目标随时间的动态变化。本文对4D时空纵向分析在生物学运动目标追踪、医学影像分割、肿瘤生长预测、血管动力学和神经科学等应用进行综述，重点探讨了人工智能技术与传统分析方法在各应用场景的优劣，并从联合多模态异构数据进行关联分析及联邦学习辅助算法部署两个角度进行前瞻性的探索和可行性分析，突破2D影像处理瓶颈，推动4D设备广泛应用，并为未来时空纵向分析在生物医学领域中的方法学研究及应用场景探索提供思路。

关键词

人工智能; 医学影像处理; 纵向分析; 4D影像; 时空数据

Research status and trend of 4D spatiotemporal longitudinal analysis in biomedical field
expand article info Xu Chunyuan, Zeng Xiaotian, Song Zeyu, Tang Xiaoying
Laboratory of Medical Engineering and Information Technology, School of Life Science, Beijing Institute of Technology, Beijing 100081, China
Supported by: National Natural Science Foundation of China (81471743)

Abstract

Clinicians and experimenters can obtain a time series of three-dimensional images in a fixed time period, that is, 4D (3D + time) longitudinal data with both time and space information, such as two-photon microscopy, CT/MRI(computer tomography/magnetic resonance imaging) Cine scanning mode, or artificially select a time point to scan, and use 4D tensor representation to integrate the collected data in one time and three spatial dimensions, which is suitable for longitudinal analysis. Longitudinal analysis describes the collection of data on one or more variables of the same object at multiple time points to study their changes over time or a set of diachronic research methods that track the influence of some variables, which are commonly used in the medical field: disease changes and causes. However, many studies in the past sliced 4D data into 2D/3D pictures due to the lack of suitable processing algorithms, resulting in significant information loss. In recent years, artificial intelligence has given full play to its natural advantages in massive data processing and has brought new solutions to solve the problems of 4D longitudinal data with high dimensions, large amount of calculation, and difficulty in analysis. Among the solutions, convolutional neural networks, long- and short-term memory networks, and other deep learning algorithms have achieved good results in the processing of different modalities, such as natural language, audio, image, and video. They have exceeded the traditional methods. In the longitudinal medical image analysis using 4D data, deep learning uses spatial information and time-varying information and plays an important role in studying the dynamic changes of goals over time. The main application directions can be divided into two categories: moving target tracking and positioning in the field of biomedicine and tumor growth prediction and auxiliary diagnosis, where moving target tracking and positioning includes matching between complex moving targets in the biological field, 4D longitudinal medical imaging, automatic data segmentation, and vascular dynamics research. Tumor growth prediction and auxiliary diagnosis use volume longitudinal data with time information to model tumor growth, calculate the change in tumor size over a period of time, that is, the growth characteristics of the tumor, and assist the doctor in the diagnostic stage from the perspective of growth rate (benign tumors generally grow slower than malignant tumors). Cancer grades are recommended for patients to review. During the treatment phase, tumor changes are accurately measured; the effects of radiotherapy or drug treatment are evaluated; survival is predicted; personalized treatment plans for patients are developed, and drug development is promoted. However, the abovementioned longitudinal analysis only focuses on the change of the macroscopic morphology of the lesion and cannot reflect all tumor biological information or predict the clinically relevant tumor properties. In the future, horizontal correlation analysis can include temporal features, capture the relationship between temporal and spatial changes, and map the quantitative values of molecular features to histopathological changes, thereby proving the relationship between the secretion of cytokines and the severity of lesions in the image relevance to explain the causality of the disease from the table and achieve personalized treatment. In addition, the accuracy and generalization of the abovementioned artificial intelligence algorithms depend on large-scale and high-quality data. Medical data have fewer samples, larger acquisition costs, and higher resolution requirements than data in other fields. Problem and longitudinal data make data collection difficult because they contain time information not previously involved. Future medical longitudinal data points can be combined with federal learning and transfer learning: federal learning is used to ensure that no data exchange is observed while improving the generalization of the model, making the same model suitable for data from other hospitals, and protecting the privacy of medical data. On the contrary, transfer learning is used to solve the problem of few high-quality samples and the lack of frame-by-frame labels, improve the accuracy of the model, and solve hidden security risks such as user privacy when the product is launched in the future.

Key words

artificial intelligence; medical image processing; longitudinal analysis; 4D image; spatiotemporal data

0 引言

纵向分析(马晶鑫，2020)描述的是在多个时间点收集相同对象在一个或多个变量上的数据，研究其随时间的变化情况, 适用于对变化的模式以及因果关系的方向和强度进行研究，在医学领域中常用于研究疾病变化情况和病因。

目前临床医生及实验人员能以固定时间周期获取3维图像的时间序列，即同时带有时间和空间信息的4D(3D+时间)纵向数据，如双光子显微镜、4D超声、CT/MRI(computer tomography/magnetic resonance imaging)的Cine扫描模式、fMRI(functional magnetic resonance imaging)或人为选择时间点进行扫描，采用张量表示法将收集的数据按1个时间和3个空间维度进行整合，非常适合纵向分析，但由于缺乏合适的处理算法，过去许多研究将4D数据切片为2D/3D图片，导致明显的信息丢失。

人工智能充分发挥其在海量数据处理上的天然优势，为解决4D纵向数据维度高、运算量大和难以分析等问题带来了新的解决途径，其中卷积神经网络(convolutional neural networks，CNNs)以及长短期记忆网络(long short-term memory，LSTM)等深度学习算法在自然语言、音频、图像和视频等不同模态的处理所取得的效果已经远超传统方法(曾晓天等, 2019)。在使用4D数据进行纵向医学图像分析方面，深度学习能充分利用空间信息和时变信息，研究目标随时间的动态变化处于起步阶段，研究较少，在生物学运动目标追踪、医学影像分割、血管动力学、神经科学和肿瘤生长预测等方面的应用如表 1所示。

表 1 4D时空分析中深度学习方法的应用
Table 1 Application of deep learning method in 4D spatiotemporal analysis

下载CSV
文献 深度学习方法类型 数据集 结果 应用
Kitrungrotsakul等人(2019) 2.5D CNN+ CLSTM TC-IAIP AIA2017 精确率: 81.8% 4D显微镜图像中的有丝分裂细胞检测
Jiao等人(2019) FCDN(fully convolutional DenseNets)+ DFMT — 准确率：98.52% 4D荧光显微图像中的多目标跟踪
Gao人(2018) FCSLSTM(fully convolutional structured LSTM networks) BRICIBIS MPA: 93.5% 4DMRI-医学图像分割
van de Leemput等人(2019) CNN 42 patients MDC: 0.87±0.04 4DCT-多类脑组织分割
Li等人(2018) Transfer Learning 77 patients RVI: 0.95±0.04 4DCT-确定放疗肿瘤靶体积
Pham等人(2019) ADMLP-NN — VDC: 0.92 ± 0.02 4DMRI-放疗目标跟踪
Zhao等人(2018) ST-CNN HCP Q1 皮尔逊相关系数: 0.878 识别大脑功能性网络
Li等人(2019) DSRAE HCP — 时空模式大脑网络
El-Gazzar等人(2020) 3DCNN+双向3DC-LSTM ABIDE F1-score: 0.78 fMRI-自闭症谱系障碍分类
Bengs等人(2020) 4D CNN+Conv-RNN — F1-score: 0.71 fMRI-自闭症谱系障碍分类
Sarraf等人(2019) MCADNNet ADNI F1-score: 0.93 阿尔茨海默病(AD)的早期诊断
Puranik等人(2018) CNN + Transfer Learning ADNI 准确率: 98.41% 阿尔茨海默病的早期诊断
Li等人(2020) 3D CNN-LSTM ADNI AUC: 0.92 阿尔茨海默病的早期诊断
Zhang等人(2019) Spatio-temporal-ConvLSTM 33 patients Dice Scores: 83.2% 肿瘤生长预测
Yang等人(2019) MCF-3DCNN 51 patients 准确率: 73.96% 肝癌病理分级
注：表中部分缩名词：MPA(mean pixel accuracy), 4DCT(four-dimensional computed tomography), MDC(mean Dice coefficients), RVI(Relative volume index), ADMLP-NN(adaptive boosting and multi-layer perceptron neural network), VDC(volume dice coefficient), AUC(area under curve), DSRAE(deep sparse recurrent auto-encoder), HCP (human connectome project), AD(alzheimer disease), MCI(Mild cognitive impairment), MCF (multichannel fusion)。“—”为无数据。

1 生物学运动目标追踪：4D显微镜

生物学数据分析是图像处理领域极具挑战性的任务, 由于生物体中的细胞粘连、形态不规则、结构很小且数量庞大直接影响图像分割的准确性；且细胞及亚细胞结构(如蛋白质复合物)除了快速迁移和复杂运动外，还具有连续的形态变化，包括分裂和融合，难以进行目标跟踪(He等, 2017)；因此使用4D动态显微镜数据同时得到邻近切片的空间信息及相邻的时间帧信息{t-2, t-1, t, t+1, t+2}进行纵向分析十分适合生物学领域的目标检测及追踪任务，t代表时间。

传统追踪方法如最近邻、卡尔曼滤波等，难以适用于复杂变化的生物学目标。研究表明，与传统方法使用对象位置或运动路径不同, 通过对象识别进行跟踪的深度学习效果更好(Müller等，2018)。不同于在图像分割任务构建单个网络对时间和空间一致性联合建模，追踪任务使用网络级联的方式单纯扩展模型的时间信息(3D+时间)，即先使用卷积神经网络作为第1个网络处理附近切片中的体积信息，检测出候选单元，然后根据不同任务输出结果的不同，级联其他算法如Kitrungrotsakul等人(2019)级联长短时记忆网络利用相邻的时间帧信息细化第1个网络结果，检测有丝分裂细胞。Jiao等人(2019)提出深度特征图跟踪(deep feature map tracking, DFMT)方法依据3维分割得到的特征响应图在扩展的搜索空间中查找最高的相关性来执行两帧中复杂的运动目标之间的匹配，实现多目标跟踪。

2 4D医学影像数据自动分割

精确的组织分割是图像分析的第1步，由于建立动态病变模型需解决受试者内部和受试者间时间序列图像的配准问题，故在纵向医学研究领域尤为重要。如创伤性脑损伤(traumatic brain injury, TBI)(Dennis等, 2018)以及胶质瘤等呈现高度异质性的多灶性疾病，病变区解剖结构常存在较大变形(水肿和出血等)，但这些在规范图集空间并不存在。传统方法高度依赖时间序列中图像彼此间的相似性，通过将健康的规范模板变形映射到病变对象的图像数据建立新模板(Menze等，2011；Gooya等，2012；Wang等，2016；Reuter等，2012)或专门设计参数使图像共同配准(Gao等，2016；Lou等，2013；Ou等，2011)来辅助分割，通常需要针对特定数据集设计大量复杂参数，而当图像序列出现数据集以外较大的外观变化时可能会失效。为解决这一问题，Gao等人(2018)和van de Leemput等人(2019)使用卷积神经网络进行序列到序列建模，分别对4DMRI和CT进行端到端脑组织像素级分割，凭借少量参数在多个数据集显示可行性。

4D医学影像数据自动分割典型应用在医学立体定向放射治疗(stereotactic body radiation therapy，SBRT)领域，为减少癌症患者在呼吸运动过程中胸腔和腹部肿瘤非常明显的位置移动及形状变化带来的影响，常在临床靶区周边外扩一个足够大的边界，使之覆盖完全，但同时也会使肺组织受到不必要的照射(Nath等，2011; Chen等, 2004)。为更准确地计算给感兴趣区域的每个体素的剂量，制定呼吸运动状态下放疗过程的动态剂量分布，需要实时追踪呼吸运动时肿瘤位置并定量分析形状的改变，为此需要精确地分割感兴趣结构。研究首先使用实时位置管理(real-time position management, RPM)系统和Cine扫描技术记录患者的呼吸运动并将时间信息整合到CT图像中，得到与呼吸运动相伴的空间运动特征，整理成4D纵向医学影像数据集(时飞跃等，2020)。Sundarapandian等人(2016)和Li等人(2018)分别对时间分辨的4D-CT数据应用时空马尔可夫随机场(Markov random field, MRF)和迁移学习算法追踪肺隔膜运动范围及确定肿瘤靶体积(internal gross target volume, IGTV)，结果远远优于从透视分析。同理使用4D胸椎MRI数据进行呼吸运动管理，无电离辐射且软组织对比度更高，Pham等人(2019)和Yang等人(2014)分别使用自适应增强多层感知器神经网络(ADMLP-NN)和根据时空信息调整配准参数的方法自动分割。

3 血管动力学研究：4D-CTA

4D-CTA(computed tomography angiography)血管成像技术能实时定量分析肺动脉和颅内动脉血流动力学改变情况，在颅内动脉瘤、脑血管狭窄或闭塞等脑血管疾病及急性肺动脉栓塞的成像检查中极具应用价值，且经常联合CT灌注成像(computed tomography perfusion, CTP)技术以准确反映脑血管情况。国内大多数研究由临床医生主导，聚焦于将4D-CTA与3D-CTA、数字减影血管造影(digital subtraction angiography, DSA)、智能对比剂追踪法等其他血管成像技术进行对照实验：将患者随机分为A、B两组，分别使用不同扫描方案，验证4D-CTA在疾病诊断中的准确性及应用价值，如冯永恒等人(2020)、宋维通等人(2019)应用于急性肺栓塞患者肺动脉成像，记录影像学特征及栓子数量，与金标准进行一致性分析。In’t Veld等人(2020)、蒋孝先等人(2020)分别与DSA和3D-CTA进行对照，证明提取出颅内动静脉分流运动情况等动态特征的临床意义。冯瑞等人(2019)和李红伟(2019)联合CTP技术，计算其在检测形态及供血异常脑血管时的灵敏度和准确度等。

除使用4D-CTA外，Gur等人(2020)调整深度学习血管分割网络用于追踪双光子显微镜中脑血量随时间的变化，并识别自发性动脉扩张。Dewhurst等人(2020)使用4D Flow MRI量化右心房的血流动力学以及相关的上腔静脉(superior vena cava, SVC)和下腔静脉(inferior vena cava, IVC)流入。

4 神经科学：4D-fMRI

在神经科学领域，功能磁共振成像(fMRI)具有时间属性，通过检测血流的变化来捕获神经活动，并将测得的大脑活动与测量活动性的空间位置以及进行测量的时间一起存储。fMRI维度很高(约100万)且数据集基数有限(通常小于200个样本/对象)，因此提取时空模式具有挑战性。一些研究不直接处理4D数据，而是将其经预处理分解为2D图像，如Sarraf等人(2019)和Puranik等人(2018)使用卷积神经网络进行阿尔茨海默症(Alzheimer disease, AD)和轻度认知障碍(mild cognitive impairment, MCI)分类。这种方法取得了一定的成绩，但Eklund等人(2016)证明，如果在fMRI分析过程中忽略数据彼此在时间和空间上的相关性，会导致结果的准确性和可解释性较差。可见从4D-fMRI数据同时建模大脑功能网络的时空模式既是神经科学的基础，又是挑战性任务。

Qi等人(2019)提出“GICA +ICA(group independent component analysis+independent component analysis)”的方法，将来自组独立成分分析(GICA)的fMRI时间信息合并到并行的独立成分分析(ICA)框架中，实现第1级fMRI特征与其他模态，如结构磁共振成像(structural MRI, sMRI)的直接融合，检测精神分裂症功能网络和结构的协变。

此外，也有深度学习算法直接处理4D数据。Zhao等人(2018)提出的ST-CNN联合提取时空特征，自动识别大脑功能性网络，并用fMRI数据中的默认模式网络(default mode network, DMN)评估定位效果。Li等人(2019)提出深度稀疏递归自动编码器(deep sparse recurrent auto-encoder，DSRAE)，以无监督的方式学习时空模式大脑网络。得到大脑功能结构，可以进一步应用于脑部疾病数据集，更好地了解脑部异常活动。El-Gazzar等人(2020)使用3D CNN和双向3DC-LSTM从4D数据中提取时空特征，并在公开的ABIDE数据集上评估模型，在自闭症谱系障碍(autism spectrum disorders, ASD)分类问题上F1-score为0.78。Bengs等人(2020)采用4D卷积神经网络和卷积递归模型从时空fMRI数据中学习自闭症谱系障碍分类，其F1-score为0.71。Li等人(2020)使用3D CNN-LSTM在ADNI数据集进行AD的早期诊断，实验结果证明充分利用4D-fMRI数据中保留的自然时空信息可提高分类器性能，有助于AD检测。

5 肿瘤生长预测及辅助诊断

使用添加时间信息的体积纵向数据进行肿瘤生长建模，计算出一段时间内肿瘤大小的变化情况，即肿瘤的生长特性，可在诊断阶段辅助医生从生长速度角度判断良恶性(良性肿瘤普遍较恶性生长速度慢)、癌症分级、建议患者复查时间。在治疗阶段，精确测算瘤体变化情况，评估放疗或药物治疗效果，预测生存期，为患者制定个性化治疗方案，并促进药物开发。目前主要有3种方式：简单临床指标、数学建模和深度学习。

5.1 简单临床指标

通过不同时间点影像的对比，以肿瘤体积为响应变量，量化单个患者的肿瘤生长速度。Nakamura等人(2011)计算体积倍增时间(volume double time, VDT)等指标量化体积增长一倍所需的时间，评估患者的长期生存机会。在4D超声成像领域，Janas等人(2019)和Martins等人(2011)通过时空成像相关性(spatio-temporal image correlation, STIC)技术计算血管化异常患者的容积搏动指数(volume pulsatility index, vPI)和容积收缩/舒张指数(volume systolic/diastolic, vS/D)等指标，对器官和组织血流进行检测和定量，以及评估晚期神经内分泌肿瘤等。

得到指标量化值后，以总生存期(overall survival, OS)为标准，在两个纵向数据集上使用时间相关的Cox回归模型等统计方法与传统评估(如RANO(response assessment in neuro-oncology)标准)相比，分析它们和OS的关系，即该指标是否与总生存期显著相关，在预测总体生存期方面更有优势(Kickingereder等，2019；Fried等，2014)。

但Henker等人(2017)研究表明：除体积测量方法各异、选择患者不准确等导致结论相反的情况外，不同水平个体随时间变化情况不同，且同一个体在病情不同阶段对治疗反应不一。

为解决这一问题，可将数据构造出多水平的层次结构，以肿瘤体积大小或肿瘤恶化情况将纵向数据分为层级1、层级2，进行纵向观测数据的多层分析，对不同个体间发展的差异及同一个体随时间的复杂变化情况进行解释。

5.2 数学建模

在预测未来肿瘤生长方面，常使用偏微分方程领域的反应扩散方程和生物力学进行个性化数学建模(Hou等，2018；Liu等，2014；Wong等，2017；Roque等，2018)，通过有限差分法与有限元法导出并求解，根据早期时间点估计的肿瘤特异性参数拟合一条参数曲线，预测最后一个时间点的生长参数，得到预测的肿瘤体积结果，并与观察到的参考值进行比较，计算相对体积差(relative volume difference，RVD)、Dice重叠率以评估模型准确性。

然而数学模型由于参数数量有限以及缺乏人群趋势统计数据，其精度可能会受到限制，且不能完全契合地模拟, 经常需要调整参数，没有自动效果。

5.3 深度学习

Zhang等人(2019)使用深度学习中的卷积神经网络从静态图像中提取空间结构特征以及长短期记忆网络捕捉数据包含的时变信息，联合学习层内空间结构、3维上下文中的层间相关性和时间序列中的时间动态，将时间1和时间2的肿瘤图像切片作为输入，时间2和时间3的图像用来计算损失，预测肿瘤生长。

与其他方法仅预测未来的肿瘤体积相比，深度学习模型基于整体图像，通过改变输出可以预测肿瘤其他的特性，如细胞密度、CT强度数字，以及肿瘤病理等级(Yang等，2019)。但纵向分析包含以往未涉及的时间信息及医疗数据本身具有的小样本、获取成本大、对分辨率要求更高等问题，使纵向数据收集更加困难。样本少、模型参数多和计算量巨大等问题导致深度学习的方法容易过拟合、且未必获得更好的效果。

6 前瞻性探索及可行性分析

6.1 多模态纵向数据联合横向角度关联分析

纵向分析大多关注病灶宏观形态的改变，对实性结构如肿瘤来说，其重要特征之一是异质性，即生理组织特征的变异性，这导致了不同程度的坏死、水肿和增强(钟睿等, 2018)。但肿瘤宏观体积和位置的变化不能反映所有的肿瘤生物学信息，无法预测临床相关的肿瘤性质。对肺炎等弥漫性病灶来说，不同类型肺炎在某一阶段都存在磨玻璃影等相似影像学特征，难以对新冠肺炎与其他病毒性肺炎、细菌性肺炎、真菌性肺炎进行分类。对病毒性传染病来说，以COVID-19为例，ICU(intensive care unit)患者血浆中IL(interleukin)-2、MIP1A (macrophage inflammatory protein-1alpha)和TNF(tumor necrosis factor)-α等细胞因子水平比非ICU感染患者更高(Huang等，2020)。这些信息均暗示了细胞因子的分泌情况可能与新冠肺炎患者肺部病变的严重程度相关。

为此一些研究使用影像组学从横向角度，使用影像结合微观基因水平、蛋白质模式的改变，将影像特征与组织病理的生物学特性、基础遗传学、临床数据联系起来，为靶向治疗和新药开发等提供依据，增强常规的预后和生长预测。如Gutman等人(2013)使用癌症基因组图谱(the cancer genome atlas, TCGA)数据库中75例胶质瘤患者的遗传资料和术前MR图像，通过多元Cox回归模型分析成像特征与基因组学之间的关联。中科院脑网络中心Qi等人(2018)将表观遗传调节因子microRNA132与多模态脑成像数据直接联系在一起进行影像基因关联研究，结果表明未用药的抑郁症中miR-132因子的高表达与前额叶——边缘中fALFF(fractional amplitude of low-frequency fluctuations)和灰质体积等指标值的降低有关。

未来横向关联分析可以包括时间特征，捕获时间和空间变化之间的联系，将分子特征量化值与组织病理学的改变一一对应，证明细胞因子的分泌情况与影像中病变严重程度之间的相关性，即由表及里地解释疾病的因果关系，真正做到个性化治疗。计算机视觉已成功对视频和音频等不同模态动态数据进行数据融合，对语音(Petridis等，2018; Tao和Busso，2019)、情绪进行识别(Hossain和Muhammad，2019)，对自然语言和图像联合表示进行多媒体内容索引(Baltrusaitis等，2019)，表明了多模态纵向数据联合横向角度关联分析技术上的可行性。

6.2 联邦学习辅助算法部署

人工智能算法的准确率及泛化性很大程度上依赖于大规模、高质量的数据，医疗数据相较于其他领域数据具有样本少、获取成本大、对分辨率要求更高的问题，此外由于涉及患者的隐私使医院之间数据更难共享，形成数据孤岛。而纵向数据由于包含以往未涉及的时间信息使数据收集更加困难。

国内外研究者对于联邦学习(federated learning, FL)有很积极的探索，联邦学习本质上是一种分布式机器学习技术(Zerka等，2020; Zhu和Jin, 2020)，试图在保证数据隐私安全的基础上(即每个客户端的原始数据存储在本地，无需交换或迁移)，多个组织合作训练一个模型，提升AI模型的效果。Chang等人(2018)和Deist等人(2017)通过从来自不同国家不同医疗机构内存储的数据中学习而无需共享任何医学数据，并将联邦学习算法与集中式学习算法的性能进行了比较，结果表明，分布式模型的准确性与中央模型相似。证明将联邦学习应用到实际的科研、医院中行之有效。

在医学纵向数据分析方面，使用联邦学习，保证不进行数据交换的同时提升模型泛化性，使同一模型适用其他多个医院的数据，同时保护医疗数据的隐私；使用迁移学习，解决高质量样本少，逐帧标签缺失严重的问题，提升模型准确率。结合联邦学习与迁移学习在未来可以解决当产品落地时用户的隐私等安全隐患问题。

7 结语

目前大多数医学影像处理集中于对2D“死片子”的认知，难以突破现有瓶颈，但使用带有时间和空间信息的4D(3D+时间)影像数据，进行时空纵向生物医学分析，以捕获时间和空间变化之间的联系，还有很大进步空间。人工智能在海量数据处理上相比传统算法有一定优势，在未来可以结合联邦学习辅助顺利落地；结合多模态的纵向数据联合横向角度关联分析，由表及里地解释疾病的因果关系，真正做到个性化治疗。

参考文献

  • Baltrusaitis T, Ahuja C, Morency L P. 2019. Multimodal machine learning:a survey and taxonomy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 41(1): 423-443 [DOI:10.1109/tpami.2018.2798607]
  • Bengs M, Gessert N and Schlaefer A. 2020.4D spatio-temporal deep learning with 4D fMRI data for autism spectrum disorder classification.[EB/OL].[2020-05-01].https://arxiv.org/pdf/2004.10165v1.pdf
  • Chang K, Balachandar N, Lam C, Yi D, Brown J, Beers A, Rosen B, Rubin D L, Kalpathy-Cramer J. 2018. Distributed deep learning networks among institutions for medical imaging. Journal of the American Medical Informatics Association, 25(8): 945-954 [DOI:10.1093/jamia/ocy017]
  • Chen G T Y, Kung J H, Beaudette K P. 2004. Artifacts in computed tomography scanning of moving objects. Seminars in Radiation Oncology, 14(1): 19-26 [DOI:10.1053/j.semradonc.2003.10.004]
  • Deist T M, Jochems A, van Soest J, Nalbantov G, Oberije C, Walsh S, Eble M, Bulens P, Coucke P, Dries W, Dekker A, Lambin P. 2017. Infrastructure and distributed learning methodology for privacy-preserving multi-centric rapid learning health care:euroCAT. Clinical and Translational Radiation Oncology, 4: 24-31 [DOI:10.1016/j.ctro.2016.12.004]
  • Dennis E L, Babikian T, Giza C C, Thompson P M, Asarnow R F. 2018. Neuroimaging of the injured pediatric brain:methods and new lessons. The Neuroscientist, 24(6): 652-670 [DOI:10.1177/1073858418759489]
  • Dewhurst P, Coats L, Parikh J D, Hollingsworth K G, Gan L. 2020. The role of flow rotation in the adult right atrium:a 4D flow cardiovascular magnetic resonance study. Physiological Measurement, 41(3): #035007 [DOI:10.1088/1361-6579/ab7d77]
  • Eklund A, Nichols T E, Knutsson H. 2016. Cluster failure:why fMRI inferences for spatial extent have inflated false-positive rates. Proceedings of the National Academy of Sciences of the United States of America, 113(28): 7900-7905 [DOI:10.1073/pnas.1602413113]
  • El-Gazzar A, Quaak M, Cerliani L, Bloem P, van Wingen G and Thomas R M. 2020. A hybrid 3DCNN and 3DC-LSTM based model for 4D spatio-temporal fMRI data: an Abide autism classification study[EB/OL].[2020-05-01]. https://arxiv.org/pdf/2002.05981.pdf[DOI:10.1007/978-3-030-32695-1_11]
  • Feng R, Wang Z Q, Zhu H X, Song Y L. 2019. The values of 4 d-CTA combined with CTP technology in preoperative evaluation of meningiomas adjacent to large blood vessels. Chinese Journal of CT and MRI, 17(1): 37-40 (冯瑞, 王志群, 祝红线, 宋云龙. 2019. 4D-CTA联合CTP在紧邻大血管脑膜瘤术前评估中的价值. 中国CT和MRI杂志, 17(1): 37-40) [DOI:10.3969/j.issn.1672-5131.2019.01.012]
  • Feng Y H, Li J, Gao R X, Pang X. 2020. Application value of 4D-CT angiography in pulmonary artery imaging of patients with acute pulmonary embolism. Medical Equipment, 33(4): 8-9 (冯永恒, 李军, 高瑞雪, 庞鑫. 2020. 4D-CT血管成像技术在急性肺栓塞患者肺动脉成像中的应用价值. 医疗装备, 33(4): 8-9) [DOI:10.3969/j.issn.1002-2376.2020.04.005]
  • Fried D V, Tucker S L, Zhou S H, Liao Z X, Mawlawi O, Ibbott G, Court L E. 2014. Prognostic value and reproducibility of pretreatment CT texture features in stage Ⅲ non-small cell lung cancer. International Journal of Radiation Oncology Biology Physics, 90(4): 834-842 [DOI:10.1016/j.ijrobp.2014.07.020]
  • Gao Y, Phillips J M, Zheng Y, Min R Q, Fletcher P T and Gerig G. 2018. Fully convolutional structured LSTM networks for joint 4D medical image segmentation//Proceedings of the 15th IEEE International Symposium on Biomedical Imaging. Washington: IEEE: 1104-1108[DOI:10.1109/ISBI.2018.8363764]
  • Gao Y, Zhang M M, Grewen K, Fletcher P T and Gerig G. 2016. Image registration and segmentation in longitudinal MRI using temporal appearance modeling//Proceedings of the 13th IEEE International Symposium on Biomedical Imaging. Prague, Czech Republic: IEEE: 629-632[DOI:10.1109/ISBI.2016.7493346]
  • Gooya A, Pohl K M, Bilello M, Cirillo L, Biros G, Melhem E R, Davatzikos C. 2012. GLISTR:glioma image segmentation and registration. IEEE Transactions on Medical Imaging, 31(10): 1941-1954 [DOI:10.1109/tmi.2012.2210558]
  • Gur S, Wolf L, Golgher L, Blinder P. 2020. Microvascular dynamics from 4D microscopy using temporal segmentation. Pacific Symposium on Biocomputing, 25: 331-342 [DOI:10.1142/9789811215636_0030]
  • Gutman D A, Cooper L A D, Hwang S N, Holder C A, Gao J J, Aurora T D, Dunn W D Jr, Scarpace L, Mikkelsen T, Jain R, Wintermark M, Jilwan M, Raghavan P, Huang E, Clifford R J, Mongkolwat P, Kleper V, Freymann J, Kirby J, Zinn P O, Moreno C S, Jaffe C, Colen R, Rubin D L, Saltz J, Flanders A, Brat D J. 2013. MR imaging predictors of molecular profile and survival:multi-institutional study of the TCGA glioblastoma data set. Radiology, 267(2): 560-569 [DOI:10.1148/radiol.13120118]
  • He T, Mao H, Guo J X, Yi Z. 2017. Cell tracking using deep neural networks with multi-task learning. Image and Vision Computing, 60: 142-153 [DOI:10.1016/j.imavis.2016.11.010]
  • Henker C, Kriesen T, Glass Ä, Schneider B, Piek J. 2017. Volumetric quantification of glioblastoma:experiences with different measurement techniques and impact on survival. Journal of Neuro-Oncology, 135(2): 391-402 [DOI:10.1007/s11060-017-2587-5]
  • Hossain M S, Muhammad G. 2019. An audio-visual emotion recognition system using deep learning fusion for a cognitive wireless framework. IEEE Wireless Communications, 26(3): 62-68 [DOI:10.1109/mwc.2019.1800419]
  • Hou Y, Konen J, Brat D J, Marcus A I, Cooper L A D. 2018. TASI:a software tool for spatial-temporal quantification of tumor spheroid dynamics. Scientific Reports, 8: #7248 [DOI:10.1038/s41598-018-25337-4]
  • Huang H, Zhang M, Chen C, Zhang H L, Wei Y Q, Tian J B, Shang J, Deng Y, Du A H and Dai H P. 2020. Clinical Characteristics of COVID-19 in patients with pre-existing ILD: a retrospective study in a single center in Wuhan, China.[EB/OL].[2020-05-01]. https://onlinelibrary.wiley.com/doi/pdf/10.1002/jmv.26174[DOI:10.1002/jmv.26174]
  • In't Veld M, Fronczek R, dos Santos M P, van Walderveen M A A, Meijer F J A, Willems P W A, Zhang X Q. 2020. High sensitivity and specificity of 4D-CTA in detecting intracranial arteriovenous shunt. International Journal of Medical Radiology, 43(1): #119 (In't Veld M, Fronczek R, dos Santos M P, van Walderveen M A A, Meijer F J A, Willems P W A, 张晓琦. 2020. 4 d-cta在检测颅内动静脉分流中的高敏感度和特异度. 国际医学放射学杂志, 43(1): #119) [DOI:10.19300/j.2020.e1107]
  • Janas K, Kudla M J, Janas A, Blicharz-Dorniak J, Kos-Kudla B. 2019. Spatio-temporal image correlation (STIC) in evaluation of advanced neuroendocrine tumours. Endokrynologia Polska, 70(3): 219-223 [DOI:10.5603/EP.a2019.0001]
  • Jiang X X, Luo G H, Zhou F, Liu W H. 2020. Application value of 4D-CT angiography in the diagnosis of intracranial aneurysm. Journal of China Medical University, 49(4): 336-341 (蒋孝先, 罗光华, 周飞, 刘文洪. 2020. 4D-CTA在颅内动脉瘤诊断中的应用价值. 中国医科大学学报, 49(4): 336-341) [DOI:10.12007/j.issn.0258-4646.2020.04.010]
  • Jiao Y, Weng M and Yang M. 2019. Multi-object portion tracking in 4D fluorescence microscopy imagery with deep feature maps//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach: IEEE: 1087-1096[DOI:10.1109/cvprw.2019.00142]
  • Kickingereder P, Isensee F, Tursunova I, Petersen J, Neuberger U, Bonekamp D, Brugnara G, Schell M, Kessler T, Foltyn M, Harting I, Sahm F, Prager M, Nowosielski M, Wick A, Nolden M, Radbruch A, Debus J, Schlemmer H P, Heiland S, Platten M, von Deimling A, van den Bent M J, Gorlia T, Wick W, Bendszus M, Maier-Hein K H. 2019. Automated quantitative tumour response assessment of MRI in neuro-oncology with artificial neural networks:a multicentre, retrospective study. The Lancet Oncology, 20(5): 728-740 [DOI:10.1016/s1470-2045(19)30098-1]
  • Kitrungrotsakul T, Han X H, Iwamoto Y, Takemoto S, Yokota H, Ipponjima S, Nemoto T, Wei X and Chen Y W. 2019. A cascade of 2.5D CNN and bidirectional CLSTM network for mitotic cell detection in 4D microscopy image. IEEE/ACM Transactions on Computational Biology and Bioinformatics[DOI:10.1109/tcbb.2019.2919015]
  • Li H W. 2019. Value of CTP and 4D-CTA in evaluating cerebrovascular stenosis or occlusion. Chinese Journal of CT and MRI, 17(3): 69-71, 112 (李红伟. 2019. CTP与4D-CTA在评估脑血管狭窄或闭塞的价值研究. 中国CT和MRI杂志, 17(3): 69-71, 112) [DOI:10.3969/j.issn.1672-5131.2019.03.022]
  • Li Q, Dong Q L, Ge F F, Qiang N, Zhao Y, Wang H, Huang H, Wu X and Liu T M. 2019. Simultaneous spatial-temporal decomposition of connectome-scale brain networks by deep sparse recurrent auto-encoders//Proceedings of the 26th International Conference on Information Processing in Medical Imaging. Hong Kong, China: Springer: 579-591[DOI:10.1007/978-3-030-20351-1_45]
  • Li W, Lin X F, Chen X. 2020. Detecting Alzheimer's disease based on 4D fMRI:an exploration under deep learning framework. Neurocomputing, 388: 280-287 [DOI:10.1016/j.neucom.2020.01.053]
  • Li X D, Deng Z H, Deng Q H, Zhang L D, Niu T Y, Kuang Y. 2018. A novel deep learning framework for internal gross target volume definition from 4D computed tomography of lung cancer patients. IEEE Access, 6: 37775-37783 [DOI:10.1109/access.2018.2851027]
  • Liu Y X, Sadowski S M, Weisbrod A B, Kebebew E, Summers R M, Yao J H. 2014. Patient specific tumor growth prediction using multimodal images. Medical Image Analysis, 18(3): 555-566 [DOI:10.1016/j.media.2014.02.005]
  • Lou Y F, Irimia A, Vela P A, Chambers M C, van Horn J D, Vespa P M, Tannenbaum A R. 2013. Multimodal deformable registration of traumatic brain injury MR volumes via the Bhattacharyya distance. IEEE Transactions on Biomedical Engineering, 60(9): 2511-2520 [DOI:10.1109/tbme.2013.2259625]
  • Ma J X. 2020. Longitudinal study:mearsuring changes and explaining the causal relationship. Document, Information and Knowledge, (1): 31-35 (马晶鑫. 2020. 纵向研究——测量变化和解释因果关系. 图书情报知识, (1): 31-35) [DOI:10.13366/j.dik.2010.01.018]
  • Martins W P, Welsh A W, Lima J C, Nastri C O, Raine-Fenning N J. 2011. The "volumetric" pulsatility index as evaluated by spatiotemporal imaging correlation (STIC):a preliminary description of a novel technique, its application to the endometrium and an evaluation of its reproducibility. Ultrasound in Medicine and Biology, 37(12): 2160-2168 [DOI:10.1016/j.ultrasmedbio.2011.08.014]
  • Menze B H, van Leemput K, Honkela A, Konukoglu E, Weber M A, Ayache N and Golland P. 2011. A generative approach for image-based modeling of tumor growth//Proceedings of the 22nd Information Processing in Medical Imaging. Kloster Irsee: Springer: 735-747[DOI:10.1007/978-3-642-22092-0_60]
  • Müller M, Bibi A, Giancola S, Alsubaihi S and Ghanem B. 2018. TrackingNet: a large-scale dataset and benchmark for object tracking in the wild//Proceedings of the 15th European Conference on Computer Vision. Munich: Springer: #434[DOI:10.1007/978-3-030-01246-5_19]
  • Nakamura T, Matsumine A, Matsubara T, Asanuma K, Uchida A, Sudo A. 2011. Clinical impact of the tumor volume doubling time on sarcoma patients with lung metastases. Clinical and Experimental Metastasis, 28(8): 819-825 [DOI:10.1007/s10585-011-9413-9]
  • Nath S K, Sandhu A P, Jensen L, Kim D, Bharne A, Nobiensky P D, Lawson J D, Fuster M M, Bazhenova L, Song W Y, Mundt A J. 2011. Frameless image-guided stereotactic body radiation therapy for lung tumors with 4-dimensional computed tomography or 4-dimensional positron emission tomography/computed tomography. Clinical Lung Cancer, 12(3): 180-186 [DOI:10.1016/j.cllc.2011.03.014]
  • Ou Y M, Sotiras A, Paragios N, Davatzikos C. 2011. Dramms:deformable registration via attribute matching and mutual-saliency weighting. Medical Image Analysis, 15(4): 622-639 [DOI:10.1016/j.media.2010.07.002]
  • Petridis S, Stafylakis T, Ma P E H, Cai F P, Tzimiropoulos G and Pantic M. 2018. End-to-end audiovisual speech recognition//Proceedings of 2018 IEEE International Conference on Acoustics, Speech, and Signal Processing. Calgary: IEEE: 6548-6552[DOI:10.1109/ICASSP.2018.8461326]
  • Pham J, Harris W, Sun W Z, Yang Z, Yin F F, Ren L. 2019. Predicting real-time 3D deformation field maps (DFM) based on volumetric cine MRI (VC-MRI) and artificial neural networks for on board 4D target tracking:a feasibility study. Physics in Medicine and Biology, 64(16): #165016 [DOI:10.1088/1361-6560/ab359a]
  • Puranik M, Shah H, Shah K and Bagul S. 2018. Intelligent alzheimer's detector using deep learning//Proceedings of the 2nd International Conference on Intelligent Computing and Control Systems. Madurai: IEEE: 318-323[DOI:10.1109/ICCONS.2018.8663065]
  • Qi S L, Sui J, Chen J Y, Liu J Y, Jiang R T, Silva R, Iraji A, Damaraju E, Salman M, Lin D D, Fu Z N, Zhi D M, Turner J A, Bustillo J, Ford J M, Mathalon D H, Voyvodic J, McEwen S, Preda A, Belger A, Potkin S G, Mueller B A, Adali T, Calhoun V D. 2019. Parallel group ICA + ICA:joint estimation of linked functional network variability and structural covariation with application to schizophrenia. Human Brain Mapping, 40(13): 3795-3809 [DOI:10.1002/hbm.24632]
  • Qi S L, Yang X, Zhao L S, Calhoun V D, Perrone-Bizzozero N, Liu S F, Jiang R T, Jiang T Z, Sui J, Ma X H. 2018. MicroRNA132 associated multimodal neuroimaging patterns in unmedicated major depressive disorder. Brain, 141(3): 916-926 [DOI:10.1093/brain/awx366]
  • Reuter M, Schmansky N J, Rosas H D, Fischl B. 2012. Within-subject template estimation for unbiased longitudinal image analysis. Neuroimage, 61(4): 1402-1418 [DOI:10.1016/j.neuroimage.2012.02.084]
  • Roque T, Risser L, Kersemans V, Smart S, Allen D, Kinchesh P, Gilchrist S, Gomes A L, Schnabel J A, Chappell M A. 2018. A DCE-MRI driven 3-D reaction-diffusion model of solid tumor growth. IEEE Transactions on Medical Imaging, 37(3): 724-732 [DOI:10.1109/tmi.2017.2779811]
  • Sarraf S, Desouza D D, Anderson J A E, Saverino C. 2019. MCADNNet:recognizing stages of cognitive impairment through efficient convolutional fMRI and MRI neural network topology models. IEEE Access, 7: 155584-155600 [DOI:10.1109/access.2019.2949577]
  • Shi F Y, Qin W, Chen F, Zhao H Y, Jin X. 2020. Effects of respiratory phase and phantom position on uniformity of 4D-CT image. Chinese Journal of Medical Physics, 37(1): 65-68 (时飞跃, 秦伟, 陈飞, 赵环宇, 金洵. 2020. 呼吸时相和模体位置对4D-CT图像均匀性的影响. 中国医学物理学杂志, 37(1): 65-68) [DOI:10.3969/j.issn.1005-202X.2020.01.013]
  • Song W T, Han P, Yang X F, Wang Z and Zhou K F. 2019. Application of 4D-CTA technique in acute pulmonary embolism. Guangxi Medical Journal, 41(1): 96-98 (宋维通, 韩鹏, 杨献峰, 王钟, 周科峰. 2019.4D-CTA技术在急性肺动脉栓塞中的应用.广西医学, 41(1): 96-98 [DOI:CNKI:SUN:GYYX.0.2019-01-024])
  • Sundarapandian M, Kalpathi R, Siochi R A C, Kadam A S. 2016. Lung diaphragm tracking in CBCT images using spatio-temporal MRF. Computerized Medical Imaging and Graphics, 53: 9-18 [DOI:10.1016/j.compmedimag.2016.07.001]
  • Tao F, Busso C. 2019. End-to-end audiovisual speech activity detection with bimodal recurrent neural models. Speech Communication, 113: 25-35 [DOI:10.1016/j.specom.2019.07.003]
  • van de Leemput S C, Meijs M, Patel A, Meijer F J A, van Ginneken B, Manniesing R. 2019. Multiclass brain tissue segmentation in 4D CT using convolutional neural networks. IEEE Access, 7: 51557-51569 [DOI:10.1109/access.2019.2910348]
  • Wang B, Prastawa M, Irimia A, Saha A, Liu W, Goh S Y M, Vespa P M, van Horn J D, Gerig G. 2016. Modeling 4D pathological changes by leveraging normative models. Computer Vision and Image Understanding, 151: 3-13 [DOI:10.1016/j.cviu.2016.01.007]
  • Wong K C L, Summers R M, Kebebew E, Yao J H. 2017. Pancreatic tumor growth prediction with elastic-growth decomposition, image-derived motion, and FDM-FEM coupling. IEEE Transactions on Medical Imaging, 36(1): 111-123 [DOI:10.1109/tmi.2016.2597313]
  • Yang D W, Jia X B, Xiao Y J, Wang X P, Wang Z C, Yang Z H. 2019. Noninvasive evaluation of the pathologic grade of hepatocellular carcinoma using MCF-3DCNN:a pilot study. Biomed Research International, 2019: #9783106 [DOI:10.1155/2019/9783106]
  • Yang Y, van Reeth E, Poh C L, Tan C H, Tham I W K. 2014. A spatiotemporal-based scheme for efficient registration-based segmentation of thoracic 4-D MRI. IEEE Journal of Biomedical and Health Informatics, 18(3): 969-977 [DOI:10.1109/jbhi.2013.2282183]
  • Zeng X T, Xu C Y, Zhang Y, Dong G Z, Tang X Y. 2019. Research progress on artificial intelligence in the standardization system construction of medical big data. Beijing Biomedical Engineering, 38(6): 639-643 (曾晓天, 徐春园, 张勇, 董国昭, 唐晓英. 2019. 人工智能在医学大数据标准化体系建设中的研究进展. 北京生物医学工程, 38(6): 639-643)
  • Zerka F, Barakat S, Walsh S, Bogowicz M, Leijenaar R T H, Jochems A, Miraglio B, Townend D, Lambin P. 2020. Systematic review of privacy-preserving distributed machine learning from federated databases in health care. JCO Clinical Cancer Informatics, (4): 184-200 [DOI:10.1200/cci.19.00047]
  • Zhang L, Lu L, Wang X S, Zhu R M, Bagheri M, Summers R M, Yao J H. 2019. Spatio-temporal convolutional LSTMs for tumor growth prediction by learning 4D longitudinal patient data. IEEE Transactions on Medical Imaging, 39(4): 1114-1126 [DOI:10.1109/tmi.2019.2943841]
  • Zhao Y, Li X, Zhang W, Zhao S J, Makkie M, Zhang M, Li Q Z and Liu T M. 2018. Modeling 4D fMRI data via spatio-temporal convolutional neural networks (ST-CNN)//Proceedings of the 21st International Conference on Medical Image Computing and Computer-Assisted Intervention. Granada: Springer: 1-8[DOI:10.1007/978-3-030-00931-1_21]
  • Zhong R, Li H, Zhang S, Liu J J. 2018. Advances on recognizing and managing tumor heterogeneity. Chinese Journal of Lung Cancer, 21(9): 712-718 (钟睿, 李慧, 张爽, 柳菁菁. 2018. 如何认识和处理肿瘤异质性. 中国肺癌杂志, 21(9): 712-718) [DOI:10.3779/j.issn.1009-3419.2018.09.11]
  • Zhu H Y, Jin Y C. 2020. Multi-objective evolutionary federated learning. IEEE Transactions on Neural Networks and Learning Systems, 31(4): 1310-1322 [DOI:10.1109/tnnls.2019.2919699]