0引言纵向分析(马晶鑫，2020)描述的是在多个时间点收集相同对象在一个或多个变量上的数据，研究其随时间的变化情况, 适用于对变化的模式以及因果关系的方向和强度进行研究，在医学领域中常用于研究疾病变化情况和病因。目前临床医生及实验人员能以固定时间周期获取3维图像的时间序列，即同时带有时间和空间信息的4D(3D+时间)纵向数据，如双光子显微镜、4D超声、CT/MRI(computer tomography/magnetic resonance imaging)的Cine扫描模式、fMRI(functional magnetic resonance imaging)或人为选择时间点进行扫描，采用张量表示法将收集的数据按1个时间和3个空间维度进行整合，非常适合纵向分析，但由于缺乏合适的处理算法，过去许多研究将4D数据切片为2D/3D图片，导致明显的信息丢失。人工智能充分发挥其在海量数据处理上的天然优势，为解决4D纵向数据维度高、运算量大和难以分析等问题带来了新的解决途径，其中卷积神经网络(convolutional neural networks，CNNs)以及长短期记忆网络(long short-term memory，LSTM)等深度学习算法在自然语言、音频、图像和视频等不同模态的处理所取得的效果已经远超传统方法(曾晓天等, 2019)。在使用4D数据进行纵向医学图像分析方面，深度学习能充分利用空间信息和时变信息，研究目标随时间的动态变化处于起步阶段，研究较少，在生物学运动目标追踪、医学影像分割、血管动力学、神经科学和肿瘤生长预测等方面的应用如表 1所示。 表1 4D时空分析中深度学习方法的应用 文献 深度学习方法类型 数据集 结果 应用 Kitrungrotsakul等人(2019) 2.5D CNN+ CLSTM TC-IAIP AIA2017 精确率: 81.8% 4D显微镜图像中的有丝分裂细胞检测 Jiao等人(2019) FCDN(fully convolutional DenseNets)+ DFMT — 准确率：98.52% 4D荧光显微图像中的多目标跟踪 Gao人(2018) FCSLSTM(fully convolutional structured LSTM networks) BRICIBIS MPA: 93.5% 4DMRI-医学图像分割 van de Leemput等人(2019) CNN 42 patients MDC: 0.87±0.04 4DCT-多类脑组织分割 Li等人(2018) Transfer Learning 77 patients RVI: 0.95±0.04 4DCT-确定放疗肿瘤靶体积 Pham等人(2019) ADMLP-NN — VDC: 0.92 ± 0.02 4DMRI-放疗目标跟踪 Zhao等人(2018) ST-CNN HCP Q1 皮尔逊相关系数: 0.878 识别大脑功能性网络 Li等人(2019) DSRAE HCP — 时空模式大脑网络 El-Gazzar等人(2020) 3DCNN+双向3DC-LSTM ABIDE F1-score: 0.78 fMRI-自闭症谱系障碍分类 Bengs等人(2020) 4D CNN+Conv-RNN — F1-score: 0.71 fMRI-自闭症谱系障碍分类 Sarraf等人(2019) MCADNNet ADNI F1-score: 0.93 阿尔茨海默病(AD)的早期诊断 Puranik等人(2018) CNN + Transfer Learning ADNI 准确率: 98.41% 阿尔茨海默病的早期诊断 Li等人(2020) 3D CNN-LSTM ADNI AUC: 0.92 阿尔茨海默病的早期诊断 Zhang等人(2019) Spatio-temporal-ConvLSTM 33 patients Dice Scores: 83.2% 肿瘤生长预测 Yang等人(2019) MCF-3DCNN 51 patients 准确率: 73.96% 肝癌病理分级 Application of deep learning method in 4D spatiotemporal analysisTable 1 表中部分缩名词：MPA(mean pixel accuracy), 4DCT(four-dimensional computed tomography), MDC(mean Dice coefficients), RVI(Relative volume index), ADMLP-NN(adaptive boosting and multi-layer perceptron neural network), VDC(volume dice coefficient), AUC(area under curve), DSRAE(deep sparse recurrent auto-encoder), HCP (human connectome project), AD(alzheimer disease), MCI(Mild cognitive impairment), MCF (multichannel fusion)。“—”为无数据。1生物学运动目标追踪：4D显微镜生物学数据分析是图像处理领域极具挑战性的任务, 由于生物体中的细胞粘连、形态不规则、结构很小且数量庞大直接影响图像分割的准确性；且细胞及亚细胞结构(如蛋白质复合物)除了快速迁移和复杂运动外，还具有连续的形态变化，包括分裂和融合，难以进行目标跟踪(He等, 2017)；因此使用4D动态显微镜数据同时得到邻近切片的空间信息及相邻的时间帧信息{t-2, t-1, t, t+1, t+2}进行纵向分析十分适合生物学领域的目标检测及追踪任务，t代表时间。传统追踪方法如最近邻、卡尔曼滤波等，难以适用于复杂变化的生物学目标。研究表明，与传统方法使用对象位置或运动路径不同, 通过对象识别进行跟踪的深度学习效果更好(Müller等，2018)。不同于在图像分割任务构建单个网络对时间和空间一致性联合建模，追踪任务使用网络级联的方式单纯扩展模型的时间信息(3D+时间)，即先使用卷积神经网络作为第1个网络处理附近切片中的体积信息，检测出候选单元，然后根据不同任务输出结果的不同，级联其他算法如Kitrungrotsakul等人(2019)级联长短时记忆网络利用相邻的时间帧信息细化第1个网络结果，检测有丝分裂细胞。Jiao等人(2019)提出深度特征图跟踪(deep feature map tracking, DFMT)方法依据3维分割得到的特征响应图在扩展的搜索空间中查找最高的相关性来执行两帧中复杂的运动目标之间的匹配，实现多目标跟踪。24D医学影像数据自动分割精确的组织分割是图像分析的第1步，由于建立动态病变模型需解决受试者内部和受试者间时间序列图像的配准问题，故在纵向医学研究领域尤为重要。如创伤性脑损伤(traumatic brain injury, TBI)(Dennis等, 2018)以及胶质瘤等呈现高度异质性的多灶性疾病，病变区解剖结构常存在较大变形(水肿和出血等)，但这些在规范图集空间并不存在。传统方法高度依赖时间序列中图像彼此间的相似性，通过将健康的规范模板变形映射到病变对象的图像数据建立新模板(Menze等，2011；Gooya等，2012；Wang等，2016；Reuter等，2012)或专门设计参数使图像共同配准(Gao等，2016；Lou等，2013；Ou等，2011)来辅助分割，通常需要针对特定数据集设计大量复杂参数，而当图像序列出现数据集以外较大的外观变化时可能会失效。为解决这一问题，Gao等人(2018)和van de Leemput等人(2019)使用卷积神经网络进行序列到序列建模，分别对4DMRI和CT进行端到端脑组织像素级分割，凭借少量参数在多个数据集显示可行性。4D医学影像数据自动分割典型应用在医学立体定向放射治疗(stereotactic body radiation therapy，SBRT)领域，为减少癌症患者在呼吸运动过程中胸腔和腹部肿瘤非常明显的位置移动及形状变化带来的影响，常在临床靶区周边外扩一个足够大的边界，使之覆盖完全，但同时也会使肺组织受到不必要的照射(Nath等，2011; Chen等, 2004)。为更准确地计算给感兴趣区域的每个体素的剂量，制定呼吸运动状态下放疗过程的动态剂量分布，需要实时追踪呼吸运动时肿瘤位置并定量分析形状的改变，为此需要精确地分割感兴趣结构。研究首先使用实时位置管理(real-time position management, RPM)系统和Cine扫描技术记录患者的呼吸运动并将时间信息整合到CT图像中，得到与呼吸运动相伴的空间运动特征，整理成4D纵向医学影像数据集(时飞跃等，2020)。Sundarapandian等人(2016)和Li等人(2018)分别对时间分辨的4D-CT数据应用时空马尔可夫随机场(Markov random field, MRF)和迁移学习算法追踪肺隔膜运动范围及确定肿瘤靶体积(internal gross target volume, IGTV)，结果远远优于从透视分析。同理使用4D胸椎MRI数据进行呼吸运动管理，无电离辐射且软组织对比度更高，Pham等人(2019)和Yang等人(2014)分别使用自适应增强多层感知器神经网络(ADMLP-NN)和根据时空信息调整配准参数的方法自动分割。3血管动力学研究：4D-CTA4D-CTA(computed tomography angiography)血管成像技术能实时定量分析肺动脉和颅内动脉血流动力学改变情况，在颅内动脉瘤、脑血管狭窄或闭塞等脑血管疾病及急性肺动脉栓塞的成像检查中极具应用价值，且经常联合CT灌注成像(computed tomography perfusion, CTP)技术以准确反映脑血管情况。国内大多数研究由临床医生主导，聚焦于将4D-CTA与3D-CTA、数字减影血管造影(digital subtraction angiography, DSA)、智能对比剂追踪法等其他血管成像技术进行对照实验：将患者随机分为A、B两组，分别使用不同扫描方案，验证4D-CTA在疾病诊断中的准确性及应用价值，如冯永恒等人(2020)、宋维通等人(2019)应用于急性肺栓塞患者肺动脉成像，记录影像学特征及栓子数量，与金标准进行一致性分析。In’t Veld等人(2020)、蒋孝先等人(2020)分别与DSA和3D-CTA进行对照，证明提取出颅内动静脉分流运动情况等动态特征的临床意义。冯瑞等人(2019)和李红伟(2019)联合CTP技术，计算其在检测形态及供血异常脑血管时的灵敏度和准确度等。除使用4D-CTA外，Gur等人(2020)调整深度学习血管分割网络用于追踪双光子显微镜中脑血量随时间的变化，并识别自发性动脉扩张。Dewhurst等人(2020)使用4D Flow MRI量化右心房的血流动力学以及相关的上腔静脉(superior vena cava, SVC)和下腔静脉(inferior vena cava, IVC)流入。4神经科学：4D-fMRI在神经科学领域，功能磁共振成像(fMRI)具有时间属性，通过检测血流的变化来捕获神经活动，并将测得的大脑活动与测量活动性的空间位置以及进行测量的时间一起存储。fMRI维度很高(约100万)且数据集基数有限(通常小于200个样本/对象)，因此提取时空模式具有挑战性。一些研究不直接处理4D数据，而是将其经预处理分解为2D图像，如Sarraf等人(2019)和Puranik等人(2018)使用卷积神经网络进行阿尔茨海默症(Alzheimer disease, AD)和轻度认知障碍(mild cognitive impairment, MCI)分类。这种方法取得了一定的成绩，但Eklund等人(2016)证明，如果在fMRI分析过程中忽略数据彼此在时间和空间上的相关性，会导致结果的准确性和可解释性较差。可见从4D-fMRI数据同时建模大脑功能网络的时空模式既是神经科学的基础，又是挑战性任务。Qi等人(2019)提出“GICA +ICA(group independent component analysis+independent component analysis)”的方法，将来自组独立成分分析(GICA)的fMRI时间信息合并到并行的独立成分分析(ICA)框架中，实现第1级fMRI特征与其他模态，如结构磁共振成像(structural MRI, sMRI)的直接融合，检测精神分裂症功能网络和结构的协变。此外，也有深度学习算法直接处理4D数据。Zhao等人(2018)提出的ST-CNN联合提取时空特征，自动识别大脑功能性网络，并用fMRI数据中的默认模式网络(default mode network, DMN)评估定位效果。Li等人(2019)提出深度稀疏递归自动编码器(deep sparse recurrent auto-encoder，DSRAE)，以无监督的方式学习时空模式大脑网络。得到大脑功能结构，可以进一步应用于脑部疾病数据集，更好地了解脑部异常活动。El-Gazzar等人(2020)使用3D CNN和双向3DC-LSTM从4D数据中提取时空特征，并在公开的ABIDE数据集上评估模型，在自闭症谱系障碍(autism spectrum disorders, ASD)分类问题上F1-score为0.78。Bengs等人(2020)采用4D卷积神经网络和卷积递归模型从时空fMRI数据中学习自闭症谱系障碍分类，其F1-score为0.71。Li等人(2020)使用3D CNN-LSTM在ADNI数据集进行AD的早期诊断，实验结果证明充分利用4D-fMRI数据中保留的自然时空信息可提高分类器性能，有助于AD检测。5肿瘤生长预测及辅助诊断使用添加时间信息的体积纵向数据进行肿瘤生长建模，计算出一段时间内肿瘤大小的变化情况，即肿瘤的生长特性，可在诊断阶段辅助医生从生长速度角度判断良恶性(良性肿瘤普遍较恶性生长速度慢)、癌症分级、建议患者复查时间。在治疗阶段，精确测算瘤体变化情况，评估放疗或药物治疗效果，预测生存期，为患者制定个性化治疗方案，并促进药物开发。目前主要有3种方式：简单临床指标、数学建模和深度学习。5.1简单临床指标通过不同时间点影像的对比，以肿瘤体积为响应变量，量化单个患者的肿瘤生长速度。Nakamura等人(2011)计算体积倍增时间(volume double time, VDT)等指标量化体积增长一倍所需的时间，评估患者的长期生存机会。在4D超声成像领域，Janas等人(2019)和Martins等人(2011)通过时空成像相关性(spatio-temporal image correlation, STIC)技术计算血管化异常患者的容积搏动指数(volume pulsatility index, vPI)和容积收缩/舒张指数(volume systolic/diastolic, vS/D)等指标，对器官和组织血流进行检测和定量，以及评估晚期神经内分泌肿瘤等。得到指标量化值后，以总生存期(overall survival, OS)为标准，在两个纵向数据集上使用时间相关的Cox回归模型等统计方法与传统评估(如RANO(response assessment in neuro-oncology)标准)相比，分析它们和OS的关系，即该指标是否与总生存期显著相关，在预测总体生存期方面更有优势(Kickingereder等，2019；Fried等，2014)。但Henker等人(2017)研究表明：除体积测量方法各异、选择患者不准确等导致结论相反的情况外，不同水平个体随时间变化情况不同，且同一个体在病情不同阶段对治疗反应不一。为解决这一问题，可将数据构造出多水平的层次结构，以肿瘤体积大小或肿瘤恶化情况将纵向数据分为层级1、层级2，进行纵向观测数据的多层分析，对不同个体间发展的差异及同一个体随时间的复杂变化情况进行解释。5.2数学建模在预测未来肿瘤生长方面，常使用偏微分方程领域的反应扩散方程和生物力学进行个性化数学建模(Hou等，2018；Liu等，2014；Wong等，2017；Roque等，2018)，通过有限差分法与有限元法导出并求解，根据早期时间点估计的肿瘤特异性参数拟合一条参数曲线，预测最后一个时间点的生长参数，得到预测的肿瘤体积结果，并与观察到的参考值进行比较，计算相对体积差(relative volume difference，RVD)、Dice重叠率以评估模型准确性。然而数学模型由于参数数量有限以及缺乏人群趋势统计数据，其精度可能会受到限制，且不能完全契合地模拟, 经常需要调整参数，没有自动效果。5.3深度学习Zhang等人(2019)使用深度学习中的卷积神经网络从静态图像中提取空间结构特征以及长短期记忆网络捕捉数据包含的时变信息，联合学习层内空间结构、3维上下文中的层间相关性和时间序列中的时间动态，将时间1和时间2的肿瘤图像切片作为输入，时间2和时间3的图像用来计算损失，预测肿瘤生长。与其他方法仅预测未来的肿瘤体积相比，深度学习模型基于整体图像，通过改变输出可以预测肿瘤其他的特性，如细胞密度、CT强度数字，以及肿瘤病理等级(Yang等，2019)。但纵向分析包含以往未涉及的时间信息及医疗数据本身具有的小样本、获取成本大、对分辨率要求更高等问题，使纵向数据收集更加困难。样本少、模型参数多和计算量巨大等问题导致深度学习的方法容易过拟合、且未必获得更好的效果。6前瞻性探索及可行性分析6.1多模态纵向数据联合横向角度关联分析纵向分析大多关注病灶宏观形态的改变，对实性结构如肿瘤来说，其重要特征之一是异质性，即生理组织特征的变异性，这导致了不同程度的坏死、水肿和增强(钟睿等, 2018)。但肿瘤宏观体积和位置的变化不能反映所有的肿瘤生物学信息，无法预测临床相关的肿瘤性质。对肺炎等弥漫性病灶来说，不同类型肺炎在某一阶段都存在磨玻璃影等相似影像学特征，难以对新冠肺炎与其他病毒性肺炎、细菌性肺炎、真菌性肺炎进行分类。对病毒性传染病来说，以COVID-19为例，ICU(intensive care unit)患者血浆中IL(interleukin)-2、MIP1A (macrophage inflammatory protein-1alpha)和TNF(tumor necrosis factor)-α等细胞因子水平比非ICU感染患者更高(Huang等，2020)。这些信息均暗示了细胞因子的分泌情况可能与新冠肺炎患者肺部病变的严重程度相关。为此一些研究使用影像组学从横向角度，使用影像结合微观基因水平、蛋白质模式的改变，将影像特征与组织病理的生物学特性、基础遗传学、临床数据联系起来，为靶向治疗和新药开发等提供依据，增强常规的预后和生长预测。如Gutman等人(2013)使用癌症基因组图谱(the cancer genome atlas, TCGA)数据库中75例胶质瘤患者的遗传资料和术前MR图像，通过多元Cox回归模型分析成像特征与基因组学之间的关联。中科院脑网络中心Qi等人(2018)将表观遗传调节因子microRNA132与多模态脑成像数据直接联系在一起进行影像基因关联研究，结果表明未用药的抑郁症中miR-132因子的高表达与前额叶——边缘中fALFF(fractional amplitude of low-frequency fluctuations)和灰质体积等指标值的降低有关。未来横向关联分析可以包括时间特征，捕获时间和空间变化之间的联系，将分子特征量化值与组织病理学的改变一一对应，证明细胞因子的分泌情况与影像中病变严重程度之间的相关性，即由表及里地解释疾病的因果关系，真正做到个性化治疗。计算机视觉已成功对视频和音频等不同模态动态数据进行数据融合，对语音(Petridis等，2018; Tao和Busso，2019)、情绪进行识别(Hossain和Muhammad，2019)，对自然语言和图像联合表示进行多媒体内容索引(Baltrusaitis等，2019)，表明了多模态纵向数据联合横向角度关联分析技术上的可行性。6.2联邦学习辅助算法部署人工智能算法的准确率及泛化性很大程度上依赖于大规模、高质量的数据，医疗数据相较于其他领域数据具有样本少、获取成本大、对分辨率要求更高的问题，此外由于涉及患者的隐私使医院之间数据更难共享，形成数据孤岛。而纵向数据由于包含以往未涉及的时间信息使数据收集更加困难。国内外研究者对于联邦学习(federated learning, FL)有很积极的探索，联邦学习本质上是一种分布式机器学习技术(Zerka等，2020; Zhu和Jin, 2020)，试图在保证数据隐私安全的基础上(即每个客户端的原始数据存储在本地，无需交换或迁移)，多个组织合作训练一个模型，提升AI模型的效果。Chang等人(2018)和Deist等人(2017)通过从来自不同国家不同医疗机构内存储的数据中学习而无需共享任何医学数据，并将联邦学习算法与集中式学习算法的性能进行了比较，结果表明，分布式模型的准确性与中央模型相似。证明将联邦学习应用到实际的科研、医院中行之有效。在医学纵向数据分析方面，使用联邦学习，保证不进行数据交换的同时提升模型泛化性，使同一模型适用其他多个医院的数据，同时保护医疗数据的隐私；使用迁移学习，解决高质量样本少，逐帧标签缺失严重的问题，提升模型准确率。结合联邦学习与迁移学习在未来可以解决当产品落地时用户的隐私等安全隐患问题。7结语目前大多数医学影像处理集中于对2D“死片子”的认知，难以突破现有瓶颈，但使用带有时间和空间信息的4D(3D+时间)影像数据，进行时空纵向生物医学分析，以捕获时间和空间变化之间的联系，还有很大进步空间。人工智能在海量数据处理上相比传统算法有一定优势，在未来可以结合联邦学习辅助顺利落地；结合多模态的纵向数据联合横向角度关联分析，由表及里地解释疾病的因果关系，真正做到个性化治疗。