随着航空遥感多源传感器的发展及多模态数据融合与智能解译技术的推进，航空遥感技术正经历从单一模态到多模态的深刻变革。这一进展为精准农业、城市环境监测、生态保护及自然灾害评估等领域的智能化监测与决策提供了重要的应用前景。传统的遥感影像解译方法主要依赖单源传感器数据和单任务学习模型，难以应对地表地物目标尺度多变、语义层次丰富、时空异质性强的复杂场景。近年来，多模态大模型的快速发展推动了遥感技术的显著进步，尤其在视觉—语言融合、跨模态推理，以及基于任务指令的跨模态分析与生成等方面取得了重要成果。然而，如何有效处理多源异构数据、提升模型的可解释性，同时保证实时推理能力，仍是当前面临的核心挑战。针对上述问题，对近年来航空遥感领域多模态数据融合及大模型技术的研究进展进行了系统评述，并深入分析了关键技术瓶颈与未来发展方向。研究重点包括跨传感器、多源及多尺度数据融合、空间语义推理、模型的可信推理与可解释性评估，以及在边缘计算环境下的高效部署与数据隐私保护策略。这些问题不仅是推动航空遥感智能解译技术从理论研究向实际应用转化的关键所在，也是实现技术落地并确保可持续发展的现实挑战。

随着传感器网络、信息感知方式及大数据处理技术的飞速发展，面对来自于不同类型、不同特性、不同方式感知信息，及其呈现出的多域、多模态、模糊化、数据关联不完备特点，多模态信息融合技术以其类人式自动感知与强大的综合推理能力的优势收到越来越多的关注。论文首先介绍了多模态信息融合的意义和必要性，进而，在融合架构层面梳理了从早期融合、晚期融合到混合融合的演进脉络，揭示了各架构在信息保留与计算效率间的权衡关系。同时，详细阐述了基于注意力的交互建模、基于对比学习的语义对齐、以及以大语言模型为载体的生成式融合三种前沿多模态融合方式。继而，介绍了COCO数据集、LAION-400M数据集、Visual Genome数据集、MS COCO Captions数据集、Conceptual Captions数据集、Flickr30k数据集和航空相关数据集等典型多模态数据集及相应应用领域。并且，进一步探讨了多模态融合在包括战场态势感知、多源情报分析与无人系统协同的典型军事领域应用。此外，指出随着对比学习和多模态预训练的成熟，高质量的单模态表示已不再是瓶颈，研究焦点由早期如何将异质模态映射到统一空间，转向于如何在表示对齐的基础上设计能够捕捉模态间复杂、动态、甚至矛盾关系的交互机制，并基于融合架构、融合模型和计算成本给出多模态信息融合的三个发展方向。

目的新辅助治疗（Neoadjuvant Therapy， NAT）已成为局部晚期乳腺癌术前治疗的标准策略，旨在缩小肿瘤体积、提高手术切除率并改善患者预后。目前NAT后的疗效评估主要依据病理完全缓解（pathological Complete Response， pCR）与非病理完全缓解（npCR）两种分类。然而，病理评估的固有滞后性以及乳腺肿瘤在磁共振成像（Magnetic Resonance Imaging， MRI）中呈现的复杂形态学表现与异质性增强模式，使得术前精准预测NAT疗效仍面临重大挑战。方法该文提出基于传统U-Net架构的影像组学引导语义分割框架。该框架融合离散小波变换（Discrete Wavelet Transform， DWT）池化模块，显著增强了肿瘤边界等高频细节的刻画精度；创新性的引入组学增强Transformer模块，通过通道筛选与空间调制机制实现低层结构特征与高层纹理组学特征的有效融合，显著增强了模型对病理相关判别性特征的表征能力；并引入空间交叉注意力机制以优化肿瘤轮廓重建与瘤内异质性建模。结果在三个公开乳腺MRI基准数据集上的广泛实验表明，所提模型在BreastDM和ISPY1数据集上均达到最优分割性能（Dice分别为88.68%和92.87%，HD95分别提升了19.7%和7.2%）。消融实验进一步验证了各关键模块的有效性，其中RAT模块单独引入即可使HD95指标相对降低3.4%，充分证明了影像组学先验知识在精细化边界建模中的关键作用。基于分割模型提取的深度特征可有效提升NAT疗效预测精度，且支持基于单次随机时间点DCE-MRI的稳健预测，展现出显著的临床转化潜力。结论综上所述，该文所提模型为局部晚期乳腺癌患者提供了一种高效、精准的术前疗效评估工具，有望推动个体化治疗决策优化，提升乳腺癌诊疗的精准性与临床效率。

目的人体行为识别在智能监控、人机交互和辅助医疗等场景中具有重要应用价值。针对现有图卷积方法中骨骼模态难以同时建模局部运动模式与远距离全局运动模式的缺陷，RGB模态在复杂背景下难以聚焦动作关键区域以及多模态融合过程中难以充分挖掘模态间互补信息的问题，本文提出一种基于稠密-稀疏骨骼联合表征引导RGB图像ROI（Region of Interest）定位的多模态行为识别网络。方法首先，构建稠密-稀疏骨骼联合表征框架，同时建模相邻关节的局部运动模式与远距离关键关节的全局运动模式，进而增强骨骼模态的时空表征能力；其次，设计基于跨模态注意力的粗细粒度骨骼引导RGB ROI定位策略，利用稀疏骨骼特征和稠密骨骼特征对RGB模态分别进行粗和细粒度两阶段引导ROI，逐步强化动作相关视觉区域并抑制背景噪声；最后，提出骨骼主导的跨模态门控融合模块，以骨骼特征生成门控权重对RGB特征进行自适应加权，进而与骨骼特征拼接实现两种模态互补信息的有效融合。结果在NTU-RGB+D 60、NTU-RGB+D 120和UAV-Human数据集上的实验结果表明，所提方法在多个评估基准下均取得了理想的识别性能。具体来说，本文方法在NTU-RGB+D 60数据集的X-Sub和X-View两个基准上的准确率分别达到94.70%和98.30%，在NTU-RGB+D 120数据集的X-Sub和X-Set两个基准上的准确率分别达到92.82%和93.91%，在低空场景下无人机拍摄的UAV-Human数据集的CSv1和CSv2两个基准上的准确率分别达到53.60%和76.90%。结论所提方法能够充分挖掘骨骼模态与RGB模态之间的互补关系，既增强了骨骼对局部与全局运动关系的建模能力，又提升了RGB模态对动作关键区域的关注程度，从而有效提高复杂场景下人体行为识别的准确性与鲁棒性。

目的数字病理图像细胞核精准分割是病理量化分析的关键问题。数据驱动的深度分割方法需较大规模训练数据集，虽能较好处理语义推理，但受逐像素分类影响，对重叠、成团细胞核的分割能力有限。深度扩散生成模型通过迭代去噪可隐式建模细胞核空间几何约束，提供了一种有别于传统模型的新型学习机制。本文提出一种融合判别式分割和生成式扩散的双重条件扩散模型，用于病理图像细胞核分割。方法首先，基于去噪扩散概率模型构建双重条件扩散网络，将分割任务定义为条件掩码生成问题，通过迭代去噪预测精细化结果；其次，借助注意力机制设计空间与语义互补先验，将其嵌入扩散时间步中，引导模型聚焦细胞核个体区域；此外，引入随机潜在嵌入，显著减少训练和采样时间步数。结果在乳腺、结肠、肾脏、肺、前列腺及胃等多组病理图像上的实验表明，本文模型在平均交并比等指标上均优于现有数据驱动和扩散生成深度分割方法，分别超出次优模型1.03个百分点和最新模型2.17个百分点。消融实验验证了各模块的有效性。通过耦合判别式分割与生成式学习，本文模型超出基线扩散模型3.68个百分点。结论本文提出的双重条件扩散模型通过融合判别式分割与生成式扩散形成互补机制，在复杂重叠细胞核结构的分割任务上取得较好效果，为高精度细胞核分割提供了新思路。

目的合成孔径雷达（Synthetic Aperture Radar，SAR）至光学图像（SAR-to-Optical，S2O）翻译是实现全天候对地观测的关键技术。现有方法面临两大瓶颈：一是未能有效解耦SAR乘性相干斑噪声与地物信号，导致跨模态特征融合与表达能力不足；二是主流扩散生成模型计算代价高昂，难以满足在资源受限遥感平台下的实时处理需求。针对上述问题，本文提出一种空频强稀疏引导的扩散模型（Spatial-Frequency Strongly-Sparse Guided Diffusion Model，SFSG-Diff），旨在实现更稳健高效的S2O转换。方法设计多尺度空频去噪编码（Multi-scale Spatial-Frequency Denoising Encoder，MDE），利用空频域特征互补性显式分离噪声与有效信号，抑制噪声并增强地物结构表达；提出轻量化的强稀疏语义融合（Strong-Sparse Semantic Fusion，SIF），仅对部分特征流高效融合，以低计算代价实现多尺度特征精准引导；采用两阶段训练策略，融合感知、聚焦频率与对抗损失联合优化。结果在SEN1-2，QXS-SAROPT和WHU-OPT-SAR三个数据集上的实验表明，本方法在峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、结构相似度（Structural Similarity Index，SSIM）、学习感知图像块相似度（Learned Perceptual Image Patch Similarity，LPIPS）和弗雷歇初始距离（Fréchet Inception Distance，FID）上均取得最优的结果，其中在SEN1-2数据集上与次优结果相比PSNR与SSIM分别提升0.77dB与17.8%，LPIPS与FID分别降低8.0%和17.6%。模型参数量少、计算复杂度低，单次推理仅需0.21秒，较同类扩散模型最优结果提速约69.1%，效率接近传统生成对抗网络。结论SFSG-Diff可有效抑制SAR斑点噪声，实现跨模态高质量图像生成，兼顾性能与计算效率，适用于计算资源受限的遥感平台，为实时SAR图像处理提供可行方案。