摘要:目的针对大视场监控视频中小目标检测存在的样本稀缺、特征微弱与定位不准等难题,提出一种用于大视场监控视频的小目标检测网络SOD-YOLO(small object detection-you only look once)。方法该方法从3个层面系统性地进行改进:1)提出结合SAM2(segment anything model 2 )语义指导与UE虚拟仿真的虚实融合样本生成策略,以低成本获取大量高质量标注数据;2)设计包含视频差分预处理、多尺度特征融合及双层路由注意力的特征增强机制,以提升模型对微小特征的感知与分辨能力;3)采用解耦头结构并创新-CIoU(alpha-complete intersection over union)损失函数,以优化小目标边界框的回归精度。结果在建设工地、高速公路服务区及大学校园3个真实场景数据集上的实验结果表明,SOD-YOLO的综合性能显著优于当前主流模型,在建筑工地场景取得最高AP75(13.5%)与AP50s(53.9%);在高速公路服务区场景获得最优AP(42.6%)与AP75(29.5%);尤其在极具挑战的大学校园场景(小目标像素占比约0.007 5%),其AP、AP75与AP50s相较基准模型YOLOv7分别提升了4.9%、2.5%与5.0%。结论本研究为解决低分辨率监控视频下的小目标检测问题提供了一套有效且可靠的技术方案。
摘要:目的解决低光环境下图像噪声、对比度不足及细节退化导致的传统目标检测性能下滑问题,缓解高质量标注低光图像稀缺瓶颈,挖掘大规模自然图像数据集价值以提供高效训练支撑。方法提出一种创新的低光目标检测框架,以正常光照图像预训练模型为基础构建核心训练范式。首先,为弥合正常光照与低光图像间的域分布鸿沟,设计光照不变特征对齐模块(illumination-invariant feature alignment,IIFA),通过全局光照特征对齐与光照无关特征提取的协同机制实现跨域特征融合,并嵌入自适应样本优先级处理机制以适配域间分布差异;其次,针对低光场景下小型及远距离目标因细节退化、对比度不足导致的检测难题,提出一种基于两阶段增强策略的局部特征强化注意力模块(two-stage feature enhancement,TSFE),实现对关键目标特征的精准增强。结果在低光检测基准ExDark数据集上的实验结果表明,所提模型性能优于直接低光训练、正常光预训练后低光微调等现有方法,尤其在小型目标检测任务中表现突出。具体指标如下:IIFA跨域适应场景下平均精度均值(mean average precision,mAP)达65.74%,帧率(frames per second,FPS)达57.03帧/s;所提模型mAP达66.83%,精确率(precision,P)达83.73%,召回率(recall,R)达54.78%,同时保持48.81帧/s的FPS,综合性能与检测效率优势显著。结论本框架有效弥合跨域差异,提升小型及远距离目标检测能力,显著改善低光检测性能,提供了高效解决方案。
摘要:目的针对无人机航拍图像中目标检测面临复杂背景、微小目标和障碍物等挑战,提出了一种多尺度频域自适应网络(multi-scale frequency adaptive you only look once,MSFA-YOLO)。方法首先,构建的多尺度边缘特征提取器(multi-scale edge feature extractor,MEF)将图像多尺度边缘特征信息与原始特征跨通道融合增强局部细节的捕捉能力;其次,频域空间自适应模块(frequency spatial adaptive,FSA)结合空间域和频率域的联合表示,进一步丰富小目标特征信息;最后,轻量级特征增强模块(lightweight feature fusion enhancement,LFFE)采用多分支结构和可重参数化卷积技术,在保持特征表示能力的同时显著降低计算复杂度。结果在VisDrone2019-DET(vision meets drones 2019 for detection for validation)和UAVDT(unmanned aerial vehicle benchmark: object detection and tracking)公开数据集上的实验结果表明,MSFA-YOLO与基线相比mAP50(mean average precision)分别提高了4.3%和2.1%;与Hpyer-YOLO、Mamba-YOLO等先进算法方法相比,在参数量更低的同时mAP50分别提高了4.4%、1.7%和1.4%、0.6%,进一步验证了所提出模块的有效性和泛化能力。结论本文提出的MSFA-YOLO算法能够在复杂背景的无人机航拍小目标检测场景,相较于其他参与对比的模型,取得更加良好的性能。
摘要:目的现有目标检测主动学习的度量方法仅依赖检测器自身输出,难以识别高置信但语义错误的误检结果且易造成采样冗余。为此,本文旨在引入跨模态先验以提升主动采样的可靠性与有效性。方法提出跨模态先验驱动的语义增强主动学习方法(semantic enhanced active learning,SEAL),在不增加额外监督的前提下利用视觉语言模型,如对比语言—图像预训练模型(contrastive language-image pre-training,CLIP)的语义对齐能力提升样本选择质量,有效纠正单模态检测器在训练数据匮乏时的判别偏差。在不确定性采样阶段,SEAL使用CLIP对图像候选检测框区域进行特征提取,通过对比检测器与CLIP的类别预测结果,构建融合视觉与语义的一致性指标,实现更鲁棒的实例级不确定性度量。在多样性采样阶段,聚合图像各类别目标的CLIP特征,构建类别级结构特征表示,并据此计算图像间的结构相似性,实现类别对齐的多样性度量,提升采样的类别覆盖和信息表达多样性。结果在MS COCO(Microsoft common objects in context)与Pascal VOC(pattern analysis, statistical modelling and computational learning visual object classes)数据集上的实验结果表明,SEAL在多种主动学习基准设置下均优于主流方法,表现出更高的检测精度。在RetinaNet on Pascal VOC基准上(20%标注数据),SEAL方法的mAP@0.5为72.4%,较当前最优方法提升0.8%;在RetinaNet on MS COCO基准上(10%标注数据),AP@(0.5:0.95)为23.9%,提升0.5%。结论本文提出的SEAL方法成功地利用了跨模态先验知识来优化主动学习中的样本选择过程。通过构建更鲁棒的不确定性度量和更具代表性的多样性度量,能够显著减少数据标注成本、提升模型学习效率。
摘要:目的在空间生命科学实验研究中,果蝇作为典型模式生物,常被用于探索微重力环境对生命体行为、神经和代谢的影响。果蝇体型微小、运动非线性、个体外观高度相似,密集场景下现有多目标跟踪方法易出现检测精度低、关联错误等问题,难以满足空间科学数据分析需求。精确高效地实现多个果蝇的追踪,对理解其运动模式及行为机制具有重要作用与价值。方法基于SpaceAnimal数据集,进一步扩充并构建了高密度、高动态运动特征的果蝇跟踪数据集,包含20条视频序列,2 500帧标注图像。提出了DN-MeMOTR(denoising training incorporated in MeMOTR)跟踪框架,通过翻转标签、偏移边界框生成带噪样本,引入去噪训练补充检测监督信号;设计了ReID(re-identification)特征与GIoU(generalized intersection over union) 加权融合的联合过滤模块,结合匈牙利算法优化目标关联,剔除冗余检测结果。结果验证结果表明,所提方法在HOTA(higher order tracking accuracy)、MOTA(multi-object tracking accuracy)、DetA(detection accuracy)、IDF1(identification F1 score)等指标表现上优于其他先进对比方法,可视化和消融实验进一步验证了方法的有效性。结论构建了业界专属的果蝇实验跟踪数据集,提出了DN-MeMOTR方法,通过去噪训练与联合过滤两个模块,极大地提高了跟踪的精度,为后续微重力环境下果蝇行为分析提供了技术支持。