基于时空增强式交互网络的组合动作识别

组合动作识别是计算机视觉领域一个新的挑战,它旨在识别未见过的动作与物体的组合。传统的动作识别模型往往会在物体外观与动作类别之间建立联系,引入错误的偏置,在面对未见过的动作与物体的组合时性能急剧恶化。现有解决方法是忽视外观信息,以物体的坐标和身份等信息作为输入,建立以物体为中心的模型。受此启发,提出了时空增强式交互模型。首先在基础网络的不同深度提取并聚合多级别物体特征;然后构建物体分支,使用时空增强模块和物体交互模块分别对物体特征进行增强以及建模物体的移动和交互模式;最终将该分支的输出与基础网络的输出融合用于动作分类,使模型兼顾外观信息和物体交互信息。在多个数据集上的广泛实验证明了所提模型的有效性。

基于改进RepVGG和增强时空注意力机制的红外车辆目标检测算法

针对复杂场景下传统红外车辆目标检测算法精度不佳、计算量大等问题,提出基于改进RepVGG(Re-parameterization Visual Geometry Group)和增强时空注意力机制(Enhanced Spatial Temporal Attention Mechanism,ESTAM)的红外车辆目标检测算法。以YOLOv8n(You Only Look Once v8 nano)模型为基础,在骨干网络和颈部网络引入C2fRepVGG(CSP Bottleneck with 2 Re-parameterization Visual Geometry Group)模块,保证检测精度且减少模型参数量。在骨干网络尾部添加增强时空注意力机制模块,优化红外车辆目标特征表达。使用Wise-IOU损失函数(Wise-IOU Loss)代替CIOU损失函数(Complete IOU Loss),减少训练过程中模型对于低质量锚框产生的有害梯度。实验结果表明,提出的算法在红外车辆数据集中检测精度和计算复杂度相较于其他算法均具有比较优势,该模型的平均检测精度达到94.4%,参数量为2.85×10^(6),浮点计算量为7.4×10^(9),能够对复杂场景下的红外车辆目标实现高精度检测。

基于时空特征增强图卷积网络的骨架行为识别

针对骨架行为识别不能充分挖掘时空特征的问题,该文提出一种基于时空特征增强的图卷积行为识别模型(STFE-GCN)。首先,介绍表征人体拓扑结构邻接矩阵的定义及双流自适应图卷积网络模型的结构,其次,采用空域上的图注意力机制,根据邻居节点的重要性程度分配不同的权重系数,生成可充分挖掘空域结构特征的注意力系数矩阵,并结合非局部网络生成的全局邻接矩阵,提出一种新的空域自适应邻接矩阵,以期增强对人体空域结构特征的提取;然后,时域上采用混合池化模型以提取时域关键动作特征和全局上下文特征,并结合时域卷积提取的特征,以期增强对行为信息中时域特征的提取。再者,在模型中引入改进通道注意力网络(ECA-Net)进行通道注意力增强,更有利于模型提取样本的时空特征,同时结合空域特征增强、时域特征增强和通道注意力,构建时空特征增强图卷积网络模型在多流网络下实现端到端的训练,以期实现时空特征的充分挖掘。最后,在NTU-RGB+D和NTU-RGB+D120两个大型数据集上开展骨架行为识别研究,实验结果表明该模型具有优秀的识别准确率和泛化能力,也进一步验证了该模型充分挖掘时空特征的有效性。

南京地区蒸散发降尺度研究——基于增强型时空自适应反射融合模型

蒸散发是水文循环的重要组成部分,获取高时空分辨率的数据能够更加精细化蒸散发的时空变化规律,对于水资源管理、生态水文过程量化具有重要意义。由于单一传感器反演的蒸散发无法同时具有高空间和高时间分辨率,以南京地区为例,首先结合Landsat-8遥感影像数据和气象数据,采用基于能量平衡原理的SEBS模型估算日蒸散量。在此基础上,选取典型区域采用基于增强型时空自适应反射融合模型(ESTARFM)将估算的蒸散发结果与低空间分辨率的MOD16A2蒸散发产品数据进行时空融合降尺度研究,并评价模型的融合精度。结果表明:(1)SEBS模型估算的蒸散发结果与蒸发皿折算后的数据、MOD16A2产品数据的平均相对误差分别为0.14 mm/d和0.22 mm/d。(2)南京地区蒸散量季节差异明显,表现为夏季>秋季>冬季;各区在夏季的日平均蒸散量差异也较大,六合区蒸散量最大,秦淮区最小;另外,蒸散量分布受土地利用类型的影响,总体上表现为水域>林地>耕地>草地>其他,且植被覆盖度较高的区域蒸散量较大。(3)基于ESTARFM模型融合的蒸散发结果与基于Landsat-8遥感影像反演的蒸散发数据在空间分布上具有相似性,二者相关系数为0.74。在全球气候变化的背景下,本研究可为蒸散发数据集时空分辨率的提高提供参考,同时也能够为南京地区水循环过程和水资源管理研究提供数据支撑。

基于增强时空表示特征和注意力模型的人体动作识别方法

人体动作识别在社交活动和科学研究中具有重要应用价值。先进的骨骼数据是人体动作识别中一类重要数据。现有大部分基于骨骼数据的动作识别方法没有充分考虑两方面:一是减少视点变化的影响,二是区分时空信息的不同权重。这两方面影响人体动作识别的稳定性和准确性。提出一种新型的增强时空表示特征,能减少视点变化的影响,并设计了一个关注动作时空信息的注意力模型用于提取这种表示特征和分类。在两个基准多视点数据集上执行两种交叉验证协议的实验结果表明,所提出的完整方法具有很好的稳健性,能显著提高人体动作识别的准确性。

4种遥感数据时空融合模型生成高分辨率归一化植被指数的对比分析

【目的】针对时空融合方法在遥感植被状况调查及动态变化监测中的应用,比对时空自适应反射率融合模型(STARFM)、增强型时空自适应反射率融合模型(ESTARFM)、回归拟合空间滤波和残差补偿模型(Fit-FC)和规则集回归树融合模型(RPRTM)等4种时空融合模型对归一化植被指数(NDVI)的融合效果。【方法】以三江源地区2块具有差异性地表特征的区域为研究样地,采用上述4种时空融合方法,融合空间分辨率30 m的Landsat 8影像和250 m时间步长16 d的MODIS NDVI数据,生成步长为16 d的30 m空间分辨率的NDVI数据。基于Landsat NDVI影像通过定性的目视判别和定量的统计分析来评价不同融合模型结果的空间特征模拟效果,并以真实的MODIS NDVI时间动态为参考,分析了不同融合方法对地表植被动态特征的拟合效果。【结果】(1)关于空间特征的捕捉,在地表覆盖状况较复杂的区域,RPRTM融合效果最佳(R2=0.82);而对于输入影像差异较大的区域,ESTARFM融合效果最佳(R2=0.95)。(2)关于时间动态的捕捉,RPRTM针对不同的植被型均取得了最佳效果(R2为0.97~0.99)。(3)相对于模型输入数据的时空可比性,地表异质性对STARFM和ESTARFM融合效果的影响更大。【结论】4种时空融合模型能有效用于生成高时空分辨率的NDVI数据,不同模型其融合效果各有不同,RPRTM在复杂地表区域与模拟植被生长动态变化中均有较好表现。

基于多源遥感数据的蒸散发时空融合研究——以贵州省后寨河小流域为例

获取具有高时空分辨率的蒸散发数据对于喀斯特区域水资源管理和规划具有重要意义。基于增强型自适应时空融合模型和MS-PT蒸散发估算模型,设计输入参数融合方案,构建喀斯特区域具有高时空分辨率的蒸散发数据集。结果表明:基于MS-PT模型在该地区估算蒸散发与实测值较为接近;自适应时空融合模型在地表复杂的喀斯特区具有较好的适用性;对于输入参数融合方案,融合后的蒸散发与实测蒸散发具有可靠的融合精度。

骨架引导的多模态视频异常行为检测方法

视频异常行为检测是智能视频监控分析的一项重要且具有挑战性的任务,旨在自动发现异常事件。针对只采用单骨架模态导致部分相似运动模式的行为难以区分和缺乏时间全局信息的问题,提出骨架引导的多模态异常行为检测方法。为了充分利用RGB视频模态和骨架模态的优势进行相似行为下的异常行为检测,将从骨架模态中提取的动作行为特征作为引导,使用新的空间嵌入来加强RGB视频和骨架姿态之间的对应关系。同时使用时间自注意力提取相同节点的帧间关系,以捕获时间的全局信息,有效提取具有区分性的异常行为特征。在两个大型公开标准数据集上的实验结果表明所提方法能够有效加强骨架引导的多模态特征在空间和模态上的对应关系,并捕获时空图卷积缺乏的时间全局信息,使运动模式相似的异常行为实现更准确检测。

基于时空数据融合的县域水稻种植面积提取

受云雨天气和卫星自身回访周期的影响,县域尺度水稻种植面积的提取往往难以获取完整时间序列的高空间分辨率影像,利用单一MODIS数据导致提取精度不高。针对上述问题以河南省优良水稻种植区原阳县为例,采用增强型自适应反射率时空融合模型(Enhanced spatial and temporal adaptive reflectance fusion model,ESTARFM),融合中高分辨率的Landsat数据和高时间分辨率的MODIS数据,获取完整时间序列的归一化植被指数(Normalized difference vegetation index,NDVI)数据,经过TIMESAT滤波平滑处理后,利用研究区内水稻与其他地物的时序NDVI曲线,设置合理的NDVI阈值,采用决策树分类的方法提取水稻种植面积。结果显示,总体分类精度为92.23%,Kappa系数为0.9043。提取的水稻制图精度为96.73%,用户精度为93.51%,说明ESTARFM模型能很好地融合出高空间分辨率影像,解决数据缺失问题,可为县域尺度水稻种植面积提取提供参考。

基于时空注意力机制的行为识别方法

随着智能信息时代的到来,视频人体行为识别受到越来越多的重视。现有的行为识别方法大多考虑在数据形式或网络结构上进行改进,取得了不错的性能。受到人类在观察行为时的启发,人类会重点注意到关键区域和关键时刻,我们提出了一种新的基于时空注意力机制的行为识别方法。对于空间信息,关键区域提取模块得到重点区域,并结合全局信息进行识别。对于时间信息,设计了时间特征重标定模块,使不同时刻的特征具有不同的权重。在广泛使用的数据集上进行的实验表明,与先进的方法相比,我们的方法取得了最好的性能。

基于数据融合算法的灌区蒸散发空间降尺度研究

采用Landsat和MODIS数据,通过增强自适应融合算法(Enhanced spatial and temporal adaptive reflectance fusion model,ESTARFM)对蒸散发进行空间降尺度,构建田块尺度蒸散发数据集;利用2015年田间水量平衡方法计算的蒸散发数据对融合结果进行评价。在融合蒸散发基础上,结合解放闸灌域2000—2015年间种植结构信息,提取不同作物各自生育期和非生育期内年际蒸散发量,并分析了大型灌区节水改造以来,作物蒸散发占比的年际变化。研究结果表明:融合蒸散发与水量平衡蒸散发变化过程较吻合,小麦耗水峰值出现在6月中下旬—7月初,玉米和向日葵峰值出现在7月份。在相关性分析中,玉米、小麦和向日葵的决定系数R2分别达到了0.85、0.79和0.82;生育期内玉米(5—10月份)、小麦(4—7月份)和向日葵(6—10月份)的均方根误差均不高于0.70 mm/d;平均绝对误差均不高于0.75 mm/d;相对误差均不高于16%。在农田蒸散发总量验证中,融合蒸散发与水量平衡蒸散发相关性较好,两者决定系数达到了0.64。基于ESTARFM融合算法生成的高分辨率蒸散发(ET)结果可靠,具有较好的融合精度。融合结果与Landsat蒸散发的空间分布和差异性一致,7月23日、8月24日和9月1日相关系数分别达到0.85、0.81和0.77;差值均值分别为0.24 mm、0.19 mm和0.22 mm;标准偏差分别为0.81 mm、0.72 mm和0.61 mm。ESTARFM融合算法在农田蒸散发空间降尺度得到较好的应用,可有效区分不同作物蒸散发之间的差异。不同作物在生育期和非生育期内耗水量差别较大;生育期内套种(4—10月份)耗水量最大,达到637 mm,玉米(5—10月份)和向日葵(6—10月份)次之,分别为598 mm和502 mm,小麦(4—7月份)最低为412 mm;非生育期内,小麦(8—10月份)耗水量最大,年均达到214 mm,玉米(4月份)和向日葵(4—5月份)分别为42 mm和128 mm。不同作物多年平均耗水量(4—10月份)差异较小,其年际耗水总量主要随作物种植面积的变化而变化。

融合HJ-1 CCD和MODIS数据生成高分辨率影像方法对比

高时空分辨率遥感影像的反演可有效解决南方云雨地区的数据缺失问题。以广西典型丘陵山地为试验区,利用时空自适应反射率融合模型(spatial and temporal adaptive reflectance fusion model,STRAFM)和增强型时空自适应反射率融合模型(enhanced spatial and temporal adaptive reflectance fusion model,ESTRAFM)两种融合算法,选取小范围的国产环境减灾卫星(HJ-1 CCD)和中分辨率成像光谱仪(moderate-resolution imaging spectroradiometer,MODIS)数据,比较分析两种融合算法所生成的高空间分辨率影像的优劣。与真实HJ-1 CCD的红、近红外(near-infrared,NIR)波段影像相比,STRAFM和ESTRAFM预测影像在空间分布上均具有较好的一致性,R值均为极显著相关,差分图像98. 94%以上像元反射率差值小于0. 1,平均绝对差值(average absolute difference,AAD)、平均差值(average difference,AD)、标准差(standard deviation,SD)均较小,融合效果好。与STRAFM相比较,ESTRAFM对真实HJ-1 CCD影像的细节捕捉能力更强,高低反射率区域没有明显缩小或放大现象,破碎地物边界更清晰,不存在斑块。ESTRAFM预测影像与真实HJ-1 CCD红、近红外波段影像的相关性均高于STRAFM,相关系数(pearson correlation coefficient,R)分别为0. 930、0. 885。ESTRAFM预测影像与真实HJ-1 CCD影像差异小于STRAFM,其差分影像的AD、AAD、SD分别为-0. 005、0. 013、0. 017。