融合时空信息的Transformer单目标跟踪算法

目前,主流的基于孪生网络的单目标跟踪方法,通过计算模板与搜索区域之间的相似度来匹配目标,缺乏对目标时空状态信息的利用。特别是当场景中存在多个相似目标时,孪生网络跟踪器往往无法精确区分目标,从而导致跟踪错误。针对上述问题,提出一种融合时空信息的Transformer单目标跟踪算法(SIFTransT)。该算法通过MixFormer(end-to-end tracking with iterative mixed attention)跟踪器获取初步的跟踪结果,设计了一个目标状态计算模块,用于计算并存储目标的状态信息,包括目标位置、边界框、速度、加速度、运动方向等,以此深入挖掘目标状态信息。构建了一个基于Transformer的时空信息融合模块,利用编码器的自注意力和解码器的交叉注意力,深入融合目标最近一段时间的状态信息,从而更加准确地对目标状态进行建模,提高目标跟踪的准确性。在LaSOT数据集上的实验结果表明,相比基准算法MixFormer,SIFTransT算法在AUC指标提高了2.8个百分点,PNorm指标提升了2.6个百分点,P指标提升了2.1个百分点,在搭载RTX8000显卡的服务器上平均每秒处理帧数达28帧。

多因子融合时空图神经网络的交通参数预测

针对路网级交通参数预测时空特性挖掘不足的问题,提出一种多因子融合时空图神经网络(MF-STGNN)。该模型从路网地理拓扑结构、通行能力和道路交通数据相关性3个角度挖掘路网的空间特征,再通过时间模块(GRU)提取时间特征。在多因子空间特征聚合模块(MF-GNN)中,构建了3个因子关联矩阵;将其中的通行能力关联矩阵C和交通数据关联矩阵D输入到基于频域的图卷积网络(GCN)中,将空间近邻矩阵A输入到图注意力网络(GAT)中,分别提取3种不同的空间特征,将3种特征通过通道注意力模型进行融合,通过GRU提取时间特征。使用重庆市渝北区部分区域浮动车数据集进行实验,结果表明:MF-STGNN能够更好地捕捉路网的时空特性,提高预测精度。

融合时空特征的浓雾短临趋势预测算法

为减少浓雾可能导致的各项损失,浓雾短临趋势预测已成为气象短临预测领域的研究热点。然而,目前相关研究较多侧重于浓雾所具有的时间特征,忽略其空间特征,从而导致预测准确率较低。为此,提出一种融合时空特征的浓雾短临趋势预测算法。该算法通过将多气象站点抽象为图数据的节点,引入图注意力网络,实现空间特征的提取;在此基础上,针对性地调整长短期记忆网络,结合时间信息,对所提取的空间特征进一步提取时间特征,实现特征级融合,并使用全连接层输出能见度预测值;最后根据能见度预测值,对浓雾短临趋势开展预测。本文所提算法针对美国国家环境信息中心的公开气象数据开展了2 h内的浓雾短临趋势预测实验,实验结果表明所提算法的F1-score和TS-score较基线模型有2%~12%的提升,证明所提算法具有良好的实际应用价值。

融合时空多特征表示的运动人体目标跟踪算法

为提升运动人体目标的跟踪效果,缩短目标跟踪耗时,提出融合时空多特征表示的运动人体目标跟踪算法。利用运动人体目标位置的获取时间关系确定目标初始运动速度,根据目标区域的质心位置计算搜索窗,提取运动人体目标位置;融合待检测像素点、像素点矢量及最大似然估计值3大特征,将融合多特征表示引入运动人体目标的联合概率密度函数,利用运动人体目标检测门限检测运动人体目标图像像素点,确定运动人体目标区域;通过对运动人体目标的重采样及状态转移,完成运动人体目标的跟踪。实验结果表明:所提运动人体目标跟踪算法的跟踪准确率高到92%左右,跟踪耗时较短、跟踪查全率较好,跟踪效果得到了提升。

基于多维气象信息时空融合和MPA-VMD的短期电力负荷组合预测模型

为提高电力负荷预测精度,需考虑区域内不同地区多维气象信息对电力负荷影响的差异性。在空间维度上,提出多维气象信息时空融合的方法,利用Copula理论将多座气象站的风速、降雨量、温度、日照强度等气象信息与电力负荷进行非线性耦合分析并实现时空融合。在时间维度上,采用海洋捕食者算法(MPA)实现变分模态分解(VMD)核心参数的自动寻优,并采用加权排列熵构造MPA-VMD适应度函数,实现负荷序列的自适应分解。通过将时间维度各分量与空间维度各气象信息进行融合构造长短期记忆(LSTM)网络模型与海洋捕食者算法-最小二乘支持向量机(MPA-LSSVM)模型的输入集,得到各分量预测结果,根据评价指标选择各分量对应的预测模型,重构得到整体预测结果。算例分析结果表明,所提预测模型优于传统预测模型,有效提高了电力负荷预测精度。

基于时空融合算法的水体叶绿素a反演研究

为了准确反演水体中叶绿素a浓度,以黄柏河东支流域为例,采用STNLFFM时空融合算法,对2017年GF-4和Sentinel-2反射率数据进行融合,以重构Sentinel-2影像的时间序列数据,并对应用算法前后获取的水质参数-光谱特征响应关系建立多元线性回归模型,比较模型对叶绿素a的预测效果以验证时空融合算法的可行性,利用重构后影像光谱特征与水质参数的响应关系建立人工神经网络模型,反演2017年黄柏河东支流域各水库水体叶绿素a浓度。结果表明:利用时空融合算法生成的影像接近真实影像,提高了多元线性回归模型预测叶绿素a的效果,R2从融合前0.659提高至融合后0.844,且基于时空融合算法获取的水质参数-光谱关系建立的人工神经网络模型模拟精度较好,R2和MRE达到0.925和9.461%,反演的叶绿素a浓度空间差异性明显。证明了时空融合算法在水质参数反演过程中具有较好的应用前景。

基于跨尺度相似先验的遥感图像时空融合算法

遥感卫星图像在空间分辨率和时间分辨率之间权衡导致图像序列的时空矛盾.时空图像融合提供了一个生成高空间分辨率和高时间分辨率图像的解决方案,以满足各种地球观测应用.基于稀疏表示的时空融合算法通过联合训练字典和稀疏编码表示建立高低空间分辨率图像之间的关系,为物候变化、类型变化等各种情况提供了统一的融合框架.然而,多源遥感图像来自于不同的传感器,高低空间分辨率图像之间关系模型暗含有传感器映射关系,导致模型设备依赖.针对该问题,本文提出将多源遥感图像时空融合过程分解为传感器偏差校正和时空融合两个子问题,即设备依赖部分和设备无关部分.传感器偏差校正部分可以作为时空融合预处理模块,提高融合精度,并且使得后续的融合模型更加具有普适性.当高低空间分辨率图像空间分辨率差异较大时,“高低空间分辨率图像稀疏系数一致”的假设带来的融合误差非常突出.针对该问题,本文提出基于跨尺度相似先验的遥感图像时空融合算法,利用跨尺度相似块构建稀疏结构先验的正则项,优化稀疏表示的目标函数,并构建中间尺度图像,降低跨尺度相似块的二义性.本文分别使用3组典型场景的实验数据集与其他算法进行对比,实验结果表明,在BOREAS数据集上,与次优的指标相比,本文算法的结构相似度(Structural SIMilarity,SSIM)提高了4.2%,光谱角(Spectral Angle Mapper,SAM)提高了4.6%;在CIA数据集上,与次优的指标相比,本文算法的SSIM提高了2.7%,SAM提高了12.8%;在LGC数据集上,与次优的指标相比,本文算法的SSIM提高了7.1%,SAM提高了16.3%;证明本文算法在空间和光谱特性上表现出优秀的特性.

基于时空数据融合的塔吉克斯坦中高时空分辨率NDVI数据集(2010-2020)

归一化植被指数(Normalized Difference Vegetation Index,NDVI)是研究植被最常用的遥感指数之一。NDVI长时间序列数据对于植被变化研究有着重要的意义。然而由于传感器的限制,遥感数据的时间分辨率与空间分辨率不能兼顾,因此在目前广泛使用的NDVI数据产品中,高时空分辨率的数据还较为缺乏。本产品基于Cubist模型对MODIS数据与Landsat及哨兵等遥感数据进行时空数据融合,得到了塔吉克斯坦2010–2020年中高时空分辨率Landsat-MODIS融合数据,以及2020年中高时空分辨率Sentinel-MODIS融合数据。为保证数据的准确性和可靠性,本数据集从数据源的质控,模型训练优化,以及模型独立验证三个方面对数据产品进行质量控制,且取得了较好的验证效果。本数据集可反映塔吉克斯坦2010–2020年NDVI时空变化情况,可为该地区植被变化分析、生态环境监测等提供长时间序列数据支撑。

基于数据融合的植被NPP时空变化及驱动因素分析——以拜城盆地为例

植被净初级生产力(NPP)是区域生态系统保护及生态环境治理的重要参考指标,针对拜城盆地植被NPP时空变化特征及其与气候变化的响应关系不明这一问题,利用STARFM时空数据融合模型,估算拜城盆地30 m空间分辨率的植被NPP,同时使用Sen斜率估计及M-K检验,分析植被NPP的时空变化趋势特征,并通过偏相关系数法量化气候要素的影响程度。结果显示:时间上,研究区2000-2020年植被NPP均值为152.1 g/(m^(2)·a),总体呈不显著下降趋势;空间上,植被NPP值表现为南北高,中部河谷区域低,其中69.03%的区域呈不显著变化,11.44%呈显著增加趋势,19.53%呈显著减小趋势;研究区植被NPP变化与降雨总量、太阳辐射总量呈正相关,与平均气温呈现负相关关系,其中,太阳辐射是影响植被NPP变化的主导因素。研究结果表明:改进的CASA模型对于模拟研究区植被净初级生产力具有较好的适用性,有助于更好地揭示拜城盆地NPP的变化特征及驱动因素,并为估算与定期监测中小尺度区域的NPP提供了新方法。

时空融合的堆石坝变形预测模型及在安全监测中的应用

变形预测是堆石坝安全监测与健康诊断的重要手段,现有研究多根据堆石坝监测数据建立单测点预测模型,未充分考虑测点之间相关性进行整体建模,且现有模型难以对漂移数据进行长期精准预测。本文考虑堆石坝变形序列的时序依赖性和测点之间的协同相关性,提出了基于图卷积和循环神经网络、引入概率预测与全过程训练的时空融合变形预测模型。该模型首先采用图卷积网络对多测点特征进行自适应汇聚,然后利用循环神经网络中细胞状态与隐层记忆沿时间轴的传递性,实现对时空信息的挖掘与融合,最后通过线性层得到概率预测参数,提高了模型对监测数据噪声的鲁棒性。采用全过程训练方式,提高模型对影响因子与累积变形量内在关系的学习能力,实现对漂移数据的长期精准预测。最后以水布垭面板堆石坝为例,进行了模型对比实验与消融实验,介绍了该模型在堆石坝安全监测和健康诊断中的三种具体应用。结果表明,本文模型有效融合了时空信息,在预测精度方面显著高于现有模型,解决了现有模型对大坝整体变形规律学习能力差、漂移数据预测精度低的问题,可用于堆石坝变形长期预测、测点异常检测与缺损数据补全。

基于时空流特征融合的俯视视角下奶牛跛行自动检测方法

[目的/意义]奶牛跛行检测是规模化奶牛养殖过程中亟待解决的重要问题,现有方法的检测视角主要以侧视为主。然而,侧视视角存在着难以消除的遮挡问题。本研究主要解决侧视视角下存在的遮挡问题。[方法]提出一种基于时空流特征融合的俯视视角下奶牛跛行检测方法。首先,通过分析深度视频流中跛行奶牛在运动过程中的位姿变化,构建空间流特征图像序列。通过分析跛行奶牛行走时躯体前进和左右摇摆的瞬时速度,利用光流捕获奶牛运动的瞬时速度,构建时间流特征图像序列。将空间流与时间流特征图像组合构建时空流融合特征图像序列。其次,利用卷积块注意力模块(Convolutional Block Attention Module, CBAM)改进PP-TSMv2 (PaddlePaddle-Temporal Shift Module v2)视频动作分类网络,构建奶牛跛行检测模型Cow-TSM (Cow-Temporal Shift Module)。最后,分别在不同输入模态、不同注意力机制、不同视频动作分类网络和现有方法 4个方面对比,进行奶牛跛行实验,以探究所提出方法的优劣性。[结果和讨论]共采集处理了180段奶牛图像序列数据,跛行奶牛与非跛行奶牛视频段数比例为1∶1,所提出模型识别精度达到88.7%,模型大小为22 M,离线推理时间为0.046 s。与主流视频动作分类模型TSM、PP-TSM、PP-TSMv2、SlowFast和TimesFormer模型相比,综合表现最好。同时,以时空流融合特征图像作为输入时,识别精度分别比单时间模态与单空间模态分别提升12%与4.1%,证明本研究中模态融合的有效性。通过与通道注意力(Squeeze-and-Excitation, SE)、卷积核注意力(Selective Kernel, SK)、坐标注意力(Coordinate Attention, CA)与CBAM不同注意力机制进行消融实验,证明利用CBAM注意力机制构建奶牛跛行检测模型效果最佳。最后,与现有跛行检测方法进行对比,所提出的方法同时具有较好的性能和实用性。[结论]本研究能够避免侧视视角下检测跛行奶牛时出现的遮挡问题,对于减少奶牛跛行发生率、提高牧场经济效益具有重要意义,符合牧场规模化建设的需求。

一种基于DCGAN的多级多尺度遥感影像时空融合方法

时空融合可生成具有高时空分辨率的遥感数据影像,但有时因某区域快速发生变化或云层持续覆盖造成的云干扰,导致时空融合方法无法预测出近似真实的影像数据。针对以上问题,提出一种基于DCGAN的多级多尺度的时空融合模型(MUSTFGAN),通过生成器提取特征和判别器判别,最终获得高精度的预测影像。该方法在生成器中利用多级多尺度提取特征信息帮助模型对影像区域细节信息学习,提高模型对于不同尺度物体的识别和检测能力,从而提升特征提取的效果;判别器中加入自注意力机制模块,提高模型的判别能力,从而提高模型的性能和鲁棒性,并利用多损失函数计算影像精度,重建高质量的高空间和高时间分辨率遥感影像,提高了特征学习能力,具有很强的泛化性。使用两种数据集对该方法进行测试,并通过6种常见评估指标与4种经典的时空融合方法进行比较。实验结果表明:MUSTFGAN在云南滇池数据集上精度提升了14.75%,指标LBP和Edge分别提升了20.78%和14.18%;指标SAM降低了11%;指标SSIM、RMSE和MAE分别达到了90.43%、0.0215和0.0163;在区域产生云干扰的情况下,可以较好地预测地物的变化,进一步提高时空融合的准确性,填补大量云的遮挡,减少云污染造成的影响,证实了所提方法的可行性和有效性。

面向应用型人才培养的时空融合协同育人体系探索

针对学生的多样化发展目标,分析育人工作在时间维度上的可持续、在空间维度上的全方位覆盖问题,提出一种时空融合协同育人体系,即以教师—学生—企业时空融合协同育人架构作为引领,完善各项育人工作的系统性;通过师生协同、本科生导师制等机制,促进各项育人工作的持续性;以校企协同、多目标联合培养机制,推进各项育人工作的深度融合,目的是完善“三全育人”效果,为面向应用型人才培养模式提供参考。

基于Swin Transformer的双流遥感图像时空融合超分辨率重建

遥感图像时空融合超分辨重建从高时序密度的低分辨率图像和低时序密度的高分辨率图像中提取信息,生成同时具有高时序密度的高分辨率遥感图像,它直接关系到后续的解译、检测、跟踪等任务的实施。随着卷积神经网络(CNN)的快速发展,研究者们提出了一系列基于CNN的时空融合方法,然而由于卷积的局限性,这些方法在全局信息提取方面仍然存在不足。受Swin Transformer全局能力的启发,提出一种基于Swin Transformer的超分辨重建模型。在特征提取阶段,引入双流结构,将特征提取网络分为两个部分,分别提取时间信息与空间信息,并通过Swin Transformer的全局能力提升模型性能。在特征融合阶段,引入结合通道注意力与空间注意力的卷积块注意力模块(CBAM),用于增强重要特征,提升图像重建精度。在Coleambally灌溉区(CIA)与Gwydir下游流域(LGC)数据集上将该模型与多种时空融合超分辨率重建模型进行对比实验,结果表明该模型在各项评价指标上均取得了最优的结果,具有更出色的性能和更强的泛化能力。

五种典型遥感时空信息融合算法在湿地区域植被指数重建中的适用性比较

为探讨不同遥感时空信息融合算法在水陆转换频繁、地物类型多样的湿地区域的适用性问题,该文以鄱阳湖样区为研究区,选取5种典型的时空信息融合算法(STARFM,ESTARFM,FSDAF,Fit-FC和STNLFFM)。根据不同时期地物差异状况,选取Landsat和MODIS遥感数据分别开展枯水期、平水期2个时段的归一化植被指数(normalized difference vegetation index,NDVI)影像融合实验,并在空间和光谱2个维度进行算法精度评估。结果表明,仅一对粗细分辨率影像输入时,FSDAF算法在枯水期的融合预测效果最好,总体误差为0.4335;STNLFFM算法在平水期的融合预测效果最好,总体误差为0.5147;同时应用枯水期、平水期2对粗细分辨率影像时,ESTARFM算法融合预测效果最好,总体误差为0.4670。不同时空信息融合算法在湿地地区的适用性与研究区域内水体面积的占比情况有关,STNLFFM算法在水体区域的融合预测效果最好。

AI数字底座与时空融合计算赋能智慧高速建设

当今世界,数字技术无疑成为智慧高速公路建设的关键要素。伴随着人工智能技术、5G通信技术、大数据技术、云计算技术的日渐成熟,人工智能技术为智慧高速的建设和发展提供了强大的基础。随着经济社会的快速发展,交通流量日益增大,现有的管理模式和服务水平已经很难满足智能化管理和多样化的出行需求。因此,以数字底座和时空融合计算出发,创新赋能智慧高速公路建设成为改善出行,提升效率、保障安全的有效措施。

云边协同下时空特征融合的轴承剩余寿命预测

为了解决滚动轴承剩余使用寿命(remaining useful life, RUL)预测中的特征依赖关系、表征退化趋势和实时性问题,提出了一种云边协同下时空特征融合的轴承剩余寿命预测方法。首先,在离线阶段依据专家先验知识对轴承历史退化数据进行去噪处理;其次,对去噪信号进行时域与频域退化特征的提取,并对提取的退化特征进行分析与筛选;最后,采用皮尔逊相关系数对选取的退化特征进行相似相关性分析,并根据相似相关参数构建特征空间图作为图卷积网络(graph convolutional network, GCN)-Transformer模型输入以进行训练,并在云边协同实时预测阶段测试以减轻云端负担。在XJTU-SY数据集上的实验中,所提方法与其他文献预测方法相比在MAE与RMSE指标上分别降低了10.5%与11.3%,在平均响应时间(实时性指标)上降低到采用云计算策略的0.363。实验结果验证了所提方法的有效性。

基于单样例的遥感图像时空融合算法

同时具有高空间分辨率和高时间分辨率的卫星图像是研究地表动态的重要数据,在监测土地变化与灾害以及估算农作物生长态势等方面得到广泛应用。然而,由于技术限制等原因,目前没有传感器可以同时拥有高精度的空间分辨率和频繁的重访周期。时空融合是一种将2类具有相似波段数量和带宽的遥感数据整合在一起的技术。基于此,提出一种基于单样例遥感图像的时空融合方法,使用神经网络来表示不同空间分辨率图像之间的映射关系,以提升模型预测目标图像的准确度。从实验结果来看,所提方法取得了良好的应用效果。

基于时空特征融合的TCNformer船舶航迹长期预测

船舶轨迹预测在多种海事任务中发挥着重要的作用,虽已提出了多种时序模型解决航迹预测的问题,但船舶轨迹固有的异构型和多模式仍然面临诸多挑战,且在轨迹长期预测任务中存在较高的预测误差。针对船舶轨迹长期预测的实际应用需求,设计了1种新的AIS数据离散高维表示方法和1种新的损失函数,并将预测问题建模为分类问题,结合时间卷积网络(Temporal Convolutional Network,TCN)和Transformer模型搭建了1种新的模型,称为TCNformer,利用融合的时间维度特征和空间维度特征,通过有效捕捉AIS数据的长期依赖性,预测未来几个小时船舶位置。在公开的AIS数据集上的测试表明,所提方法相较于其他时序模型预测性能提升2倍,最长预测时间范围延长约3.8倍,满足船舶航迹长期预测的要求。

基于时空信息融合模型的2022年鄱阳湖湿地干旱过程监测分析

2022年鄱阳湖流域发生自1951年有记录以来的严重干旱。为充分利用高时空分辨率影像探究鄱阳湖湿地干旱及生态响应过程,本文采用STNLFFM时空信息融合模型,融合了MODIS与Sentinel-2影像数据,构建出鄱阳湖2021-2022年平均时间间隔为15天的10 m高时空分辨率归一化植被指数(NDVI)影像序列,对比分析了不同年份水体面积以及NDVI的时空变化,在此基础上探讨干旱可能造成的生态影响。结果表明:(1)2022年鄱阳湖干旱持续近3个月,退水时间比2021年提前约80天。2022年10月鄱阳湖最小水体面积为680 km^(2),较2021年同期减少约1900 km^(2),较2021年枯水期最小水体面积减少约337 km^(2)。2022年鄱阳湖湿地淹水时长小于90天的面积是2021年的3倍以上,约占总面积的30.77%。(2)2022年干旱过程中,湖区洲滩植被提前开始生长,NDVI均值在7月中旬之后迅速增大,较2021年同期均值最大相差0.27;到11月中旬,NDVI<0.2的面积为1527 km^(2),较2021年同期增加561 km^(2);到12月,NDVI值大于0.6的面积仅为15 km^(2),不足2021年同期的3%。(3)2022年鄱阳湖干旱引起的植被和水体变化改变了候鸟及长江江豚的栖息环境。湖区的碟形子湖具有较好的持水能力,对极端干旱具有较好的抵御作用。因此,本文建议在干旱期间,适当对湖区长势迅速的植被进行刈割,促使新芽萌发,保障候鸟的食源;开展高时空分辨率的水体连续变化过程监测和预测工作,以便及时救助非连通水体内被困的水生生物;对碟形子湖空间结构进行保护并适当给子湖补水,以保持碟形湖湿地生态系统的稳定性。