基于自校准机制的时空采样图卷积行为识别模型

针对现有行为识别算法忽视时空信息上下文的依赖关系和缺乏多层次感受野的特征提取问题,本文提出一种基于自校准机制的时空采样图卷积网络行为识别模型.首先,介绍ST-GCN和3D-GCN、Transformer和自注意力机制的工作原理,并分析了3D-GCN和Transformer不能有效进行时空上下文建模;其次,为有效进行时空上下文建模而提出了一种时空采样图卷积网络,其以时序连续多帧作为时空采样将全局动作分为多个子动作,通过非局部网络计算单一节点与采样频率帧内所有节点的相关性来建立局部跨时空依赖关系,并通过结合非局部网络和时域卷积计算单个采样子动作与全局子动作的相关性以此来建立全局跨时空依赖关系;然后,为了有效地增强多层次的感受野来捕获更具判别力的时域特征,提出了一种时域自校准卷积网络在两个不同的尺度时空中分别进行卷积并特征融合:一种是原始比例尺度的时空,另一种是使用下采样具有较小比例尺度的潜在时空;再者,结合时空采样图卷积网络和时域自校准网络构建基于自校准机制的时空采样图卷积网络行为识别模型,在多流网络下进行端到端的训练.最后,基于NTU-RGB+D和NTU-RGB+D120骨架动作数据集开展了骨架行为识别的相关实验研究,研究结果表明该行为识别模型具有高效的时空特征提取能力以及优秀的性能.

基于时空采样的视频行为识别

视频特征包含了行为执行时的时间、空间冗余信息。该信息和行为类别无关,会干扰行为识别,造成行为类别的错误判断。本文提出了一种基于时空采样的视频行为识别模型。模型包括关键帧采样和Token采样的视频Transformer。关键帧采样过程,通过量化相邻帧间的像素差异,识别出包含显著变化的关键帧,累积多个连续帧的更新概率处理两个关键帧间的可能存在的长时间间隔,引入一个可训练的采样概率阈值从而将更新概率二值化,增强对于关键帧的建模能力。因此该过程保证了视频关键信息的获取。本文认为不同的Token对识别任务的重要性会有所不同,因此在时空Transformer块中,本文采用一种数据依赖的Token采样策略,通过分层减少Token的数量有效降低空间冗余信息,同时也减少了模型计算量。最终通过全连接层完成视频行为识别。实验在ActivityNet-v1.3、Mini-Kinetics数据集上进行验证。实验表明,本文基于时空采样的视频行为识别方法,具有较小计算量的同时,能够达到现有行为识别方法的准确率。

基于时空采样网络的相关滤波目标跟踪算法

DCFNet是一个轻量级的端到端的基于相关滤波的跟踪器,但未充分利用视频序列的时间和空间信息,难以应对场景复杂或目标变化较大的情景,针对DCFNet的该不足,提出一种新的采用时空采样网络采集特征结合相关滤波器的目标跟踪方法。该算法将可变形卷积层加入到时空采样网络,对附近历史帧的相关特征进行策略性采样,然后把采样得到的特征向量按照一定权重进行聚合,聚合后的特征向量送入相关滤波层,当跟踪到当前帧时通过定位滤波器的最大响应来估计目标的位置。分别在数据集OTB2013、OTB2015进行算法验证,结果表明,该算法较当前几类主流跟踪算法在跟踪成功率和精度上均有所提升。

一种时空采样矩阵的确定方法

在分析数字视频系统时空采样矩阵基本特性的基础上,依据时空采样矩阵的定义,结合实际视频系统扫描和采样结构,采用多点标定,得到了一种确立数字视频流时空采样矩阵的方法.并通过一个应用实例,在时频域上给出了完整的数字视频流结构分布和相应参数,以及两种视频流之间转换的方法,证明了多点标定方法的实用性和有效性.

基于时空重采样的实时随机光源裁剪

为了渲染含大量动态光源的动态场景,提出一种时空重采样算法.首先利用实时随机光源裁剪对光源进行重要性采样,生成重采样样本;然后提出一种快速时空样本有效性判断方式,通过检查几何属性与可见性,避免错误选择重采样样本而引入误差;最后通过重采样复用时空样本,依样本权重选择重要样本进行着色,提高样本质量.自建场景与NVIDIA ORCA场景的实验结果表明,所提算法能够取得较好的采样质量,通过修改空间重采样数可平衡该算法的耗时与渲染质量,使之具有一定的拓展性;与实时随机光源裁剪算法相比,在相同采样数时该算法能够取得更高的渲染质量,而渲染质量相近时该算法耗时可减少20%~40%.

时空欠采样宽频段信号频率和二维角估计方法

本文提出了一种时空欠采样宽频段 (2～ 18GHz)信号频率、方位角和仰角三维参数估计方法 .该方法采用均匀圆阵和阵元延时 ,可在时间欠采样条件下实现频率无模糊估计 ;在空间欠采样条件下 ,用整数搜索法实现方位角和仰角无模糊估计 ,且频率、方位角和仰角估计可自动配对 .该方法不仅可用于二阶统计量阵元空间和DFT波束空间 ,而且还可用于四阶累积量 ,可在高斯白或色噪声背景下 ,估计非高斯信源的参数 .在DFT波束空间、阵元数相同和最大孔径相当时 ,该方法方位角和仰角估计的方差比L阵方法的方差小 1～ 2个数量级 .仿真实验表明了算法的有效性 .

时空过采样系统及其在点目标检测中的性能仿真

从成像探测体制出发,对过采样扫描系统的光学系统、电子学系统等模块分别进行了数学建模,并对点目标和场景图像进行了仿真实验。仿真过程中提出了一种对有限图像大量分割代替连续图像的建模思想和方法,在matlab环境中对源点目标图像和场景以及探测器扫描积分过程进行仿真,并对过采样图像进行图像融合。仿真结果给出了不同过采样倍数以及点目标位于不同相位时的信噪比变化和信噪比随积分时间增长的变化曲线。仿真结果表明,过采样探测系统融合后的图像虽然能够增大点目标在图像上的尺寸,但融合后的图像会增大高频噪声,造成检测概率降低,虚警率增大。文章最后给出了利用小孔模拟点目标成像的实验,进一步证实了仿真结果的正确性,说明时空过采样系统并不适合用于点目标检测。

时空过采样探测系统性能仿真

基于星载扫描辐射计的工作原理,对传统的线列扫描成像系统和过采样系统的采样过程进行了数学建模和仿真成像,在两种采样模式下对点目标探测进行了仿真。在Matlab环境下对过采样探测系统进行了仿真图像的沿线阵方向的两倍空间过采样和扫描方向上(即时间上)的2～10倍的过采样仿真。通过对过采样探测系统各种工况下的仿真,得到了图像中信号能量值和目标尺寸大小的关系,分析了目标位置的不同对成像质量造成的影响。最后给出了不同大小目标两个通道上的四倍过采样图像,并分析了图像中存在的跨像元现象。

时空欠采样线性调频信号参数及其二维到达角联合估计

针对宽频段(2-18GHz)内非平稳来波信号的参数估计和测向问题,提出一种时空欠采样线性调频信号参数与二维到达角联合估计方法。该方法首先用时域解线调方法估计调频斜率,然后在分数阶傅里叶变换(FRFT)域进行滤波,实现信号提取。利用参考阵元及其延时通道进行无模糊初始频率估计,通过构建FRFT波束空间阵列模型实现无模糊测向。数值仿真表明,该方法能够实现宽频段内多个线性调频信号的参数和二维到达角精确估计,在低信噪比下仍有较好的估计性能。

基于平行因子分析的时空非均匀采样下双基地MIMO雷达目标参数联合估计算法

提出了一种基于平行因子分析的时空非均匀采样下双基地MIMO雷达收发角及多普勒频率联合估计算法。首先计算K级非均匀延迟器输出数据的协方差矩阵并对该矩阵进行变换和去冗余处理,然后将新数据转化为三阶张量并对其进行降维处理,最后通过交替最小二乘和Root-MUSIC算法估计出目标收发角和多普勒频率。该算法实现了时域和空域孔径自由度的二次扩展,提高了参数估计精度,降低了运算量。此外,通过最小冗余配置,实现了孔径的高效扩展,降低了系统配置需求。仿真结果验证了所提算法的有效性。

嵌套椭圆时空管道的监控视频运动片段快速提取

针对现存运动片段提取方法大多步骤繁琐、计算量大,无法满足快速提取运动片段的现实需求的问题,提出一种嵌套椭圆时空管道的监控视频运动片段快速提取算法,以最大限度地减小计算量。该算法首先对监控视频进行椭圆时空采样形成时空管道,其次递进椭圆时空采样组成嵌套椭圆时空管道,然后展开嵌套椭圆时空管道生成时空平面图,最后对时空平面图进行背景去除,构建时空流量模型以提取运动片段。在SISOR等公开数据集上与当前主流的运动片段提取方法进行了实验对比,结果表明,本文算法在计算时间上具有明显优势,可以实现监控视频运动片段的全面、快速提取。

采用多伯努利滤波器的过采样点目标检测前跟踪

为了提高过采样体制下点目标的探测能力,提出了基于多伯努利滤波器的过采样点目标检测前跟踪方法。分析了时空过采样体制的成像过程,给出了时空过采样体制下的点目标成像模型,并将过采样观测过程等效建模为多个单采样线阵同时观测的过程。利用提出的模型,将单采样条件下的图像处理方法自然地扩展到过采样条件下。然后,根据等效观测模型,给出了针对过采样点目标的多伯努利预测和更新过程,并用序贯蒙特卡罗的方式实现了该检测前跟踪方法。最后,通过仿真实验验证了本文算法的有效性。实验结果表明:本文提出的方法能够在图像信噪比≥3的条件下,有效检测和跟踪过采样体制下的多个点目标,目标估计误差≤0.25pixel;与单采样检测前跟踪相比,过采样检测前跟踪能够探测目标能量更弱的小目标。因此,本文方法能够满足高精度天基点目标检测跟踪的需求。

基于两级时空随机取样的背景建模算法

目的为从发射场室外和航天器舱内等场景的监控视频中提取运动目标,本文提出两级时空随机取样背景建模算法。方法提出了一种全新的背景建模算法,算法通过时间和空间上随机取样的方式进行背景更新,并且通过负反馈的方式实时调整参数。在前景决策上采用基于像素点和基于区域分布两级决策方式进行,充分利用了连续图像序列时间和空间上的一致性和随机性。结果在真实场景和Change Detection数据库上的测试表明本方法提取的前景稳定、清晰,召回率等指标上得到更好的结果。结论通过本文提出的方法,可直接从监控视频中提取较清晰的运动前景,在发射场和未来飞行器监控系统中将有较好的应用前景。

结合编码信息与超分辨率重建的视频编码方法

如何在现有的视频压缩编码框架下保证视频质量的同时,大大降低压缩后视频的码率,仍是一个亟待解决的问题。本文根据现有的视频编码框架高效视频编码,提出了一种结合高效视频编码编码信息与时/空域超分辨率重建的视频编码方法。本系统预先通过时间域自适应抽帧和空间域下采样分别降低了原视频的帧率和空间分辨率,然后通过标准化编解码器进行编码。在解码端,利用基于视频压缩码流信息的时域超分辨算法,将解码后的视频帧率增加到原始视频帧率。最后通过空域超分辨算法将视频重建恢复到原始分辨率。实验结果表明,相较于标准传统HEVC视频编码框架,本文所提出的算法在低码率段极大地降低了压缩视频的码率,同时降低了解码端超分辨重建过程的复杂度。

Scalable transcoding for video transmission over space-time OFDM systems

A new scheme combining a scalable transcoder with space time block codes （STBC） for an orthogonal frequency division multiplexing （OFDM） system is proposed for robust video transmission in dispersive fading channels. The target application for such a scalable transcoder is to provide successful access to the pre-encoded high quality video MPEG-2 from mobile wireless terminals. In the scalable transcoder, besides outputting the MPEG-4 fine granular scalability （FGS） bitstream, both the size of video frames and the bit rate are reduced. And an array processing algorithm of layer interference suppression is used at the receiver which makes the system structure provide different levels of protection to different layers. Furthermore, by considering the important level of scalable bitstream, the different bitstreams can be given different level protection by the system structure and channel coding. With the proposed system, the concurrent large diversity gain characteristic of STBC and alleviation of the frequency-selective fading effect of OFDM can be achieved. The simulation results show that the proposed schemes integrating scalable transcoding can provide a basic quality of video transmission and outperform the conventional single layer transcoding transmitted under the random and bursty error channel conditions.

月基观测地球大气层顶辐射特性研究

针对月基辐射计参数设计的不确定性,研究了基于月基辐射计观测地球大气层顶的辐射特性。基于月基平台,将地球作为类点状辐射源进行观测,分析了月面不同位置观测特性、观测数据受观测几何影响以及观测采样特性。结果表明:月球轨道是变轨道倾角、变观测距离的,一个轨道周期内可以完成对地球全球的充分采样,满足对地球完全时空覆盖观测的条件;在月面中心区域观测获得的大气层顶辐射能量较高;建议的传感器动态范围在5.50×10^(-2)~8.50×10^(-2) W/m^(2)之间,观测时间采样间隔不大于4 h,累积采样周期为一个轨道周期(27.3 d)。得到的结果为月基辐射计参数设计与观测参数确定提供了重要依据。

基于扩维的多通道联合频率和到达角估计

针对宽频段信号的时空欠采样问题,该文提出基于扩维的多通道联合频率和到达角估计方法。在时间和空间均欠采样的情况下,该方法实现了频率和到达角的2维无模糊估计。通过构造空时2维无模糊阵列结构,将多个采样通道联合扩维,解决了时间欠采样问题;将多个快拍通道联合扩维,克服了空间欠采样问题。同时,为了降低运算量,利用时域滤波技术,将频率和到达角估计进行时空级联,得到了自动配对的频率和到达角无模糊估计值,且避免了高维特征值分解和2维谱峰搜索,减少了运算量。仿真结果验证了该方法的有效性。