基于时间特征细化网络的时空视频超分辨率研究

时空视频超分辨率(space-time video super-resolution,STVSR)通过时间和空间2个尺度提升视频的质量,从而实现在视频采集设备、传输或者存储有限的情况下依然能实时地呈现高分辨率和高帧率的视频,满足人们对超高清画质的追求。相比两阶段方法,一阶段方法实现的是特征层面而非像素层面的帧插值,其在推理速度和计算复杂度上都明显更胜一筹。一些现有的一阶段STVSR方法采用基于像素幻觉的特征插值,这幻化了像素,因此很难应对帧间快速运动物体的预测。为此,提出一种基于光流法的金字塔编码器-解码器网络来进行时间特征插值,实现快速的双向光流估计和更真实自然的纹理合成,在使得网络结构更高效的同时弥补了大运动对光流估计带来的不稳定性。另外,空间模块采用基于滑动窗口的局部传播和基于循环网络的双向传播来强化帧对齐,整个网络称为时间特征细化网络(temporal feature refinement netowrk,TFRnet)。为了进一步挖掘TFRnet的潜力,将空间超分辨率先于时间超分辨率(space-first),在几种广泛使用的数据基准和评估指标上的实验证明了所提出方法TFRnet-sf的出色性能,在总体峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)提升的同时,插入中间帧的PSNR和SSIM也得到提升,在一定程度上缓和了插入的中间帧与原有帧之间PSNR和SSIM差距过大的问题。

基于激光扫描和深度学习的人体动作精准识别研究

基于特征进行人体动作识别时,主要依靠短时间规模的时空特征,导致识别结果top-1值较低。因此,提出结合激光扫描技术和深度学习原理,设计有效的人体动作识别方法。针对激光扫描数据,进行去噪和校正处理。通过背景差分法划分静态背景与感兴趣区域,根据扫描数据点的连续性特点、空间位置关系,检测出待识别的人体目标。建立包含时空注意力机制的深度学习人体动作识别模型,获取扫描数据中包含的长期、复杂时空信息,得到融合特征输入融合域,得到初始分类结果。最后,结合决策融合机制,生成人体动作精准识别结果。实验结果表明:所提方法的top-1值为74.4%,与其他识别方法相比提升了30.7%、28.9%和24.2%。

融合协作表达和时空金字塔的人体行为识别

为了能够充分正确地利用视频数据从而保证直方图向量对行为的高描述性,提出了一种新颖、有效的人体行为识别算法.所提算法融合了协作表达方法和时空金字塔表示,并且采用引入局部限制的方式保持了局部特征与其相邻字典向量之间的相似性.协作表达的引入使得算法可以得到一个闭式,避免了在稀疏表示分类算法中因迭代造成的高时间复杂度问题,同时为了增强直方图向量的行为鉴别能力,算法巧妙地借助时空金字塔描述视频中特征的结构化分布.在KTH和Hollywood2人体动作数据集上的识别率分别可达96%和59.1%,明显高于其他对比算法.

基于时空相关性的视频超分辨率重建算法

图像的超分辨率重建过程仅仅对单幅图像进行处理,而视频通常被理解为基于时间轴排列的序列图像,这种时空相关性导致相邻帧间的图像往往包含大量的互补信息。在进行视频超分辨率重建算法中,通过结合当前帧与相邻帧来共同进行卷积神经网络的训练,可以充分获取相邻帧间的互补信息,达到提高超分辨效果的作用。同时利用超分辨率后的图像与真实图像间的运动轨迹具有一致性,来作为算法的损失函数。

结构约束的全局目标函数视频修复方法

针对一致性修复方法仅利用视频的颜色和运动特征来优化目标函数,导致无法准确预测未知区域像素值的问题,将视频的结构信息引入到目标函数中,提出结构约束的视频修复方法.首先计算破损视频的时空金字塔,在从上到下的第1层金字塔中先修复破损部分边界上的像素;然后采用加权平均方式完成破损像素的重建,对权值重新定义,再更新边界,修复新边界上的像素,完成第1层金字塔的修复;最后用相同方法依次修复各层金字塔,直到所有破损像素都被修复.采用不同方法对不同复杂场景视频进行修复并用峰值信噪比和结构相似度进行评价,实验结果表明该方法取得了更好的视觉效果,峰值信噪比平均提高1～3 dB.

约束屈曲支撑在棋盘形四角锥网架中的应用分析

约束屈曲支撑(BRB)是一种滞回性能良好的减震构件,为了研究其在大跨度网架结构中的合理应用,本文以一64m跨度棋盘形四角锥网架为例用SAP2000建模分析。综合考虑BRB的特性和棋盘形四角锥网架受力特点给出了7种替换方案。对替换前后结构的地震响应做对比分析,发现BRB能有效减小网架的地震响应,且替换四周边跨中部的腹杆比替换上弦杆的减震效果好,并优选出较优减震方案,为棋盘形四角锥网架减震设计提供参考。

棋盘形四角锥网架屋盖动力分析

利用有限元软件SAP2000对64—96m的5种不同跨度的棋盘形四角锥网架建模，进行模态分析和力学性能分析，得出了大跨度棋盘形四角锥网架的自振周期与网架的跨度及荷载等级有关。并且得出了在静荷载与竖向地震组合作用下内力分布规律，上弦内力由四周拉力向中部压力过渡；下弦内力最大值发生在1／4平面的中部；腹杆内力在四周锥体内较大，为设计和施工提供参考。

正放四角锥网架结构最佳跨高比及隔震性能分析

为研究地震作用下正放四角锥网架结构合理跨高比及隔震性能,建立一系列正放四角锥大跨网架结构模型,以网架节点位移与整体用钢量为控制点,研究不同跨度、不同平面形式、不同支承方式大跨网架各自最合理的跨高比。然后,选取90 m跨度且采用最佳跨高比的四类正放四角锥网架结构为对象,基于时程分析法对比分析四类隔震与非隔震网架结构响应规律。研究结果表明:正放四角锥网架结果的最佳跨高比与平面形状、支承方式关系甚微,仅与跨度有关;采用柱底隔震后网架杆件的轴力和节点最大加速度与隔震前相比均大幅度减小,结构自振周期、地震动输入对隔震效果均有不同程度的影响。

一个宇宙观念的表达——论吉萨金字塔群的天文与时空观

吉萨金字塔群是世界七大奇迹之一。通过对金字塔天文与时空背景的分析,从埃及人的原始时空观出发对金字塔塔体进行了探讨,揭示了金字塔在时间和空间作用下塔体形成的历史过程,反映出金字塔是联系天体星辰和时空变换的特殊载体。