基于肌电−惯性融合的人体运动估计:高斯滤波网络方法

本文研究了基于肌电(Electromyography,EMG)−惯性融合的人体运动估计问题,提出了一种序贯渐进高斯滤波网络(Sequential progressive Gaussian filtering network,SPGF-net)估计方法来形成肌电和惯性的互补性优势,以提高人体运动估计精度和稳定性.首先,利用卷积神经网络对观测数据进行特征提取,以及利用长短期记忆(Long short-term memory,LSTM)网络模型来学习噪声统计特性和量测模型.其次,采用序贯融合的方式融合异构传感器量测特征,以建立高斯滤波与深度学习相结合的网络模型来实现人体运动估计.特别地,引入渐进量测更新对网络量测特征的不确定性进行补偿.最后,通过实验结果表明,相比于现有的卡尔曼滤波网络,该融合方法在上肢关节角度估计中的均方根误差(Root mean square error,RMSE)下降了13.8%,相关系数(R^(2))提高了4.36%.

基于相机运动估计的改进ECO多目标跟踪器设计

由于运动模型采用线性假设,使得多目标跟踪(multiple object tracking,MOT)在动态场景下容易受到相机运动和随机抖动的影响,导致跟踪错误。为解决上述问题,设计了一种相机运动感知滤波多目标跟踪器(camera motion aware filter multi-object tracker,CMAFT)。首先提出一种新模型,将相机运动估计和单目标跟踪(single object tracking,SOT)的区域搜索特性相结合,以补偿由相机运动引起的偏移并提高预测的准确度;其次针对该模型提出一个改进的级联匹配方法,通过融合SOT预测以处理不同目标间的相互遮挡和身份切换问题;最后在MOT17数据集上进行实验以验证提出方法的有效性。

基于FPGA的H.264可变块运动估计算法的优化及实现

可变块运动估计算法(Variable Block Size Motion Estimation,VBSME)是H.264标准中重要的组成部分。它不仅计算量大,而且耗时长。为了减少运动估计时间和计算量,本文采用硬件实现的方式,并提出了一种利用绝对差值和(Sum of Absolute Differences,SAD)计算的树状结构进行数据重用的方案。该方案使得各单元间的数据流向明确,结构更简单。同时,本文还考虑到了帧间模式决策(Mode Decision,MD)和SAD计算可以并行计算的可行性,设计了相应的并行流水线结构。利用Xilinx xc7v585tffg1761-1开发板进行了仿真验证。结果表明,该方案可以一次性处理输入的256个像素数据,提高了实时性,并且达到了100%的数据利用率。此外,该方案支持最大分辨率为1920×1080,帧率为60帧/s,并具备低编码延时,满足了绝大多数场合的实时性要求。

一种基于位平面和位运动估计的视频数据压缩算法

高分辨率和高刷新率使得带宽传输的压力加倍。通常,视频压缩被用来解决这个问题。但传统的视频压缩方法不根据位平面进行编码和解码,会增加存储区域的成本。因此本文首先介绍了一种位恰可察觉失真(BJND)模型,计算了结合视点因子的位平面恰可察觉失真模型的阈值,并将亮度因子和纹理因子的恰可察觉失真(JND)阈值映射到位平面上,综合得出了位恰可察觉失真模型。然后提出了一种基于位运动估计算法的视频压缩方案。该方案使改进后的搜索范围不仅包括时间维度,还包括灰度维度。根据人眼的视觉特点和概率统计分析,方案新增了补充匹配块来替代残差数据,从而保证了压缩比的恒定性。实验结果表明,所提方案对低5位平面压缩具有最佳的综合效果,压缩比为1.38,数据传输量恒定,且恢复后的图像与原始图像并无明显差异,更加符合人眼的直观感受。

基于统计分析的仿射运动估计快速算法

为降低新一代通用视频编码标准(Versatile Video Coding,VVC)的计算复杂度,提出了一种基于统计分析的仿射运动估计(Affine Motion Estimation,AME)快速算法。从加速AME过程的角度出发,首先摒弃AME的3种运动矢量(Motion Vector,MV)精度中的整像素和1/16像素精度,保留1/4像素精度;其次利用迭代次数与量化参数(Quantization Parameter,QP)、slice类型以及编码单元(Coding Unit,CU)大小的关系,得到一个迭代次数的自适应计算式来减少AME迭代次数;然后将细粒度搜索(Fine Granularity Search,FGS)算法中CU 4个角落的4个整像素用2个对角分像素进行替代;最后运用绝对变换差和(Sum of Absolute Transform Difference,SATD)代价来替代率失真(Rate Distortion Optimization,RDO)代价。实验结果表明,与H.266/VVC参考软件VTM-10.0相比,提出的算法在低延迟(Low Delay B,LDB)和随机访问(Random Access,RA)配置下分别节省了8.34%和8.83%的时间,与此同时性能损失仅为0.10%和0.12%。

基于多模态信息融合的肘关节连续运动估计

目的针对目前上肢康复训练设备多为被动式、训练方式单一、患者主动参与度较低等问题,提出一种基于多模态信息融合的上肢连续运动估计算法,实现对肘关节力矩的准确估计。方法首先,在4种角速度下,采集受试者的表面肌电信号和姿态信号,提取信号的时域特征并利用主成分分析方法进行特征融合;其次,通过附加动量法和自适应学习率对反向传播神经网络(back propagation neural network,BPNN)进行改进,使用粒子群算法(particle swarm optimization,PSO)对神经网络进行优化,构建基于PSO-BPNN的连续运动估计模型;最后,以第2类拉格朗日方程计算的关节力矩作为准确值,对模型进行训练,并与传统BPNN模型进行性能对比。结果传统BP神经网络模型均方根误差为558.9 mN·m,R2系数为77.19%,优化模型后的均方根误差和R2系数分别为113.6 N·m、99.12%,力矩估计准确度进一步提高。结论本文提出的肘关节连续运动估计方法能够准确地识别运动意图,为上肢外骨骼康复机器人的主动控制提供切实可行的方案。

基于渐进无迹卡尔曼滤波网络的人体肢体运动估计

针对基于表面肌电信号(Surface electromyography, sEMG)的人体肢体运动估计建模困难的问题,提出一种渐进无迹卡尔曼滤波网络(Progressive unscented Kalman filter network, PUKF-net),来实现降低肢体运动与sEMG量测的建模难度以及提高肢体运动估计精度的目的.首先,设计深度神经网络从sEMG数据中学习肢体运动状态与sEMG量测之间的映射关系和噪声统计特性.其次,采用渐进量测更新方法对先验状态估计进行修正,减小运动估计的线性化误差,提高PUKF-net模型的稳定性.通过结合深度神经网络和渐进卡尔曼滤波的优势,使得PUKF-net具有良好的模型适应性和抗噪能力.最后,设计基于sEMG的人体肢体运动估计实验,验证了PUKF-net模型的有效性.相较于长短期记忆网络(Long short-term memory, LSTM)和其他卡尔曼滤波网络, PUKF-net在肢体运动估计中的均方根误差(Root mean square error, RMSE)下降了14.9%,相关系数R2提高了5.1%.

基于KPCA的膝关节多模式连续运动估计

为了实现不同运动模式下膝关节连续运动的有效估计,提出一种基于核主成分分析(KPCA)的下肢膝关节连续运动估计方法。首先,融合多维表面肌电信号时域特征获取不同运动模式下较为全面的运动信息;其次,采用KPCA方法进行肌电特征降维,获取与该类运动模式最为相关的主成分向量,并基于反向传播神经网络实现不同运动模式下膝关节连续运动的有效估计;最后,对5个实验对象的4种运动模式进行实验验证。结果表明该方法不仅可有效估计不同运动模式下膝关节连续运动角度,相对于PCA算法估计精度也有明显提高。

一种用于心脏运动估计的快速图像配准方法

心脏跳动引起组织结构的非线性变化给心脏运动估计带来了巨大挑战.为此提出了一种无监督学习下的三维心脏运动估计网络,将心脏运动估计作为数据驱动的学习任务,用于对心脏图像进行运动估计.网络输入一对三维心脏图像并输出一个形变场,通过图像对之间的相似性度量和正则化项进行无监督优化完成端到端的训练.经过训练的心脏运动估计网络可以在从未见过的心脏图像上完成配准.在ACDC数据集上的实验结果表明:心脏运动估计网络可以推导出平衡运动特征和图像配准精度的运动模型,性能更优.

基于注意力双向门控循环神经网络的索驱末端效应器运动估计

为实现对索驱末端效应器运动状态的自适应估计,基于注意力双向门控循环神经网络,提出了一种数据驱动的末端效应器运动估计方法.首先进行数据构建,以获取短时序列作为训练样本.然后,将数据输入包含带自注意力模块的双向门控循环神经网络,构造样本的序列模型.最后,在索驱末端效应器运动数据集上,将电机位置、速度以及作为系统控制信号的输入时间序列作为样本特征,进行运动估计性能对比实验.结果表明,相比常用的序列建模回归算法,所提方法能够取得更好的末端效应器运动估计性能,因而能有效实现复杂条件下对索驱末端效应器的运动估计.

基于条件判据改进的提前终止运动估计算法

针对运动估计标准算法复杂度高、耗时长等问题,提出一种基于条件判据改进的提前终止运动估计算法。首先利用改进的高级运动向量预测(Advanced Motion Vector Predictor,AMVP)技术选取最佳匹配点,其次依据条件判据选取合适的路径进行初始搜索,再次在不满足条件时采取改进的块匹配提前终止网格搜索,最后采取八边形-“十”字栅格搜索和精细搜索完成算法改进。由实验结果可知,该方法与标准算法相比,平均降低了42%以上的编码时间损耗且基本不影响视频质量。

基于提前终止策略改进的运动估计算法

针对HM-16.14中TZSearch标准算法存在的计算复杂度高、耗时相对较长等问题,提出一种基于提前终止策略的改进TZSearch算法。首先,根据编码产生的率失真代价对编码单元、变换单元和预测单元的深度进行划分,有效避免了额外的划分深度;然后,在TZSearch初始网格搜索过程中,采用钻石搜索和六边形搜索两种搜索方式,根据运动矢量分布位置选择一种更为有效的方式,精确找出最佳匹配点;最后,使用OARP栅格搜索和精细搜索完成运动估计。由实验结果可知,该方法与标准算法相比,平均降低了60%以上的TZSearch运动估计耗时,且基本不影响视频质量。

影片自动去抖动修复中的运动估计方法应用研究

抖动等视频不稳定失真是电影修复过程中面临的重要问题之一,本文聚焦影片自动修复应用场景,针对数字视频稳像技术在影片自动去抖动修复中的应用展开实验研究。运动估计作为自动稳像处理的首要及关键环节,其估计结果会直接影响去抖动修复效果,因此本文重点对运动估计算法进行梳理和对比分析,结合算法特点和影片自动去抖动应用需求,分别提出适用于准确率优先和效率优先两种应用情况的运动估计方法选择方案,并在方案基础上从可行性和有效性两个角度对老旧影片的修复过程、修复结果、修复效率、特殊情况处理等进行了实验分析与验证,结果表明本文给出的参考方案可有效地完成对抖动视频的运动估计,实现影片自动去抖动。

基于梯度和运动估计的视频质量评价

数字视频质量评价在视频压缩、处理以及视频通信领域中有着十分重要的作用.本文在现有视频质量评价方法以及对人类视觉特性研究的基础上,提出了一种基于梯度和运动估计的视频质量评估方法.该方法充分考虑了视频图像的边缘特性、各帧之间的时间相关性以及画面中场景的变化对视频质量的影响等因素.实验结果表明,该方法对基于H.264编码的失真视频有更好的评价效果,与人类视觉的主观评价结果一致.

基于AVC/AVS标准高效运动估计硬件结构设计

在新一代高性能视频编码标准AVC和AVS中,为提高编码效率,运动估计采用了变尺寸块搜索、多参考帧、运动向量预测等新技术.这些技术成倍地增加了运动估计的计算复杂度.为满足运动估计高计算量需求,一个高效变尺寸块运动估计(VBSME)硬件结构被提出来.该结构采用两个时钟,慢速时钟用于I/O部件,快速时钟用于核心计算部件.并且采用细粒度级流水线实现方式,提高时钟频率和计算部件的流水线效率.针对图像尺寸为720×576的视频,在65×65搜索窗下,该结构最高每秒可以编码71幅图像.

基于GMS和块匹配的运动估计特征匹配算法研究

针对运动估计中传统特征匹配算法存在匹配时效性差、精度不高等问题,提出一种基于块匹配搜索的改进网格运动统计算法.首先提取ORB特征点并将图像划分网格;然后计算网格内各特征点的运动平滑约束度,并以此作为准则确保匹配精度;最后采用块匹配菱形搜索算法进行特征匹配筛选以提高匹配速度.仿真试验结果表明:相较于随机抽样一致算法,特征点保持数量为500时匹配效率提升24.6%,匹配速度提高42.9%;与ORB-SLAM2算法相结合用于连续运动估计时,单帧耗时0.13 s,实时性较好.

模型基编码中实时三维运动估计的新方法

将自适应迭代松弛搜索算法RSA引入到MPEG4模型基编码的三维运动参数估计中 ,解决了估计算法的稳健性问题 .经过简化计算的复杂度 ,得出一种快速算法 ,大大提高了估计速度 .同时设计有效的参数初值设置和调整方法 ,改善了估计的准确性 ,使之更适用于长序列实时运动估计 .通过与预测最小均算法PLS和扩展的卡尔曼滤波算法EKF进行模拟数据和真实序列实验比较 。

模型基编码中一种可靠的实时运动估计算法

分析了PLS算法的本质,并针对其缺点提出了一种改进形式;将改进算法同PLS及EKF进行了实验对比. 结果表明,此算法不但能实时地估计运动参数,而且还具有良好的稳定性和准确性.

运动估计与运动补偿在电子稳像中的应用

电子稳像系统的核心是运动估计和运动补偿。为了提供运动估计的精度和降低时间开销,达到实时应用的要求,该文提出了基于宏块的步进全局运动估计算法,获得图像序列的全局运动矢量;给出了一个新的应用于电子稳像系统中运动估计与运动补偿模块的运动估计、运动补偿原理框图;采用两步补偿算法完成对图像序列的运动补偿,得到稳定的图像序列输出。仿真结果表明,采用的方法是高效、可行的。

双目视觉基于修正卡尔曼滤波器的运动估计

研究了目标物体的远程运动估计。首先,建立了一种双目视觉系统的基于卡尔曼滤波器的目标物体运动估计的运动学模型,并且证明了双目视觉系统同步的各自连续两帧图像中至少三个对应图像点能完全确定刚性物体的运动参数和空间位置;然后,通过对状态向量中的速度分量进行再估计,提出了一种修正卡尔曼滤波器对目标物体远程运动估计的算法,与直接卡尔曼滤波器的远程运动估计相比,提高了估计的精度。将该方法运用到一种实时预测的实验中,其结果证明了该算法的有效性。