结合光流算法与注意力机制的U-Net网络跨模态视听语音分离

目前多数的视听分离模型,大多是基于视频特征和音频特征简单拼接,没有充分考虑各个模态的相互关系,导致视觉信息未被充分利用,该文针对此问题提出了新的模型。该文充分考虑视觉特征、音频特征之间的相互联系,采用多头注意力机制,结合稠密光流(Farneback)算法和U-Net网络,提出跨模态融合的光流-视听语音分离(Flow-AVSS)模型。该模型通过Farneback算法和轻量级网络ShuffleNet v2分别提取运动特征和唇部特征,然后将运动特征与唇部特征进行仿射变换,经过时间卷积模块(TCN)得到视觉特征。为充分利用到视觉信息,在进行特征融合时采用多头注意力机制,将视觉特征与音频特征进行跨模态融合,得到融合视听特征,最后融合视听特征经过U-Net分离网络得到分离语音。利用客观语音质量评估(PESQ)、短时客观可懂度(STOI)及源失真比(SDR)评价指标,在AVspeech数据集进行实验测试。研究表明,该文所提方法与纯语音分离网络和仅采用特征拼接的视听分离网络相比,性能上分别提高了2.23 dB和1.68 dB。由此表明,采用跨模态注意力进行特征融合,能更加充分利用各个模态相关性,增加的唇部运动特征,能有效提高视频特征的鲁棒性,提高分离效果。

融合中值滤波与光流算法的云团跟踪算法

【目的】针对现有的云团跟踪算法存在跟踪速率低、云团滤波边缘信息丢失、云团跟踪定位不准等问题,结合优化的中值滤波算法,提出一种融合中值滤波与光流算法的云团跟踪算法。【方法】首先对太阳的位置进行定位,采用红蓝阈值比分割图像,用优化的中值滤波算法滤除噪点后,检测云块及其质心坐标;然后对云图序列进行光流处理,实现对云块的精确检测与实时跟踪;最后在不同云量情况下进行云团跟踪试验,并且与传统光流算法、块匹配算法、ViBe(visual background extractor,视图背景提取)算法进行比较。【结果】本文算法在云团边缘检测和云团实时跟踪上表现优越,目标跟踪效率比其他3种算法的平均值提高了约6.32百分点。【结论】本研究结果有效解决了云团滤波导致边缘信息缺失的问题,对预测短期太阳辐照度的准确性有重要意义。

一种鲁棒性的光流算法研究

提出了一种用于计算帧间运动速度及速度变化都较大时的鲁棒性光流算法 .通过对时间梯度误差的分析 ,得到了新的梯度约束方程 ;另一方面将各向异性扩散方程引入方向平滑约束 ,以改善包括运动不连续处的流速计算精度 .以此建立的多栅格微分光流算法不但可以有效地缓解误差传播效应 ,而且对大的运动速度和速度变化有很好的适应性 .实验结果表明 ,本文提供的算法不但能产生密度 10 0 %的光流场 ,而且对较大的运动速度及速度变化具有很好的计算精度和鲁棒性 .

基于改进光流算法的机器人目标跟踪系统

基于计算机视觉的机器人运动目标检测与跟踪,就是建立起一种机器人视觉与电机驱动相关联的系统。光流算法在此类系统中有着广泛应用,但是求取所需稠密光流场的运算量过大是其明显的缺点。为减少计算时间,提高跟踪系统响应速度,引入均值平滑算法对传统H-S(Horn和Schunck)光流算法进行改进,并在此改进算法基础上建立起目标跟踪系统。通过此系统,机器人可以根据采集到的图像的光流场变化来检测运动目标,再通过对光流场的奇异值分解,对跟踪系统模型所需参数进行估算,并驱动机器人做出相应动作,保持对目标的跟踪,从而使机器人对周围环境变化做出及时、准确的动作。经过实验证明改进后的光流算法有效的减少了计算时间,增强跟踪系统的实时性能。

光流算法比较分析研究

运动目标检测是计算机视觉中重要的课题,运动目标的正确检测与正确分割影响着后续目标的跟踪与识别;光流法是运动目标检测和分析的重要方法,它能够在不知道任何预先场景情况下检测出独立的运动目标,并且可适用于动态场景的情况。首先介绍了光流的基本概念,然后介绍了常用的光流的四种算法;接着以智能交通中路口车辆视频为例,将这四种光流算法用于车辆检测,然后对四种光流算法的优缺点进行分析;最后对光流法在未来可能研究及改进的方向提出展望。

基于稠密光流算法的运动目标检测的Python实现

在运动目标识别算法中,帧间差分法、背景差分法容易出现“重影”“空洞”及“拖尾”现象从而导致识别准确率低。将稠密光流法应用于运动目标检测,基于PyCharm开发环境建立了一个运动目标检测系统,研究采用Gunner Farneback稠密光流法(DOF)计算各像素点位移矢量的光流矩阵,将光流信息转化到HSV空间,并利用Sobel算子进行边缘检测以提高检测效果。实验结果表明,在运动目标与背景对比度低的场景中及速率不同的多运动目标场景中,所提算法皆能实现准确识别与追踪,而且避免了“重影”“空洞”及“拖尾”问题,具有很好的抗干扰能力和识别精确性。

基于鲁棒光流算法的海表流场遥感观测研究

海洋表面流场是海洋科学研究中需要着重考虑的环境参数,近实时的海洋表面流场精细化测量对海洋学研究有着重要意义,但是目前大多数海洋表面流场观测技术难以同步实现大范围近实时的海洋表面流场观测。文中在简要对比各类海洋表面流场测量方法的基础上,重点介绍了基于水色遥感图像观测反演海洋表面流场的鲁棒光流算法,该算法在流场计算过程中,能很好地保留流场细节信息。为直观验证本文测量方法的可靠性,文中提供了海洋表面流场的分析实例,同时给出了美国国家航空航天局(NASA)提供的OSCAR流场数据,对文中算法的可靠性进行了验证。

基于光流算法的医学柔式内窥镜系统

手动操纵的柔式内窥镜在介入内腔管道时,要求医生必须有熟练的操作技巧和技术。针对手动操纵柔式内窥镜所带来的弊端,设计了一种基于LK光流算法的机器人柔式内窥镜系统。利用内窥镜图像控制内窥镜指向内腔管道的中心线,从而可提高内窥镜的智能化、简化对操作医师技术的依赖、减少医疗事故的发生。以常规胃镜检查为例,对常用的图像灰度算法进行了分析比较,实验结果表明,基于LK光流算法得到的内腔管道中心路径更为精确。

改进的金字塔Lucas Kanade光流算法实现多姿态视频人脸特征点跟踪

目前,在人脸特征点跟踪领域,光流算法的使用较广泛。本文提出对小姿态人脸采用仿射变换矫正以及对大姿态人脸通过跟踪准确特征点的偏移量改进金字塔Lucas Kanade光流方法。实验结果表明,该算法比传统的金字塔Lucas Kanade光流算法在多姿态人脸特征点跟踪方面有更好的效果。

改进光流算法在地震图像纹理分析的应用研究

为在消除噪声的同时有效保护地震图像线性结构,提出一种改进光流算法与纹理平滑滤波相结合的新方法.首先,利用高斯金字塔多尺度描述方法解决大流速计算问题,提高精度;其次通过设置迭代结果残差的均方根的门限值,减少迭代次数,缩短处理时间;最后,根据地震图像剖面纹理复杂度,结合纹理属性分析,选用不同的模板进行纹理平滑滤波,提高信噪比.经与传统的均值滤波和目前较先进的改进Sobel滤波器以及利用标准化全梯度进行地震图像边界探测的方法相比,本文提出的算法能够有效的保存地震数据的边缘信息,增强地震图像同相轴的连续性,提高信噪比7~10 dB,缩短处理时间2~3分钟.实验结果表明:本文构建的高斯金字塔多尺度描述与光流算法结合,同时结合纹理平滑滤波构成的综合改进算法,在提高信噪比的同时,较好地保持了原图像的纹理结构和能量,并减少了处理时间,提高了地震资料解释的效率,是目前地震图像纹理分析领域处理效果较好的方法之一.

一种四旋翼无人机定位的改进LK光流算法

在无人机迅猛发展的今天,无人机的室内定位仍然是个难题,集中出现精度不高、不稳定、过长的延时等问题。提前布置室内环境提供定位信息方案成本高,且不符合经济效益。针对四旋翼无人机,提出一种改进后的LK光流算法,采用Shi-Tomasi角点检测算法、双线性插值法,提高无人机定位精度和稳定性。并将该算法在载机上实现。研究表明:改进后的LK光流法室内定位精度高,稳定性好;无人机在稳定光照条件下能进行定点飞行;定点精度为半径30 cm的圆形。

基于四旋翼飞行器的改进金字塔LK光流算法的研究

针对四旋翼飞行器在飞行过程的水平漂移问题,提出利用改进的金字塔LK光流算法予以改善。首先,通过Visual Studio2013仿真,确知改进的金字塔LK光流算法比传统金字塔LK光流算法对图像的速度信息提取精度更高。然后,再建立四旋翼飞行器的动力学模型,将两种光流算法导入MATLAB的仿真模型中,得出:四旋翼飞行器能有效根据改进的金字塔LK光流算法获得速度信息以降低水平漂移。最后,通过在轴距为430 mm的四旋翼飞行器的平台上进行飞行试验,结果表明:采用改进的金字塔LK光流算法能使四旋翼飞行器的水平漂移程度降低,可实现较为稳定的悬停。

一种基于多尺度分析和非线性滤波的光流算法

PIV后处理技术对于PIV流场实验测量的结果有着重要的影响而成为研究热点。传统的互相关算法有着许多先天缺陷,本文提出的基于多尺度分析和非线性滤波的修正光流算法能够克服这些的缺陷,该算法以多层细化理论为基础,对低分辨率序列采用同性扩散算法,而高分辨率序列采用非线性扩散方法。同时,该算法被应用到实际测量的二维向上槽道流PIV图像中,结果表明该算法对于PIV图像的后处理具有良好的性能和可靠性。

Lucas Kanade光流算法在面部特征点跟踪中的应用

在面部特征点的跟踪领域光流算法使用较为广泛。文章使用了Lucas Kanade光流算法对面部特征点进行跟踪,实验表明,该算法在面部特征点跟踪中可得到较好的跟踪效果。

基于轻量化网络和密集光流法的精子活力检测

基于便携式家用精子检测仪的研发需求,研究了轻量化卷积神经网络在精子活力检测方面的应用.利用Farneback光流算法提取出不同帧间距的精子视频的密集光流帧图像,并通过多通道图像叠加的方式将其与原始视频帧图像进行叠加.把叠加后的图像作为轻量化卷积神经网络ShuffleNet的输入图像,用于检测视频中精子的活力水平.实验结果表明:使用ShuffleNet能在基本不降低检测精度的前提下显著降低网络整体的计算量和模型所占用的内存,更适用于嵌入式和移动设备.此外,采用多通道叠加密集光流帧和原始帧图像作为输入图像,相较于单一的原始帧图像,有效提升了网络模型的性能.

基于DBSCAN算法的无人机光流测速方法

针对在无人机视觉导航、定位过程中进行光流计算时,光流矢量易受前景运动物体影响造成测速精度下降的问题,基于DBSCAN算法提出了一种光流测速优化方法。该方法使用Lucas-Kanade光流算法对SURF特征描述子进行光流跟踪后,计算出稀疏光流。采用DBSCAN算法对光流数据进行聚类处理,根据速度的一致性剔除光流数据中的干扰项。采用卡尔曼预估器对数据进行进一步处理,实验结果表明,该优化方法可以有效地减少前景运动物体对无人机光流测速的影响,提高无人机测速的精度。

基于光流法的多分辨率电子稳像算法

针对动载体摄像系统中视频序列受载体姿态运动及抖动的干扰而出现的不稳定现象,提出一种基于光流算法的多分辨率电子稳像算法。首先,通过划定有效的运动估算区域取代对整帧图像的计算以降低计算量;然后,利用基于光流算法的多分辨率分层运动估计快速并精确地计算出包含平移、旋转以及缩放运动的相邻帧间仿射变换参数;最后,采用固定帧补偿算法,利用求得的仿射变换参数,对图像进行运动补偿,消除或减轻图像序列帧间的随机抖动,达到稳像的目的。实验结果表明,针对包含运动目标的动态场景,该算法可以精确地检测出视频序列帧间平移、旋转以及缩放等复杂的抖动,水平和垂直方向的稳像精确度小于1pixel,保证视频序列的稳定输出,可应用于目标跟踪系统中。

一种改进的LK光流算法应用研究

本文在LK光流算法的基础之上进行改进,提出了一种新的面向视频中物体特征复杂、背景情况复杂、可形变物体的物体实时识别跟踪技术,并基于此算法在嵌入式平台上实现身份识别与网络电视重点个性化推荐系统。

全局运动多分辨率光流估计算法的改进与实现

为了提高低分辨率图像之间的位移估计精度,在传统光流算法的基础上,提出了全局运动的多分辨率光流估计算法.实验结果表明:该算法能够快速实现小位移和准确的实现大位移的运动估计,通过对互有亚像素位移的多帧低分辨率图像对比相位相关法进行运动估计,改进的多分辨率光流估计算法实现的高精度亚像素位移误差精度为0.05pi.

基于Pixhawk的四旋翼无人机光流改进算法研究

采用开源Pixhawk四旋翼无人机飞控结合PX4FLOW光流传感器作为硬件平台,分析了原有光流算法采用块匹配法进行光流定位时,自然光及周边环境对块匹配算法的影响较大,特别是在频闪和弱光条件下导致视觉数据偏离理想值较多,会导致无人机飞行不稳定,无法定点悬停的情况,提出了首先采用中值滤波预处理滤除部分噪声,并采用相邻帧比例判定削减频闪光对光流数据的影响;再通过Hessian矩阵阈值处理剔除异常点;最后将改进算法代码通过QGroundControl刷写四旋翼无人机固件后进行真机飞行实验,实验结果表明,改进的光流算法能够有效解决问题。