面向断路器储能弹簧性能检测的改进Lucas-Kanada光流图像目标实时跟踪算法

储能机构弹簧的动力学特性与断路器操动状态息息相关。针对断路器操动机构动作时间快、动力学参数难以捕捉等问题,提出一种基于高速图像序列目标跟踪的储能弹簧形变参数检测新方法,由高速摄像机拍摄断路器储能弹簧释放瞬间的视频图像,并引入了视觉跟踪的Lucas-Kanade光流算法计算弹簧形变速度和行程等参数。为解决测试现场弹簧形变信息提取、目标跟踪的实时性,提出了改进的Lucas-Kanada光流加速算法提高图像识别效率。现场断路器弹簧性能测试实验中,改进算法匹配图像目标的速度达4.6 ms/帧,证明改进算法满足断路器机械特性参数检测的精度和实时性需求。改进算法对于特定的高速连续运动目标检测具有独特优势,非接触式的图像跟踪检测方法在断路器状态判别中具有广阔应用前景。

基于Lucas-Kanada光流法的人眼特征点实时跟踪方法

为更好地实现运动目标的检测跟踪,给出一种基于Viola-Jones特征点检测、亚像素角点提取与LucasKanade光流法跟踪相结合的人眼特征点实时跟踪方法。利用Viola-Jones算法检测出人眼区域,使用Harris角点算法在目标区域中提取亚像素级人眼特征点并引入筛选机制,从而在保证跟踪精度的同时减少运算量,采用金字塔分层机制的Lucas-Kanada光流法对运动的人眼特征点位置进行估计。该机制具有可切换的搜索窗口特点,兼顾了对大尺度高速度运动目标的跟踪。实验结果表明,该方法在保证算法实时性的同时明显提高了人眼特征点跟踪精度,并且能够保证快速及大尺度运动时的系统鲁棒性。

融合移位窗口注意力的光流计算方法

针对端到端的光流计算方法容易受限于运动模糊、遮挡和大位移的问题,通过引入注意力机制实现对遮挡像素进行更准确的预测,提出一种融合移位窗口注意力的光流计算方法.首先使用移位窗口注意力对原有的特征图进行特征增强,获取更具全局自相似性的特征,弥补了卷积特征的局部性特点;然后使用移位窗口注意力进行相关体解析,包括2D运动向量解析和光流增量的计算,获得更准确的光流增量;最后引入遮挡图作为位置编码,在计算注意力时考虑更多的像素位置关系.实验结果表明,在Sintel数据集上,端到端的误差达到1.33;在FlyingChairs数据集上,单帧计算时间为69 ms,比全局运动聚合方法减少4.2%,超过了常见光流计算方法的精度和效率.

基于光流估计的“珠海一号”高光谱卫星遥感数据的固体废弃物识别方法——以河南省济源示范区为例

本文提出了一种基于光流估计的高光谱卫星遥感数据的固体废弃物识别方法。首先,从序列数据的角度看待高光谱数据,引入DeepFlow光流估计技术提取光谱维度的亮度变化信息,作为更具判别性的光谱运动特征;然后,将提取的光谱运动特征与原始光谱特征相结合后输入至常用的支持向量机进行固废识别;最后,进一步提出固废识别后处理方法改善识别效果,并利用“珠海一号”高光谱卫星遥感数据,以河南省济源示范区为研究区展开试验。试验结果表明,本文方法能够对露天堆放的工业固体废弃物进行大范围的快速精准识别,初步锁定济源示范区内存在固废遗留和违规堆放行为的11个地域风险点,且识别精度优于传统的光谱特征提取和分类方法,为后期人工现地勘察固废和“清废”行动显著节省了时间和工作量。

利用局部特征匹配的运动小目标光流估计

基于深度光流估计的动态背景运动小目标检测,为了保证小目标的检测性能,一般采用较少的下采样次数以维持较高的分辨率,但由此带来了较大的计算耗时。特征匹配是深度光流估计的一个核心处理环节,其耗时在光流估计整体耗时中的占比较大,且对下采样次数非常敏感。据此,提出一种基于局部特征匹配的快速光流估计算法:引入目标运动信息,缩小特征匹配的空间范围,减少待处理的数据量;设计分块局部匹配策略,引入批处理机制,避免出现逐点局部匹配策略数据处理耗时过大问题,实现算法加速。在此基础上,在光流估计获取的光流场上,采用CenterNet网络检测运动目标对应的光流异常区域。从光流估计耗时、检测精度等方面开展了实验验证,结果表明:针对运动小目标检测,分块特征匹配光流估计比全局特征匹配光流估计耗时减少约25%,目标检测性能相当。

面向视频测流的亚网格变分优化光流估计算法

本文在变分光流模型的基础上提出基于亚网格尺度的优化算法,用于描述图像序列中的复杂流体流动并估计其二维速度场。为解决基于网格尺度下变分光流估计中亚网格小尺度结构信息缺失的问题,结合不可压缩流体物理运动规律,引入大涡模拟的思想,在变分模型数据项中将瞬时运动分解为一个大尺度运动项和一个小尺度湍流项,并采用Smagorinsky模型求解小尺度湍流项。相比于传统的Farneback稠密光流算法,改进后的亚网格尺度变分光流算法(Subgrid scale Horn-Schunck optical flow,SGS-HS)在湍流图像序列的速度场估计中结果更优。为使SGS-HS算法同样能胜任于明渠流速测量任务,在模型的正则项方面选择使用速度梯度约束,以提高在明渠流场流向相对一致的情况下SGS-HS算法在测速实验中的精度。实验结果表明,相比于传统算法,SGS-HS算法在明渠测速方面具有较好表现。

光流结合特征提取的室内机器人避障技术研究

为解决室内机器人正向准确避障问题,提出一种光流结合特征提取的视觉避障方法。将LK光流与多尺度思想结合,加入仿射变换,提高算法追踪角点的噪声鲁棒性,进而准确检测视场中的障碍物;通过评估障碍物风险程度,制定出碰撞时间(TTC)结合光流平衡策略的碰撞机制,引导机器人在无碰路径上移动。改进光流与特征提取结合能提高相机快速运动下的追踪成功率,制定的碰撞策略能够有效规避机器人前方的障碍物。实验表明,相机快速运动时,算法能提高追踪的准确性,有效检测出视场中的障碍物,引导机器人无碰撞行驶,具备较强的独立性和实时性。

基于光流法的流体运动预测技术适用性研究

由于粒子图像测速技术在测量精度和时空分辨率上难以同时保证,而基于光流法的流体运动估计方法可以获得具有较高分辨率的稠密速度矢量场。为了评价该方法在流体运动估计上的适用性,采用流动情况由简单到复杂的开源粒子图像、标量图像、纹影图像序列对3种经典光流算法进行实验,在定性和定量层面评估了各算法的表现。结果表明:传统HS光流算法适用于大部分流动情况,然而在灰度梯度变化不明显时表现不佳;基于随机湍流传输模型的变分光流算法表现更为稳定,在HS目标函数中添加加权非局部平滑项后更适用于捕捉涡轮叶片纹影图像的尾迹区域和估计尾迹涡的输运速度。

动态场景下基于实例分割与光流的语义SLAM建图

视觉同步定位与建图技术常用于室内智能机器人的导航,但是其位姿是以静态环境为前提进行估计的。为了提升视觉即时定位与建图(Simultaneous Localization And Mapping,SLAM)在动态场景中的定位与建图的鲁棒性和实时性,在原ORB-SLAM2基础上新增动态区域检测线程和语义点云线程。动态区域检测线程由实例分割网络和光流估计网络组成,实例分割赋予动态场景语义信息的同时生成先验性动态物体的掩膜。为了解决实例分割网络的欠分割问题,采用轻量级光流估计网络辅助检测动态区域,生成准确性更高的动态区域掩膜。将生成的动态区域掩膜传入到跟踪线程中进行实时剔除动态区域特征点,然后使用地图中剩余的静态特征点进行相机的位姿估计并建立语义点云地图。在公开TUM数据集上的实验结果表明,改进后的SLAM系统在保证实时性的前提下,提升了其在动态场景中的定位与建图的鲁棒性。

基于视觉传感器采集光流特征的精神疾病识别方法

目前,精神疾病的筛查主要依靠临床医生的访谈和问卷进行评估,具有高成本、主观性等问题。提出了一种基于视觉传感器采集光流特征的精神疾病识别方法,可以实时监测和预警,以较低的成本和非侵入性的方式来进行精神疾病的辅助筛查。该算法通过视觉传感器全面采集患者的面部数据来提取光流特征,并输入TSMOSNet进行训练。TSMOSNet以TSM为基础网络进行改进,替换普通卷积为光流提取头,针对视觉传感器采集而来的光流特征图进行密集采样,并添加了时序注意力模块、DML蒸馏和VideoMix数据增强等方法,增强了视觉特征,以提高精神疾病识别的准确率。实验结果表明,在H7-BDSN数据集上相比于其他方法,本研究提出的识别算法在精神疾病的筛查任务中取得了最好的效果,准确率为85%,F1分值为0.84。

光流法雷达外推产品在突发强降水预报中的应用

地形条件复杂的山丘区中小河流洪水突发性强、汇流时间短,高准确率和长时效性降水短时临近预报产品对提高突发洪水预报精度尤为关键。以2021年9月河南省鸭河口水库出现的千年一遇特大洪水为例,利用国家气象信息中心提供的三源融合格点实况降水资料,检验基于改进光流法的雷达外推降水预报产品在本次洪水过程中0~1 h和0~3 h降水预报的TS评分和预报偏差。结果表明:(1)改进光流法在0~1 h的逐小时降水预报上较为精准,累计雨量在50 mm以下时,TS评分在0.45~0.85之间;雨量在50~70 mm之间时,TS评分在0.35~0.70之间;雨量在70 mm以上时,TS评分在0.25~0.35之间。50 mm以上雨量有较高TS评分表现出改进光流法在极端强降水预报中的优势性。(2)改进光流法在0~3 h的降水预报上,累计雨量在50 mm以下时,TS评分在0.55~0.85之间;在50 mm以上时,TS评分在0.35~0.75之间。该降水预报产品不仅对极端性降水预报效果较好,且预报时效长达3 h,可为防洪调度提供更长的决策时间。(3)改进光流法在0~3 h的降水预报产品与融合实况格点降水相比,雨量在20 mm以下的预报结果比较接近,平均绝对误差在10 mm以内;雨量在20 mm以上时,随雨量增大,平均误差、平均绝对误差、均方根误差均逐渐增大。(4)改进光流法在0~3 h的降水预报产品对影响范围小、降水强度大、维持时间长、累计雨量大的极端强降水有较好的预报表现。研究成果可为洪水预报模型提供一种较为可靠的降水输入预报。

融合三维人脸动态信息和光流信息的人脸表情识别

人脸表情识别在静态图像上取得了卓越的成效,但这些方法应用于视频或图像序列时,准确度和鲁棒性往往会受到影响。传统的方法通常无法基于空间信息和光流信息进行人脸表情的识别,然而这些辅助识别信息都是二维信息,没有考虑到人脸的表情变化是一种三维的变化过程。为充分挖掘人脸表情识别的深层语义信息,提出了一种基于三维人脸动态信息和光流信息相结合的融合表情识别方法。该方法构建基于人脸深度图像、光流图像和RGB图像的多流卷积神经网络,通过融合3种模态的信息进行人脸表情识别。所提方法在CAER,RAVDESS数据集上进行了充分验证,实验结果表明,其在表情识别性能上优于目前的主流方法,证明了其有效性。

基于金字塔分层L-K光流法的燃气火焰动态特征提取与分析

本文研究了金字塔分层L-K光流算法在燃气火焰诊断中的应用,通过实验提取不同工况下燃气火焰图像动态特征,并验证火焰动态特征灵敏性和有效性.结果表明:在稳定工况下,速度大小的均值和方差相比于速度方向的均值和方差更能反映火焰的动态变化;在不稳定工况下,动态特征的速度大小、均值出现周期性变化,描述了不稳定燃烧和火焰熄灭的过程;速度大小均值和方差与工况参数之间呈现显著相关,而速度方向均值和方差相关性较弱.本研究为开发新的燃气检测技术提供参考.

光流法修正的时序图像语义分割模型

医学成像技术的发展带来了海量的医学图像数据,这些图像反映了生物体的内部结构特征,医学图像分割技术可以提高医疗人员的诊断效率,从而成为现代医疗诊断的重要辅助手段之一。然而成像过程中不可避免地会出现噪声或伪影,它们给分割工作带来了极大的挑战。现有的分割模型中,单帧医学图像语义分割模型未考虑图像帧与帧之间的关系,视频语义分割模型虽利用了时序信息,但在边缘提取上有所欠缺。为了解决以上问题,提出了一种以U-Net为骨干,用光流法进行修正的时序语义分割模型。该模型能够提取视频前后帧之间的光流信息,并对当前帧与光流进行特征提取与权重分配,以达到修正的效果。实验结果表明,在果蝇电镜图、腹部综合器官图和冠状动脉造影图这些不同类型的数据集上,该模型在相似性系数、像素准确率和交并比这3个评价指标上都获得了最优结果,验证了所提模型的有效性和泛化性。

联合深度超参数卷积和交叉关联注意力的大位移光流估计

针对现有深度学习光流估计模型在大位移场景下的准确性和鲁棒性问题,提出了一种联合深度超参数卷积和交叉关联注意力的图像序列光流估计方法.首先,通过联合深层卷积和标准卷积构建深度超参数卷积以替代普通卷积,提取更多特征并加快光流估计网络训练的收敛速度,在不增加网络推理量的前提下提高光流估计的准确性;然后,设计基于交叉关联注意力的特征提取编码网络,通过叠加注意力层数获得更大的感受野,以提取多尺度长距离上下文特征信息,增强大位移场景下光流估计的鲁棒性;最后,采用金字塔残差迭代模型构建联合深度超参数卷积和交叉关联注意力的光流估计网络,提升光流估计的整体性能.分别采用MPI-Sintel和KITTI测试图像集对本文方法和现有代表性光流估计方法进行综合对比分析,实验结果表明本文方法取得了较好的光流估计性能,尤其在大位移场景下具有更好的估计准确性与鲁棒性.

基于车辆外观特征和帧间光流的目标跟踪算法

在复杂道路场景下,车辆目标之间频繁遮挡、车辆目标之间相似的外观、目标整个运动过程中采用静态预设参数都会引起跟踪准确率下降等问题。该文提出了一种基于车辆外观特征和帧间光流的目标跟踪算法。首先,通过YOLOv5算法中的YOLOv5x网络模型获得车辆目标框的位置信息;其次,利用RAFT (recurrent all-pairs field transforms for optical flow)算法计算当前帧和前一帧之间的光流,并根据得到的位置信息对光流图进行裁剪;最后,在卡尔曼滤波过程中利用帧间光流进行补偿得到更精确的运动状态信息,并利用车辆外观特征和交并比特征完成轨迹匹配。实验结果表明,基于车辆外观特征和帧间光流的目标跟踪算法在MOT16数据集上表现良好,相较于跟踪算法DeepSORT,成功跟踪帧数占比提高了1.6%,跟踪准确度提升了1.3%,跟踪精度提升了0.6%,改进的车辆外观特征提取模型准确率在训练集和验证集上分别提高了1.7%、6.3%。因此,基于高精度的车辆外观特征模型结合关联帧间光流的运动状态信息能够有效实现交通场景下的车辆目标跟踪。

基于颜色和光流的多注意力机制微表情识别

针对光流法无法充分利用微表情面部颜色信息,导致识别准确率不高的问题,本文提出一种基于颜色和光流的多注意力双流网络方法。首先,提出以CIE Luv色差图的形式,初步提取人脸情感生理特征,弥补微表情光流特征的单一性和局限性;然后,将PAM模块和ECA block并行组合得到轻量化的双注意力模块,提取空间和通道关键特征;最后,设计一种交叉注意力机制以获取颜色和光流混合特征,将其与空间通道关键特征融合用于分类。本模型在实验中采用留一交叉验证法进行评估,在SAMM数据集上的准确率和F1分数分别达到69.18%和67.04%,在CASMEⅡ数据集上的准确率和F1分数分别达到72.38%和70.85%。实验结果均优于目前主流算法,进一步证明本文模型及其模块在识别微表情方面的有效性。

光流法测速在点火过程研究中的应用

光流法作为一种运动图像分析方法,正在越来越广泛地被应用于燃烧诊断领域,它能够定量获得火焰面位移速度.在强迫点火过程研究中,准确测量火核的演变速度能够更清楚地揭示其物理化学过程本质,基于此,本文验证了利用光流法研究点火过程的可行性,并分析了其准确度,研究了静止混气和扩散射流中的强迫点火过程,定量展示了强迫点火过程中火核的发展速度,可为点火模型的建立提供数据支撑.结果显示,射流中火核的发展速度呈现先慢后快的特点,并且在发展过程中,其速度矢量场中会出现多个发散源.

基于实例分割与光流的动态环境SLAM

针对传统语义实时定位与建图(Semantic real-time Localization and Mappling,SLAM)算法在动态环境下剔除特征点过多、造成定位精度降低的问题,提出一种基于实例分割与光流的视觉语义SLAM算法。算法使用Mask R-CNN网络对图像中的潜在动态物体进行实例级别的分割,同时在光流线程中对动态物体进行识别并剔除,随后使用剩余的静态光流点与静态特征点联合优化定位,实现语义信息与光流信息的充分融合利用。使用公开数据集测试和地面无人平台实验对所提方法进行验证。实验结果表明,在TUM数据集下,新方法的定位均值误差相比ORB-SLAM2平均提高75%,相比Dyna-SLAM平均提高8.5%。

光栅光阀型闭环直流电流互感器及温度修正方法研究

为满足直流电力系统电能计量、电量监测、控制与保护需求,提出一种基于微功率光控信号源的闭环光反馈光栅光阀(GLV)型直流电流传感方案,集成一种基于保偏光纤温度双折射效应的全光纤温度传感器,实现GLV探头的实时温度监测,进而实现系统温度误差修正。完成了样机研制及测试(额定电流In=500 A),结果显示,在10%In~110%In范围内,系统比差(RE)波动小于±0.2%;0~1200 Hz范围内,谐波测量误差小于-0.693%;-40℃~85℃范围内,误差修正后的RE波动范围为-0.186%~0.084%;阶跃响应上升时间小于125μs。测试结果表明,系统满足GB/T 26216.1—2019规定的0.2级的误差限值要求。