ForegroundNet:一种基于语义与动态特征的前景检测算法

针对以往的前景检测方法对场景信息依赖较多的问题,提出了一种实时的无需迭代更新背景模型的前景检测深度学习模型ForegroundNet。ForegroundNet首先通过骨干网络从当前图像和辅助图像中提取语义特征,辅助图像为相邻的图像帧或者是自动生成的视频背景图像;然后将提取得到的特征输入到包含短连接的反卷积网络中,使得最终特征图在与输入图像具有相同的大小,并且包含不同尺度的语义及动态特征;最后使用softmax层进行二值分类,得到最终检测结果。在CDNet数据集上进行的实验结果表明,相比于当前F值为0.82的次优方法,ForegroundNet能够获得0.94的F值,具有更高的检测精度;同时ForegroundNet检测速度达到123 fps,具有良好的实时性。

基于多视图前景分割的电网设施三维数字化重建

电网设施高保真数字化建模和可视化是构建数字孪生电网,推动新型电力系统建设的重要步骤。为解决手工建模方式的诸多弊端,满足数字孪生电网设施三维可视化需求,提出了一种基于多视图前景分割的电网设施三维数字化重建方法。基于深度学习网络结合前景分割算法,构建电网设施检测定位与前景分割模型,将相机原始多视图转化为待建设施前景图像,减少图像复杂背景带来的特征误匹配、模型体外噪声增多等问题的影响,提高重建视觉效果。以运动恢复结构为基础原理,提出基于改进加速稳健特征–随机抽样一致性(speeded-up robust features-random sample consensus,SURF-RANSAC)算法的高质量相机位姿估计方法与稀疏点云稠密化方案,最终形成了一种面向分布式电网设施的统一结构化静态模型重建方式。通过实拍图像构建设施重建数据集,分别对电力变压器、变压器绕组、高压真空交流断路器3种典型电网设施进行仿真重建,均取得良好重建视觉效果和较低的重投影误差,验证了方法的通用性和有效性。所提方法不仅为分布式设施在虚拟空间的统一表征、状态监测提供三维模型支撑,也为供需侧电网设施的跨时空互动及供需平衡调节实现提供可能。

基于背景估计的运动检测算法

为了有效检测出运动目标静止后的轮廓和抑制视频抖动给运动检测带来的影响,提出了基于背景估计的运动检测算法。采用带模板遮罩的背景更新策略来避免目标前景区域被更新,同时根据纹理相似性,对目标遮挡区域的背景进行估算,使得在光照变化下遮挡区域得到同步更新。通过视频稳定算法得到全局运动参数和局部运动参数,然后利用全局运动参数稳定视频,利用局部运动参数作为运动目标检测的输入,最后利用高斯模型来检测运动目标。通过对多段抖动视频做实验,结果验证了该算法的准确性和有效性。

动态背景体育运动视频合成对比

针对在同一场景下获取的体育运动视频,提出了一种基于全局运动补偿及运动前景区域信息的体育运动视频合成方法。首先,对待合成视频,通过全局运动估计与补偿,将相邻帧在空间上对齐到当前帧。通过计算帧差,得到当前帧中的运动前景区域信息。然后根据两段待合成视频之间背景的相似性,计算并修正全局运动参数,确定待合成对应帧之间的位置关系。最后,依据已经获得的运动前景区域信息,生成合成帧。实验结果表明,该方法可自动合成在同一场景中获得的有相似动态背景的体育视频,保持了前景与背景的清晰度,能清晰地显示运动员动作的差异。

基于运动方向的异常行为检测

提出了一种基于运动方向的异常行为检测方法.根据不同行为的运动方向具有不同的规律性,该方法采用块运动方向描述不同的动作,并利用支持向量机(Support vector machine,SVM)对实时监控视频进行异常行为检测.为了减少噪声运动的影响,同时有效保留小幅度运动的前景目标,在行为描述之前,本文采用了背景边缘模型对每一视频帧进行前景帧(有目标出现的视频帧)判断.在行为描述时,先提取相应视频段的所有前景帧的块运动方向,然后对这些运动方向进行归一化直方图统计得到该视频段的行为特征.在走廊等公共场景中的实验结果表明,该方法能够对单人以及多人的复杂行为进行有效检测,对运动过程中目标大小的变化、光照的变化以及噪声等具有较好的鲁棒性,而且计算复杂度小,能够实现实时监控.

煤矿智能视频监控中的运动目标检测研究

针对煤矿智能视频监控环境存在各种复杂动态场景变化的情况,研究了运动目标检测中的3个重要环节:背景建模与更新、前景检测和运动阴影检测与去除。针对这3个环节,提出了相应的处理方法:基于IFCM聚类算法的自适应背景建模与更新方法,对像素灰度取值进行无监督聚类,自适应选取不同个数的聚类构建各像素背景模型,随场景变化进行聚类修改、添加和删除以完成背景自动更新;联合背景差分信息、三帧差分信息和空间邻域信息的前景检测方法,据此获得较为准确的前景目标;运动阴影检测与去除方法,依据在阴影覆盖前后的灰度图像中,像素具有亮度值相关性和纹理特征值不变性,实现了运动阴影的检测与去除。实验结果验证了本文所提方法的有效性和优越性。

自适应核密度估计运动检测方法

提出了一种自适应的核密度估计(Kernel density estimation,KDE)运动检测算法.算法首先提出一种自适应前景、背景阈值的双阈值选择方法,用于像素分类.该方法用双阈值克服了单阈值分类存在的不足,阈值的选择能自适应进行,且能适应不同的场景.在此基础上,本文提出了基于概率的背景更新模型,按照像素的概率来更新背景,并利用帧间差分背景模型和KDE分类结果解决背景更新中的死锁问题,同时检测背景的突然变化.实验证明了所提出方法的适应性和可靠性.

基于深度学习的人体行为识别研究

为解决传统人体行为识别算法存在的运动前景检测不准确、特征提取模糊以及训练识别耗时长等问题,本文提出了基于深度学习的人体行为识别研究方法。利用骨架提取方法对运动前景进行检测及特征提取;针对人体行为动作的时序性,提出了连续帧组合方法;在模型训练环节,对比了不同的网络模型参数,选择了最优的激活函数、优化算法以及dropout系数。最后,结合网络模型,分类识别测试样本集中的各种行为,并将识别的结果和当前流行的算法进行比较,通过对比实验,最终实验结果证明了本文所提方法优于其他方法,平均识别率相比其他方法有较大的提高。

改进ViBe算法与Meanshift结合的目标跟踪方法

为解决视频监控系统中因光照变化、相似颜色干扰及快速动目标而导致的目标易丢失问题,提出一种改进ViBe算法与Meanshift结合的目标跟踪方法。首先采用三帧差分和ViBe算法结合进行前景目标提取和检测,以消除鬼影的干扰,利用色度特征和梯度特征相结合的方法来抑制阴影;同时通过将边缘特征融入到Meanshift算法中,引入运动矢量在当前帧中预测下一帧运动目标的位置,实现场面监视环境中运动目标的持续、准确跟踪。通过在监控视频中行人、车辆及飞行器等不同场面目标做实验,验证了本文方法不仅能够持续、准确地跟踪运动目标,并且可适用于场面雾天低能见度条件下的运动目标跟踪。

动态场景视频序列中的前景区域自动提取

首先提出一种具有自适应外点过滤功能的全局运动估计算法 ,通过交替地进行参数估计和外点过滤 ,能够有效地抑制噪声的影响 ,实现准确的背景对准 ;然后 ,通过直方图拟合获得准确的背景噪声方差值 ,克服了以往只能依据经验设定背景噪声方差的缺点 ,并使用显著性测试技术有效地对帧差图进行二值化 ,最终消除帧间的重叠背景 ,提取出前景区域 实验结果表明 ,该算法能够有效地实现动态场景视频序列中的背景对准 。

基于低秩-稀疏联合表示的视频序列运动目标检测（英文）

对于固定摄像机的视频序列,假设背景具有低秩特征,动态前景具有稀疏特性,提出了一种基于低秩稀疏联合表示的运动检测方法。思路如下:通过图像预处理降低视频序列的噪声;估计连续帧之间的光流,生成二进制运动掩模作为运动权重矩阵;基于子空间学习理论,建立了低秩背景与稀疏前景的优化模型;利用ADMM-BCD迭代算法得到视频背景和前景。实验结果表明,该方法优于其他同类运动检测方法,对慢速运动目标检测效果良好。

基于G-GMM的视频序列运动目标检测算法研究

为了能够从视频序列中快速准确地检测运动目标,在混合高斯背景差分法的基础上引入Grabcut算法,提出了一种新的运动目标检测G-GMM(Grabcut-Gaussian Mixture Model)算法。首先通过混合高斯模型背景差分法提取运动目标初始二值轮廓,构建其最小的外接矩形;然后初始化矩形内图像信息,寻找潜在前景区域;最后采用迭代算法实现最优化分割,得到准确的运动目标轮廓。实验结果表明,在静止摄像机户外视频监控系统中,提出算法具有较高的准确性和鲁棒性,对刚性和非刚性两类目标都具有较好的检测结果。

运动信息引导的目标检测算法

在室外监控视频的场景下,由于场景的复杂性及目标的多样性,监控视频中的目标存在难以检测的情况,如目标被遮挡、目标尺寸变化等,目标检测任务仍然存在挑战。基于此,提出了一种利用运动信息引导基于卷积神经网络的目标检测算法来提高目标检测的准确率。对运动目标检测算法进行一定的改进,使得到的运动前景图中能够保持静止目标前景的存在;利用运动前景图中的前景可以指示目标空间位置的特点,在特征层面将网络提取的特征图与获取的以运动前景图为主的运动信息相融合,提高特征图可能存在目标区域的响应值;在目标检测算法的检测器中,引入一个定位分支,利用视频帧的运动前景图,学习候选目标的定位置信度,并与目标的分类置信度加权求和,作为目标最终的置信度,再通过非极大值抑制方法得到检测结果。实验证明,在固定摄像机下采集的数据集中,所提算法能够提升目标检测的准确率。

基于加权三视角运动历史图像与时序分割的动作识别算法

针对当前人体动作识别算法中由于人体躯干遮挡而导致其检测精度不佳的问题,提出了一种基于加权三视角运动历史图像耦合时序分割的动作识别算法。首先,为了有效描述动作的形状和空间分布,从视频序列中提取运动历史图像(motion history image,MHI)。随后,应用深度相机(Kinect相机)来提取深度图像,以获取人体目标的动作前景轮廓。为了识别由于身体部位造成的自我遮挡,动作前景轮廓被投影到3个视角(3V)平面,形成3V-MHI,增强了对动作的正确提取,利用3V-MHI构造了一个用于记录观测运动轨迹的MHI,克服了单视角MHI的信息局限性。然后,利用时序分割(temporal segmentation,TS),根据相邻的3V-MHI来计算动作的能量和方向的变化,以检测运动的开始和结束,从而输出运动结果。此外,计算MHI的梯度值作为每个平面对应的权重,从而得到加权3V-MHI。最后,将提取的每个直方图运动模板与预先建立的数据库进行比较,完成动作的分类识别。实验表明,该方法能有效地解决自遮挡问题,在复杂环境和光照变化下有较高的准确性与鲁棒性。

基于改进的帧间差分运动目标提取算法

针对帧间差分法容易产生的空洞效应,本文提出一种基于改进帧间差分的运动目标检测算法。首先利用原始帧差分提取潜在的运动目标区域,继而提取的区域内进行vibe(visual background extractor)算法的前景匹配,再次提取运动目标,以弥补空洞现象,实验结果表明本文算法能完整的提取运动目标。

一种基于色彩统计的快速前景检测算法

针对当前流行的码本模型背景建模和混合高斯模型背景建模对背景像素的分布描述不够精确,建模过程较为复杂,以及处理高分辨率的视频不具备实时性这些问题提出了一种快速简洁的背景建模方法。通过对动态的背景像素在RGB空间的三个色彩分量的统计和分析,发现三个分量相互间的差值在一个狭窄的区域内波动,基于这一事实提出基于RGB色彩分量统计的背景建模方法。该方法充分考虑了RGB三个颜色分量的相关性,较之基于混合高斯模型和码本模型的这两种方法,背景建模的过程更加简单,并且前景检测的过程也更加快捷。实验结果表明该方法不仅能够更准确地描述背景像素的RGB色彩分布,具有良好的鲁棒性,并且大大减少了前景检测的计算复杂度,时间消耗和内存消耗。

基于像素级估计的视频显著性检测

为了减少背景噪声干扰,准确地从复杂视频中提取显著目标,提出一种具有时空一致性的视频显著区域检测算法。将视频帧划分为超像素,以超像素为基本单元提取光流特征,在时空一致性原则指导下动态融合颜色、边界信息和光流特征,获取视频显著图。在此基础上,借助视频帧的细节和区域特征对视频显著图进行细化增强。实验结果表明,算法的准确率召回率曲线在复杂图像数据库中高于传统经典算法,具有足够高的鲁棒性,能够减少相机运动和背景运动以及突变情况对跟踪检测的影响。所提方法能够在各种运动模式下和外观复杂场景中较为完整地提取显著目标,可作为预处理技术,改善目标跟踪、行为检测、视频压缩等的性能。

基于人体肤色识别征的敏感视频分类方法

为了快速、有效地分类出敏感视频,提出一种基于人体肤色识别的敏感视频分类方法。首先通过帧差图像提取前景运动区域,然后构建人体肤色模型,并结合前景运动区域识别出视频中的人体,最后用多因素的级联分类器进行敏感视频分类。实验结果分析表明,文中方法有较好的分类准确率和查全率。

群体异常监测系统中特征点的提取与优化研究

针对公共场合安全监控等方面的应用需求,论文研究并设计实现了一个人群突发异常行为的监测系统。目前应用的大多数系统主要是对运动对象进行监测和跟踪。为提高监测的精确度,提升监测效率,在监测过程中通过对特征点进行判断处理会得到更好的效果。所以在样本中选取合适、准确的特征点是关键。论文主要从某一范围内高度唯一性和处于运动前景区域的并具有良好运动属性的特征点两方面进行判断选取。根据判定条件,依据Harris特征点提取算法对特征点进行初步提取,再通过混合高斯背景建模算法对特征点进行进一步的筛选。

热红外视频监控下行人目标前景区域提取

在热红外视频监控环境下,针对热红外图像因周围环境温度变化而导致热红外图像灰度值反转的问题,提出了一种通过热红外图像的边界特征和运动特征的融合来提取行人目标前景区域的方法。首先,利用行人目标和周围环境存在的显著性差异来提取行人目标的边界特征,对所提取的边界特征进行边界填充,并利用热红外行人目标分类器来排除误检目标,从而获取最终的边界特征提取结果;其次,利用相邻帧之间的运动信息来获取行人目标的运动特征,对所获取的运动特征进行形态学处理,并利用热红外行人目标分类器来排除误检目标,从而获取最终的运动特征提取结果;最后,对所获取的边界特征提取结果和运动特征提取结果进行融合来获得最终的检测结果。实验证明,在公开的OSU和LSI热红外图像行人目标检测数据集中,所提方法能够有效地降低环境温度变化的不利影响,并提高行人目标前景区域提取的精度。