基于深度帧差卷积神经网络的运动目标检测方法研究

复杂场景中的运动目标检测是计算机视觉领域的重要问题,其检测准确度仍然是一大挑战.本文提出并设计了一种用于复杂场景中运动目标检测的深度帧差卷积神经网络(Deep Difference Convolutional Neural Network,DFDCNN).DFDCNN由DifferenceNet和AppearanceNet组成,不需要后处理就可以预测分割前景像素.DifferenceNet具有孪生Encoder-Decoder结构,用于学习两个连续帧之间的变化,从输入(t帧和t+1帧)中获取时序信息;AppearanceNet用于从输入(t帧)中提取空间信息,并与时序信息融合;同时,通过多尺度特征图融合和逐步上采样来保留多尺度空间信息,以提高网络对小目标的敏感性.在公开标准数据集CDnet2014和I2R上的实验结果表明:DFDCNN不仅在动态背景、光照变化和阴影存在的复杂场景中具有更好的检测性能,而且在小目标存在的场景中也具有较好的检测效果.

基于卷积神经网络的HEVC帧内预测算法优化

作为HEVC标准中最基础、最重要的技术之一,帧内预测对实现视频编码的高速、高质量和高压缩率具有重要的作用。文中针对帧内预测复杂性问题进行研究,提出一种基于深度卷积神经网络(CNN)的方法,通过学习来预测CTU的划分,从而减少HEVC帧内编码的复杂性。通过建立一个大规模的CTU划分数据库,并利用CNN的能力学习各种CTU划分模式,能够准确地预测CTU的划分,从而避免了传统的穷举搜索,实现了HEVC编码复杂性的显著降低,提高了编码效率。实验结果表明,提出的方法在测试序列和图像上分别将帧内编码时间减少了62.25%和69.06%,与其他最先进的方法相比,比特率分别仅增加了2.12%和1.13%,达到了优化的目的。

用于视频图像帧间运动补偿的深度卷积神经网络

为探索深度学习理论在视频图像帧间运动补偿问题中的应用,提出一种用于视频图像帧间运动补偿的深度卷积神经网络。该网络由卷积模块和反卷积模块构成,可以处理不同分辨率输入图像并具备保持较完整图像细节的能力。利用具有时序一致性的视频图像序列构造训练样本,采用随机梯度下降法对设计的深度卷积神经网络进行训练。视觉效果和数值评估实验表明,训练得到的网络较传统方法能更有效地进行视频图像帧间运动补偿。

基于格拉姆角差场和卷积神经网络的宽频振荡分类方法

宽频振荡模式具有时变性和时空分布特性,对振荡分类方法在准确性、自适应性等方面提出了更高的要求。为此,该文提出一种基于格拉姆差场(gram difference field,GADF)和卷积神经网络(convolutional neural network,CNN)相结合的宽频振荡分类方法。首先,利用GADF将宽频振荡一维时间序列转换为二维特征图,保留了数据对时间的依赖性和数据间存在的潜在联系特征。然后,通过CNN对GADF特征图自适应地完成宽频振荡模态特征的检测和分类。仿真和实测数据分析结果表明,GADF-CNN方法可以有效检测宽频振荡类型,具有更高的分类检测准确率和自适应性。

基于多尺度卷积神经网络的两阶段火灾识别算法研究

基于机器视觉的火灾识别技术对于智慧消防具有极为重要的意义。针对火焰容易受到复杂背景、不同摄像角度等因素影响,本文提出一种基于多尺度卷积神经网络的火灾高精度识别算法。算法将火灾识别任务分解成前景提取与精准识别两个阶段。在前景提取阶段,算法结合火焰运动性特点,使用帧差法对火灾候选区域进行快速提取。在精准识别阶段,算法引入空间金字塔池化模块,设计多尺度卷积神经网络进行火灾识别,实现对不同火焰尺度图像的高精度检测。在实际数据集上进行仿真实验,本文所提出算法在图像和视频领域分别取得93.6%和94.9%的火灾识别准确率,这有力证明了本文算法的有效性。

基于GADF与卷积神经网络的滚动轴承故障诊断研究

为充分发挥深度学习识别二维图像在滚动轴承故障检测方面的优势,提出了一种格拉姆角差场(GADF)结合改进卷积神经网络(CNN)的智能故障诊断模型。首先,将一维时序振动信号通过格拉姆角差场转化为二维图像,提取了图像特征,并输入了改进后的CNN模型;其次,改进的CNN模型采用全局池化层替代了传统的全连接层,有效地解决了传统CNN模型参数爆炸的问题;最后,进行了试验研究,通过Adam小批量优化法进行了迭代训练,达到了理想的检测精度。试验与研究结果表明:该诊断方法在特征提取方面更快速、准确,充分展现了CNN模型的非线性表达能力,检测精度优于其他智能诊断算法。

基于卷积神经网络的EHG胎儿早产识别算法

胎儿早产是影响婴儿早期发育及生命安全的直接因素之一,其直接的临床表现为孕妇宫缩强度和频率的变化。子宫肌电信号通过在孕妇腹部采集而得,能准确有效地反映出子宫收缩的情况,比子宫宫内压力导管等侵入式监测技术具有更高的临床应用价值。因此,基于EHG的胎儿早产识别算法研究对于围产期的胎儿监护尤为重要。该研究提出了一种基于卷积神经网络架构的EHG胎儿早产识别算法,通过格拉姆角差域法结合迁移学习技术构建一种深度CNN模型。采用临床实测的足月-早产EHG数据库对模型结构进行优化,实现了94.38%的分类准确度和97.11%的F1值。实验结果表明,本研究所构建的模型对临床胎儿早产的预测具有一定的辅助诊断价值。

基于过渡帧概念训练的微表情检测深度网络

为了更准确地从视频中检测面部微表情,针对微表情数据库样本规模较小的特点,采用迁移学习方法将深度卷积神经网络应用于微表情检测问题.选取预训练过的深度卷积神经网络模型,保留卷积层及预训练参数,添加全连接层和分类器,构造一个二分类的微表情检测深度网络(MesNet).为了去除微表情数据库中影响网络训练的噪声标签,提出过渡帧的概念和自适应识别过渡帧算法. MesNet在CASME Ⅱ、SMIC-E-HS与CAS(ME)2数据库上的曲线下面积(AUC)分别达到0.955 6、0.933 8与0.785 3,其中在CASME Ⅱ短视频数据库和CAS(ME)2长视频数据库上均取得最优结果,表明MesNet具有高精度和广适用范围的特点;过渡帧对比实验结果表明,构造训练集时从原始视频中去除过渡帧能够有效提高MesNet微表情检测性能.

基于T-CNN的3D-HEVC深度图帧内快速编码算法

3D-HEVC标准中引入了具有大面积平坦区域、陡峭边缘和低纹理复杂度特性的深度图。针对深度图编码过程中编码单元(CU)率失真优化导致编码复杂度过高这一问题,本文在分析深度图编码所具有的特点的基础上,构建了深度图划分深度数据集,并提出了一种基于两通道特征传递卷积神经网络(T-CNN)的划分深度预测算法。使用本文提出的算法替换原始编码器中各视点下深度图CU划分模块,可以在一定的率失真性能损失下,将原始HTM-16.0编码器编码时间平均减少76%左右,编码效率得到了显著提升。

基于深度体素流的模糊视频插帧方法

针对视频运动模糊严重影响插帧效果的情况,提出了一种新型的模糊视频插帧方法。首先,提出一种多任务融合卷积神经网络,该网络结构由两个模块组成:去模糊模块和插帧模块。其中,去模糊模块采用残差块堆叠的深度卷积神经网络(CNN),提取并学习深度模糊特征以实现两帧输入图像的运动模糊去除;插帧模块用于估计帧间的体素流,所得体素流将用于指导像素进行三线性插值以合成中间帧。其次,制作了大型模糊视频仿真数据集,并提出一种先分后合、由粗略至细致的训练策略,实验结果表明该策略促进了多任务网络有效收敛。最后,对比前沿的去模糊和插帧算法组合,实验指标显示所提方法合成中间帧时峰值信噪比最少提高1.41 dB,结构相似性提升0.020,插值误差降低1.99。视觉对比及重制序列展示表明,所提模型对于模糊视频有着显著的帧率上转换效果,即能够将两帧模糊视频帧端对端重制为清晰且视觉连贯的三帧视频帧。

基于卷积神经网络的足跟着地事件检测算法

为解决基于可穿戴传感器的步态事件检测技术对个体配合程度依赖性大、能耗高、应用条件苛刻等问题,提出一种基于机器视觉的足跟着地事件检测算法,可以在不需要参与者合作的情况下,利用普通摄像机实现对足跟着地事件的精确检测。提出一种新颖的特征,即连续轮廓帧差图(CSD-maps)来表达步态模式。一个连续轮廓帧差图可以将视频帧中行人连续的轮廓二值图编码到一张特征图中,使其蕴含丰富的步态时空信息。不同数量的行人连续轮廓帧差会产生不同的连续轮廓帧差图。利用卷积神经网络对连续轮廓帧差图进行特征提取和足跟着地事件分类。在公开数据库上,对124名受试者在5个视角下不同穿着状态的视频数据进行训练和测试,实验结果表明,该方法具有良好的检测精度,识别准确率达93%以上。

身体素质对脑年龄估值差影响的研究

目的:将身体素质水平作为大脑老化的一种潜在保护方式进行研究,为脑功能障碍患者的康复治疗提供参考。方法:基于594名健康中老年人的MRI影像数据,采用AlexNet的迁移学习进行特征提取,通过池化和主成分分析方法进行特征降维,并采用相关向量回归方法建立脑年龄预测模型。另选取123名中老年人,对其脑年龄估值差与身体素质(包括最大摄氧量、氧通气当量、呼气末最大二氧化碳分压、运动时间和体质量指数等指标)的关系进行分析。结果:大脑年龄估值差与最大摄氧量、运动时间和体质量指数之间存在显著关联。结论:较高身体素质水平可能会有助于延缓大脑的衰老过程。

三维视频跳帧缺帧动态补偿方法仿真

针对传统视频跳帧缺帧补偿方法存在效率低且补偿不完整问题,提出一种基于帧间投影算法的三维视频跳帧缺帧动态补偿方法。使用帧间投影算法使帧间运行转化为两个单独波形,得出参考帧在水平方向与垂直方向运动矢量,并利用逆变转化限制旋转、平移等基础变形,减少后续补偿的干扰向量,分析三维视频补偿需求构建相应深度卷积神经网络,利用训练模块对两种波形进行训练,通过不同方法测定三维视频补偿效率,获取三维视频跳帧缺帧动态补偿完整性。实验结果得出,所提方法在三维视频跳帧、缺帧补偿上效率更高,并且较比传统方法更快。据此可得出结论为所提三维视频跳帧缺帧补偿方法的性能更好。

基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.

基于深度学习的视频超分辨率重构进展综述

视频超分辨率是根据给定的低分辨率视频序列恢复其对应的高分辨率视频帧的过程。近年来,VSR在深度学习的驱动下取得了重大突破。为了进一步促进VSR的发展,文中对基于深度学习的VSR算法进行了归类、分析和比较。首先,根据网络结构将现有方法分为两大类,即基于迭代网络的VSR和基于递归网络的VSR,并对比分析了不同网络模型的优缺点。然后,全面介绍了VSR数据集,并在一些常用的公共数据集上对已有算法进行了总结和比较。最后,对VSR算法中的关键问题进行了分析,并对其应用前景进行了展望。

融合帧间时序关系的标准胎儿四腔心超声切面自动获取

目的 超声医师手动探查与采集胎儿心脏切面图像时,常因频繁的手动暂停与截图操作而错失心脏切面最佳获取时机。而单纯采用深层视觉目标检测或分类网络自动获取切面时,因无法确保网络重点关注切面图像中相对较小的心脏区域的细粒度特征,导致高误检率;另外,不同的心脏解剖部件的最佳成像时刻也常常不同步。针对上述问题,提出一种目标检测与分类网络相结合,同时融合关键帧间时序关系的标准四腔心(four-chamber,4CH)切面图像自动获取算法。方法 首先,利用自行构建的胎儿心脏超声切面数据集训练目标检测网络,实现四腔心区域和降主动脉区域的快速准确定位。接着,当检测到在一定时间窗内的视频帧存在降主动脉区域时,将包含四腔心目标的候选区域提取后送入利用自建的标准四腔心区域图像集训练好的分类网络,进一步分类出标准四腔心区域。最后,通过时序关系确定出可靠的降主动脉区域,将可靠降主动脉的检测置信度及同一时间窗内各个切面图像中四腔心区域在分类模型中的输出,加权计算得到标准四腔心切面图像的得分。结果 采用本文构建的数据集训练的YOLOv5x(you only look once version 5 extra large)和Darknet53模型,在四腔心区域和降主动脉区域的检测任务上分别达到94.0%的mAP@0.5和61.1%的mAP@[. 5∶. 95],以及69.5%的recall@0.5-0.95;在四腔心区域标准性分类任务上TOP-1准确率达到92.4%。将检测与分类模块结合后,系统对四腔心区域的误检率降低了29.38%。结论目标检测与分类网络相结合的策略及帧间时序信息的加入能够有效调和错检与漏检间的矛盾,同时大幅降低误检率。另外,所提算法除可自动获取标准的四腔心切面图像外,还可同时给出最佳切面,具有较好的实际应用价值。

改进型YOLO算法在车辆检测中的应用

随着当今人们物质生活的极大提高,对于出行的交通工具需求也在不断的提高,车辆成为了当前人们的生活必不可少的东西,随之而来的是交通秩序的混乱,为了减少道路的交通拥堵,交通事故等,保证行车者的安全和便利,对于实时监测车辆安全,必不可少。当前比较普遍的能够实时的监测车辆的算法大部分是基于匹配法、光流法或者帧差法等。后来逐渐出现了卷积神经网络以及CNN还有几何约束算法能够做到实时检测车辆。

一种基于计算机视觉的暴力分拣行为识别方法

近年来,快递行业内“暴力分拣”现象层出不穷,为解决传统依靠人工监控耗时耗力且作用不明显的弊端,提出一种基于计算机视觉的快递暴力分拣行为识别方法,将识别过程分为两个阶段:第一个阶段采用卷积神经网络与长短期记忆网络相结合形成的网络进行分拣人员分拣动作的识别及分类,对于一些常见暴力分拣的动作直接判定;第二阶段,采用三帧差法和Canny边缘检测相结合进行运动包裹的检测,从而获取其运动轨迹,判断运动包裹的移动轨迹是否大于阈值,大于则判定为暴力分拣。文章所提出的方法,能有效提高快递暴力分拣行为识别的实时性及准确率,从而提升快递行业服务质量。

基于GADF-CNN的滚动轴承故障诊断方法

针对一维信号作为卷积神经网络输入时无法充分利用数据间的相关信息的问题,提出GADF-CNN的轴承故障诊断模型。利用格拉姆角差域(GADF)对采集到的振动信号进行编码,可以很容易地进行角度透视,从而识别出不同时间间隔内的时间相关性并生产相应特征图,之后将其输入卷积神经网络(CNN)自适应的完成滚动轴承故障特征的提取与分类。为了验证模型性能,采用凯斯西储大学轴承数据集进行轴承故障诊断分析,同时引入常见神经网络作为对比,检验不同模型的分类性能。结果表明,相较于其他图像编码方式与神经网络,该模型在载荷变化以及噪声污染时,仍保持了良好的诊断性能。

安防视频时间戳同步检测方法研究

针对安防视频标注时间与标准时间存在偏差的问题,提出基于深度学习的时间戳同步检测方法。首先,针对目前的场景文本检测算法在检测视频时间戳区域时会出现时间戳区域检测不完全或检测框过大的现象,提出CBAP算法。该算法首先通过卷积神经网络得到字符级的检测结果与像素级的分割结果,再从字符级的检测结果和像素级的分割结果中提炼出最终检测结果,从而得到更为精确的文本实例包围框,能够有效地应对复杂多样的时间戳区域的检测任务。其次,提出基于容差匹配的时间戳同步判定方法用于解决视频图像在网络传输、编解码等各环节的延时导致时间同步判断出错的问题。最终,实验结果证明了提出的时间戳同步判定方法的合理性与有效性。