基于点云多帧融合的相邻障碍物聚类分割方法

相邻障碍物的分割是无人驾驶领域的技术难点,低线激光雷达点云稀疏,无法聚类远距离物体,但激光雷达线束越多越昂贵。为了实现低成本聚类分割相邻障碍物,实验场景选取常用交通场景对象相邻的人/人、人/车,提出了一种基于多帧融合的相邻障碍物分割方法。基于惯性测量单元、激光雷达融合多帧点云,解决了低线激光雷达因分辨率低而无法聚类远距离相邻行人的问题。提出改进的欧式聚类,加入自适应阈值和向量角度约束两个新的分割标准,提高相邻障碍物的分割效果。实验结果表明,该方法具有成本低、聚类精准等特点,与单帧传统欧式聚类算法相比,该方法针对相邻障碍物分割的准确度提升约30.7%,对低线激光雷达在障碍物聚类以及后续的检测具有一定参考意义。

基于视频多帧融合的医学超声图像超分辨率重建方法

医学超声成像是临床诊断中应用最广泛的成像方式之一。目前超声图像普遍存在分辨率和对比度较低的问题,并且成像过程易受噪声污染。图像超分辨率重建技术被广泛用于改善超声图像的质量。然而,已有的研究工作缺乏对超声视频帧之间互补信息的充分利用,因此效果并不理想。针对此问题,提出了一种基于视频多帧融合的医学超声图像超分辨率重建方法。首先,构建了一个基于卷积神经网络的无监督多帧融合模型,该模型通过对连续的多帧图像进行特征融合,得到具有丰富信息的融合特征图像;然后,建立一个基于无数据知识蒸馏的轻量级图像超分辨率重建模型,通过训练融合特征图像得到教师超分辨率网络,利用训练好的教师网络和生成对抗网络获取的训练数据得到轻量级学生超分网络,最终得到高质量的医学超声图像;最后,在大型超声数据集上进行实验,采用两种图像客观评价指标以及图像分类任务进行评估。结果表明,所提方法与8种已有的图像超分辨率重建方法相比,在提高超声图像分辨率的同时,获得了包含更多信息且具有更高对比度的超声图像。此外,所提方法得到的超分辨率图像在分类网络的识别准确率可达到97.30%,明显优于其他方法,可提高临床诊断效率与准确性。

基于颜色聚类和多帧融合的视频文字识别方法

提出一种基于颜色聚类和多帧融合的视频文字识别方法,首先,在视频文字检测模块,综合考虑了文字区域的两个显著特征:一致的颜色和密集的边缘,利用近邻传播聚类算法,根据图像中边缘颜色的复杂程度,自适应地把彩色边缘分解到若干边缘子图中去,使得在各个子图中检测文字区域更为准确.其次,在视频文字增强模块,基于文字笔画强度图过滤掉模糊的文字区域,并综合平均融合和最小值融合的优点,对在不同视频帧中检测到的、包含相同内容的文字区域进行融合,能够得到背景更为平滑、笔画更为清晰的文字区域图像.最后,在视频文字提取模块,通过自适应地选取具有较高文字对比度的颜色分量进行二值化,能够取得比现有方法更好的二值化结果;另一方面,基于图像中背景与文字的颜色差异,利用颜色聚类的方法去除噪声,能够有效地提高文字识别率.实验结果表明,该方法能够比现有方法取得更好的文字识别结果.

After Effects的帧速率与帧融合实例运用

本文就实际工作中常用到的慢速播放(如慢动作),或者将画面抽帧播放(快动作)而产生的画面不流畅问题,通过After Effects帧速率和帧融合的调整可以得到有效的解决。实例一 预融合(Pre—Blend) (1)创建一个新的合成窗口(Ctrl+N)。

基于字典学习的星空图像多帧超分辨融合方法

目的:研究一种针对星空图像的多帧超分辨融合方法。方法:首先通过字典学习构建基于星空样本的高低分辨率自适应学习字典对,对输入低分辨星空图像进行稀疏分解,根据稀疏分解系数和高分辨字典重构得到高分辨率星空图像;然后采用时序多帧融合去噪的方法,对高分辨率星空图像进行噪声消除,融合得到信噪比更高的高分辨率星空图像。结果:根据本文设定的无参考图像信噪比计算公式对超分辨融合效果进行评价,3组实验融合图像相较于基于字典学习的超分辨重建图像信噪比分别提升0.76,0.99,0.38。结论:本文提出的方法能够实现星空图像的多帧超分辨融合,并有效提升融合图像的信噪比。

多帧融合处理技术在运动模糊图像复原中的应用

运动模糊图像是电视监控中常见的退化图像 ,也是图像处理和检验工作中的难题。针对电视摄像的特点 ,多帧融合处理技术从图像时间序列中提取景物的运动信息 ,构造复原滤波器 ,通过频率域反转滤波方式复原模糊图像。这项技术能够有效地增强电视监控中存在的运动模糊图像 。

多帧融合处理技术在运动模糊图象复原中的应用

针对电视监控中存在的运动模糊图象 ,本文讨论了运动模糊图象的成因 ,推导出运动模糊图象的传递函数和复原模型 ,并且应用多帧融合处理技术复原运动模糊图象。

融合多模型和帧间信息的行人检测算法

行人检测在车辆辅助驾驶、视频监控、智能机器人等领域具有重要的应用价值.针对当前行人检测算法在视频分辨率低和背景复杂的情况下存在很多误检及漏检的问题,提出一种融合多模型和帧间信息的行人检测算法.首先融合Fast R-CNN和Faster R-CNN模型的互补检测结果获取精准的检测窗口;然后采用视频帧间上下文融合算法来弥补单帧图像检测算法存在的漏检和误检.实验结果表明,在Caltech行人检测数据库上,在每幅图像虚警率(FPPI)为10%的条件下,该算法丢失率仅为14.04%,比Faster R-CNN单模型丢失率(16.09%)降低2.05%;利用多模型和帧间信息融合对行人检测结果进行校正,能提高行人检测性能.

基于时空融合的多帧压缩视频增强方法

为了减少视频的存储和传输开销,通常对视频进行有损压缩处理以减小体积,往往会在视频中引入各类不自然效应,造成主观质量的严重下降。基于单帧的压缩图像复原方法仅利用当前帧有限的空间信息,效果有限。而现有的多帧方法则大多采用帧间对齐或时序结构来利用相邻帧信息以加强重建,但在对齐性能上仍有较大的提升空间。针对上述问题,提出一种基于多帧时空融合的压缩视频复原方法,通过设计的深度特征提取块和自适应对齐网络实现更优的对齐融合,充分地利用多帧时空信息以重建高质量视频。该方法在公开测试集上(HEVC HM16.5低延时P配置)优于所有对比方法,并在客观指标上(峰值信噪比PSNR)相比于目前最先进的方法STDF取得了平均0.13 dB的提升。同时,在主观比较上,该方法也取得了领先的效果,重建出更干净的画面,实现了良好的压缩不自然效应去除效果。

多帧运动模糊图像复原方法的研究

针对电视监控中存在的运动模糊图像 ,本文讨论了运动模糊图像的成因 ,推导出运动模糊图像的传递函数和复原模型 ,提出了利用多帧融合处理技术复原图像的方法。

复杂背景下基于图像融合的运动目标轮廓提取算法

运动目标轮廓的有效提取对于目标识别、跟踪和行为的理解等后期的处理是非常重要的。受背景复杂性的影响,当背景灰度和运动目标的灰度相近时,提取的运动目标易产生空洞,某些部位无法完全恢复。根据帧差法的基本原理,提出了一种针对复杂背景的运动目标检测、轮廓提取方法。首先,对图像进行滤波处理,采用最大方差比阈值法消除了剩余部分噪声和背景,然后在三帧时间差分法基础上,利用序列中多帧图像融合运动信息,并确定参考区域,通过对原图像进行回扫描,最终提取出完整的运动目标轮廓。实验结果验证了算法的稳健性和有效性。

YOLO v4框架下Multi⁃Patch多帧增量式交通视频目标检测

提升目标检测模型的泛化能力是计算机视觉领域的研究热点和关键难点。本文提出了一种Multi⁃Patch方法和多帧增量式预测策略,提升了不同场景下交通视频目标检测的稳健性,有效解决了目标尺度多变导致的视频中目标召回率低的问题。根据视频分辨率和目标尺寸,基于Multi⁃Patch方法自动将视频帧分割成最佳输入尺寸,使用YOLO v4神经网络并关联连续帧的上下文信息,采用增量式预测策略降低视频目标检测的漏检率,提升不同场景下视频目标的检测置信度得分和召回率。采集不同拍摄条件下的交通视频,验证该方法的有效性。试验结果表明,本文提出的目标检测方法召回率在80%以上,置信度平均得分在0.84以上。

结合帧间目标回归网络的无人机视频车辆检测

无人机视频具有视角灵活、视域连续、监视范围广等优点,但同时也存在目标分布密集、运动噪声强等问题,给准确的目标检测造成了困难。针对这些问题,提出结合帧间目标回归网络的无人机视频车辆检测算法。根据无人机视频中车辆目标密集分布的特点,提出软化非极大值抑制作为单阶段全卷积目标检测的检测框合并策略,进而构建单帧车辆检测器;为应对单帧检测器直接应用于视频检测时易受运动噪声干扰、造成同一目标置信度变化的问题,设计帧间目标回归网络,利用帧间运动连续性融合相邻多帧的目标特征,并与当前帧目标特征进行匹配回归输出预测结果;最后利用单帧检测结果修正,实现检测性能的提升。通过对已有无人机数据集进行筛选、融合和补充标注,构建一个更全面的无人机视频车辆数据集。该方法在数据集上的平均精度较单阶段全卷积目标检测和基于光流引导特征融合的视频目标检测分别提高约2%和5%,可达47.42%。实验结果表明,该方法优于单阶段全卷积目标检测和基于光流引导特征融合的视频目标检测等视频目标检测算法,具有更好的鲁棒性和泛化性。

基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.

基于图像融合的运动目标检测与跟踪方法研究

从运动背景中检测与跟踪运动目标是计算机视觉研究领域的热点,根据帧差法的基本原理,提出了一种针对复杂背景的运动目标检测方法。首先通过设定阈值滤除序列图像中的噪声,然后对三帧算法进行改进,即利用序列中多帧图像融合运动信息,并确定参考区域,通过对原图像进行回扫描,最终提取出完整的运动目标轮廓。最后采用一种运动物体跟踪算法,实现了运动物体和静止物体的识别,克服了以往算法中的误检和空洞问题,实验结果表明,该方法能够满足实时性的要求。

基于最近迭代点的毫米波雷达点云数据处理方法

毫米波雷达具有小型化、低成本等特点,可全天候、全天时工作,在高级辅助驾驶系统中发挥着重要作用。基于多芯片级联方案的多发多收(multiple-input multiple-out,MIMO)技术可有效提高毫米波雷达的角度分辨率,使得毫米波雷达点云成像成为可能。针对毫米波雷达图像点云稀疏、噪点多等问题,本文提出了一种基于最近迭代点的毫米波雷达多帧融合和自适应邻域半径的DBSCAN算法。首先,利用MIMO毫米波雷达技术获得多帧观测场景目标点云图像。其次,利用辅助信息得到点云匹配的初值,通过最近迭代点算法估计平移旋转矩阵进行精确匹配,实现多帧数据融合以改善图像点云稀疏问题。然后,设计自适应阈值的DBSCAN算法去除噪声,获得目标的点簇信息,再对聚类后的点簇目标求取最小外接矩形,结合目标散射强度,实现对车辆和围栏等不同类型目标区分。最后,利用外场(典型停车场场景)测试数据,对本文所提算法的有效性进行了验证。

一种基于频域的运动模糊视频复原方法

视频广泛使用于日常生活、公共安全和空间探索等领域。摄像机抖动和物体运动都会引起采集到的视频发生运动模糊现象。模糊的视频不仅会影响视觉感受,而且会影响对视频中信息的提取和辨识工作,因此需要对模糊视频复原。采集到的运动模糊视频中的模糊具有随机性,对于同一个物体,可能在某些视频帧中是模糊的,但是在另一些视频帧中可能是清晰的。根据这一特征,提出一种基于频域的运动模糊视频复原方法。该方法通过在频域中利用曲波变换融合多个相邻视频帧,获得清晰视频。该方法不需要估计模糊核和迭代求解模型,具有较快的运算速度。曲波变换具有很强的方向敏感性和各向异性特征,有助于模糊视频中边缘信息的复原。实验结果证明,提出的复原方法与现有的复原方法相比具有较好的复原效果。

一种光学遥感图像的快速降噪去霾算法

针对光学遥感成像结果受噪声和雾霾影响而劣化的问题,提出了一种结合多帧融合降噪和暗通道先验法去霾的快速降噪去霾算法.针对星载计算机主频较低,算力有限的特点,本文在降噪阶段,将传统多帧融合算法的逐像素配准改为两级配准,在全局和局部分别使用绝对误差和(SAD)与相位相关配准;提出了一种基于配准结果的配准质量评价新方法,减少了评价时间;在去霾阶段,用高斯核与透射率模版卷积,替代了传统的精细化方法.实验结果表明,采用本文提出的算法可以使图像平均峰值信噪比(PSNR)提升8.97 dB,通过计算量优化,去霾耗时减少了73.41%.

基于GAN的视频流超分辨率方法设计与实现

针对多帧图像超分辨率相邻帧之间的对齐和融合问题,对生成对抗网络(Generative Adversarial Networks,GAN)强大的内容生成能力进行了分析,提出了一种基于GAN的视频流超分辨率方法。在超分辨率GAN的基础上,通过特征金字塔、级联和可变形卷积结构的对齐算法,以及基于时间和空间注意力机制的融合算法来优化超分辨率GAN的生成器部分,解决多帧图像超分辨率中的相邻帧信息之间的对齐,以及相邻帧之间的融合的问题。同时保留了超分辨率GAN的判别器部分,可以使生成器生成更多的内容细节。

一种基于计算机视觉技术的轨道识别改进算法

基于计算机视觉技术的铁轨道检测在现代化铁路防护安全起着至关重要的作用,本文提出一种基于传统轨道识别技术的后处理算法,可有效的减少天气、光照、铁路周边环境复杂等因素带来的识别干扰,提高系统的鲁棒性。工程应用实践证明了本文所提方法的有效性。