属性知识引导的自适应视觉感知与结构理解研究进展

机器通过自适应感知从环境中提取人类可理解的信息,从而在开放场景中构建类人智能.因属性知识具有类别无关的特性,以其为基础构建的感知模型与算法引起广泛关注.文中首先介绍属性知识引导的自适应视觉感知与结构理解的相关任务,分析其适用场景.然后,总结四个关键方面的代表性工作.1)视觉基元属性知识提取方法,涵盖底层几何属性和高层认知属性;2)属性知识引导的弱监督视觉感知,包括数据标签受限情况下的弱监督学习与无监督学习;3)图像无监督自主学习,包括自监督对比学习和无监督共性学习;4)场景图像结构化表示和理解及其应用.最后,讨论目前研究存在的不足,分析有价值的潜在研究方向,如大规模多属性基准数据集构建、多模态属性知识提取、属性知识感知模型场景泛化、轻量级属性知识引导的模型开发、场景图像表示的实际应用等.

一种快速的H.264帧间模式选择算法

提出了一种新的快速帧间模式选择方法,该方法利用模式预截断和精确的大小模式判决等算法,快速地选出最优的模式.实验表明,该算法比全搜索算法和快速多块运动估计算法(FMBME)分别节省了80%和45%的运算量,而峰值信噪比(PSNR)和比特率性能几乎无下降.在对运动较小的序列编码时,该算法比大小模式分离算法节省了75%的运算量,同时PSNR提高了0.06 dB,比特率节省了3.7%.

“通信原理”中采样与信道容量的直观教学

奈奎斯特采样定理和有噪信道编码定理是“通信原理”课程中的重要内容。通常,这两个定理的教学以公式推导为主,不涉及直观理解的讲授。但定理的内容与初学者直觉不符,导致学生难以深刻理解。因此,有必要针对学生容易产生的疑惑给出直观的解释,并设计简单的验证实验,来指导教学。

基于远程监控图像的绝缘子覆冰检测算法

提出一种基于远程监控图像的绝缘子覆冰情况检测算法。本文算法充分利用边缘检测方法和其他图像处理方法,对覆冰绝缘子侧面冰棱的边缘情况进行精确的检测。本文算法还引入了摄像头的标定参数,使其能更加准确地估计覆冰绝缘子侧面的冰棱长度。当摄像头因为外力或其他因素而产生角度偏移时,本文算法能及时地对摄像头标定参数做出修正,并利用新的标定参数重新估计绝缘子的覆冰情况。实验结果表明,本文算法对绝缘子侧面冰棱边缘检测效果显著,满足实时监控和预警报警的要求。

基于深度残差网络的HEVC压缩视频增强

文中提出了一种基于深度残差网络的HEVC压缩视频增强方法。该方法利用一系列级联的残差模块来完成特征提取,然后基于这些特征进行视频的质量增强。与现有的方法相比,所提方法能够捕捉到压缩视频帧更清晰和泛化的特征。实验结果表明,所提方法在20个通用的测试视频序列上能够实现平均6.92%的BD-rate增益,是所有参与比较的方法中效果最好的。

基于深度三维模型表征的类别级六维位姿估计

类别级物体六维位姿估计在机器人操作、自动驾驶和增强现实等领域有着广泛的应用。相较于实例级任务,类别级六维位姿估计的难点主要在于类别先验特征基础上的类内差异。本文采用一种基于有向距离场(Signed Distance Field,SDF)的深度三维模型表征提取出类别级先验共享信息,同时依据输入深度图像的几何形状特征搜索最优的形状隐变量,两者结合重建出标准空间内的完整实例模型。通过学习深度点与标准化实例模型的点对匹配关系,即可求解出物体的六维位姿参数。实验证明本文提出的类别级六维位姿估计架构具有良好的性能和对类内新物体的泛化能力。

基于多兴趣区域融合的视频增强算法研究

针对现有视频增强算法的不足,提出了一种基于多兴趣区域融合的增强算法。该算法首先对视频帧中每一个兴趣区域进行混合高斯建模,然后对每个兴趣区域构建一个映射函数,并利用融合的思想得到一个全局映射函数对视频帧进行增强,最后引入相邻帧之间的时间相关性进行时域融合以保证相邻帧之间的增强效果连续性。该算法可以灵活应对多样的视频内容。实验结果表明,该算法可以有效增强含有多个兴趣区域且兴趣区域内纹理复杂的视频序列,具有很好的鲁棒性。

一种基于色调信息的目标跟踪算法

为了满足目标跟踪中实时性的要求,以及对目标大小发生变化的鲁棒性,提出一种基于色调信息的特征提取和目标跟踪的方法。通过比对目标色调直方图和背景色调直方图,找到特征色调,将对目标的跟踪转化为对特征色调区块的跟踪,这样能简化建模复杂度和运算复杂度,节省出计算时间,实验结果表明:基于色调信息的目标跟踪方法能实时处理彩色视频中的目标跟踪问题,且对目标大小的变化有一定的鲁棒性。

基于H.264的新型视频加密算法

本文提出了一种新的基于H.264标准的视频加密算法结构。使用改进的FMO机制(advanced-FMO mechanism)将具有相关性的宏块打入不同的Slice中,通过对FMO子图的加密达到对整个视频内容进行加密的目的。本文提出的加密算法具有很高的实时性,加密过程可以和编码过程并行执行。同时本算法还可以和传统的加扰算法结合,进一步提高视频的加密效果。

特征变换和数据集分块的行人比对

目的随着监控摄像头的增多,基于多摄像头的智能分析显得很重要。基于此,提出一种新的基于特征变换和数据集分块的行人比对方法。方法首先提出一种新的基于变换矩阵来消除特征差异的算法。这种算法能够在高维空间中,通过变换矩阵,让某特征向量逼近另一特征向量,从而消除了同一行人特征间的差异。与此同时,还提出一种新的将行人数据集中特征分块的算法,使每个分块中的行人特征具有相似的性质,从而能够共用某个变换矩阵,从而能更好地消除同一行人在不同镜头下的特征差异。结果基于VIPeR数据集和复杂街道场景数据集设计了行人比对实验。实验结果表明,本文的比对方法具有较高的比对准确率,VIPeR数据集(50%训练,50%检测)的Rank1的比对准确率为22%。同时本文设计了特征变换和数据集分块这2个模块的对照实验。实验结果表明,特征变换和数据集分块模块对结果都有提升的效果。结论本文新的行人比对方法通过恰当的特征变换让同一行人在多镜头下的特征互相接近。实验结果表明该方法能够较好地在多镜头下匹配行人。

局部双目视差回归的目标距离估计

目的双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法提出一个基于R-CNN(region convolutional neural network)结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute)数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法(11.3%),与基于3维目标检测的算法接近(约为3.9%)。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。

结合时空一致性的FairMOT跟踪算法优化

目的视频多目标跟踪(multiple object tracking,MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object tracking accuracy)值分别为71.2%、60.2%和36.1%,相比改进前的FairMOT算法分别提高了1.6%、3.2%和1.1%。与大多数其他现有方法对比,本文方法的MT(mostly tracked)比例更高,ML(mostly lost)比例更低,跟踪的整体性能更好。同时,在MOT17数据集中进行对比实验验证融合算法的有效性,结果表明提出的方法显著改善了多目标跟踪中的不一致问题。结论本文提出的一致性跟踪方法,使特征在时间、空间以及训练测试中达成了更好的一致性,使多目标跟踪结果更加准确。