COVFast-LCD:一种组合ORB和VLAD特征的快速回环检测算法

同步定位与建图(Simultaneous Localization and Mapping,SLAM)问题近年来已成为机器人导航领域的热门研究话题,作为其重要环节之一,回环检测用以消除整个过程中的累积误差.针对该环节高效率的需求,本文提出了一种基于局部特征ORB和全局描述符VLAD组合的快速回环检测算法.首先,使用一种全新的二值特征的VLAD量化算法(Binary-VLAD)提取全局特征,在保持描述符代表性的同时加快运行速度.然后,在全局粗搜索阶段,改进倒排索引结构,有效地减少了计算量和存储空间.其次,在几何验证阶段,使用一种基于空间相似性的偏移稳定模型,无需像RANSAC一样恢复基本矩阵,简捷高效.最后,在3个数据集上进行了验证实验,并与经典的词袋模型方法以及最新的基于深度学习的方法进行对比.实验结果表明,本文所提出的算法仅耗时19ms,明显优于经典的词袋模型算法,相比于最新的深度学习算法,时间效率更是提升近10倍,并且在保持100%准确率的前提下,召回率优于两者.

基于SURF和VLAD特征编码的面料 图案检索研究

为解决纺织面料图案检索算法检索效率低下、精度低等问题,提出一种基于SURF和VLAD特征编码的纺织面料图案检索算法。首先构建带有图案的面料数据库,并提取图像的SURF特征以对图像内容进行表达;接着对采集的原始面料进行聚类生成视觉词典,由生成的视觉词典对数据库中面料图像的SURF特征进行VLAD特征编码,以聚合生成VLAD向量;然后在保证VLAD对图像表达能力的前提下,对生成的VLAD向量进行主成分分析以降低向量维度,提高检索效率;最后采用Ball-tree算法构建索引,加快匹配速度,提高检索效率。实验结果显示,在视觉词典规模为512,保留维度数为512时,算法平均检索精度达到了83.5%,平均检索时间为0.488 s。

利用位置信息熵改进VLAD的图像检索方法

针对局部聚合描述子向量(vector of locally aggregate descriptor,VLAD)的图像检索能力还有待提高的问题,提出利用尺度不变特征变换描述子(scale invariant feature transform,SIFT)描述子的位置信息对VLAD描述子进行补充的图像检索算法。本文提出位置信息熵,用以对SIFT描述子的位置信息进行描述,并将位置信息熵添加到VLAD中,并在多个公开数据集上进行实验。码本大小为256时,在Holidays数据上该方法能有效地将VLAD的m AP值由0.510提升至0.733,在Oxford5k数据上该方法能有效地将归一化VLAD的m AP值由0.287提升至0.559。实验结果表明,利用位置信息熵能有效提升VLAD的图像检索能力。

基于DRG的VLAD法在医疗质量管理中应用研究

目的 在常规医疗质量监测的基础上,研究一种基于疾病风险因素且能够及时反映医疗质量结果的精细化监测方法.方法 VLAD法既能够反映实际死亡率与预期死亡率之间的差别,也可以反映医院、医师和病组诊疗水平结果的优劣和变化趋势,预期死亡率来源于DRG组的死亡率.根据每个病例的生存状态和预期死亡率,评分系统对病例进行评分.结果 常规医疗质量监测和VLAD法分别对同一位医师的1212位患者诊治结果的统计情况进行分析发现,VLAD法能够对医师的诊疗结果进行监测并及时反馈,从而提示医师诊疗技术差距.通过对同一DRG组的89个病例的诊疗结果分析,常规医疗质量监测容易掩盖诊疗过程中存在的问题,而VLAD能够提示存在缺陷的病例.结论 采用VLAD法既能够展示基于疾病风险因素的医疗质量结果,也能够对医师在一定范围内的诊疗结果进行实时监测,有利于提高医院整体医疗质量.

采用SIFT和VLAD特征编码的布匹检索算法

本文提出一种采用尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)和局部聚合向量(Vector of Locally Aggregated Descriptors,VLAD)特征编码的布匹检索算法。首先,提取图像的SIFT特征,以对图像进行特征表达。但是,每张图像SIFT特征点数量可能不同,导致不同图像的特征向量维度不一致,无法直接进行图像之间的相似度计算。为此,本文进一步对图像的SIFT特征进行VLAD编码,在保证不同图像的特征维度一致的同时,改进SIFT特征对图像的表达能力。在VLAD编码方面,先用K-means聚类算法生成视觉词典;再进行特征向量局部聚合。局部聚合过程包括:首先,计算图像中SIFT特征向量与对应视觉词之间的残差;然后,将每个视觉词相应的残差求和;最后,把各个视觉词上的残差求和值进行串联得到图像的VLAD编码。本文实验采用十次平均的累计匹配特性(Cumulative Match Characteristic,CMC)曲线作为性能指标。结果表明,本文所提出的方法能提高检索速度,且具有较高的识别率,其平均Rank 1识别率达到95.03%。

基于SA-PointNetVLAD的点云分类网络

三维点云数据包含着丰富的形状和比例信息,如何有效准确地对点云数据进行分类已经成为了目前计算机视觉领域的研究热点。由于点云在非欧氏空间中的不规则稀疏结构,并且现有的基于深度学习的三维点云分类模型中缺乏对各个点的局部信息和全局信息的有效利用,从而导致较低的分类精度。为了解决上述问题,提出了一种基于SA-PointNetVLAD的点云分类模型框架。该网络采用逐点特征提取和汇集操作来解决无序的点云问题,通过自注意力机制来计算每个点与其他所有点之间的关联,充分挖掘点云的局部区域细粒度特征以及全局信息,采用KNN邻近算法感知点云的局部形状结构,通过VLAD层将每个点的低层几何描述符与视觉单词相关联来间接描述高层特征信息。此外,该网络还引入一个有效的关键点描述符帮助识别整体几何图形。经过实验得出SA-PointNetVLAD模型在公开的ModelNet40数据集上仅使用512个点就可以达到90.9%的精度,显著高于相同条件下的其他方法。

基于改进VLAD算法的图像分类

针对图像分类问题进行了研究,提出一种改进的局部聚合描述符(vector of locally aggregated descriptors,VLAD)算法以得到高效的图像特征表示。采用卷积神经网络提取图像的密集局部特征。正态分布式选取子集训练视觉字典,提高字典质量;然后,采用多近邻分配代替最近邻匹配,将特征量化到多个视觉字典且赋予不同的权重;最后,基于VLAD原理对图像局部特征进行编码,并用支持向量机对目标进行分类。在多个数据集上的实验结果表明,与近年提出的几种经典的图像分类算法相比,所提方法取得了较高的分类正确率。

采用时空共生特征与改进VLAD的行为识别

特征提取与编码是决定行为识别系统性能的关键步骤.为实现对视频行为的准确描述,提出一种采用时空共生特征与改进VLAD编码的人体行为识别算法.在特征提取环节,采用扩展的人体矩形框对密集采样特征点的进行筛选,在光流场中跟踪筛选后的特征点得到密集轨迹,并在以密集轨迹为中心的时空体内提取时空共生特征;在特征编码环节,将每个特征向量分配到近邻多个单词,以这些单词为基向量在最小平方误差的准则下线性组合逼近对应特征向量,得到的组合系数作为隶属度,最后以隶属度为权值在多个单词上计算VLAD.在KTH,YouTube和HMDB51数据集上进行实验的结果表明,该算法具备较高的识别准确度,适用于复杂场景中的人体行为识别.

基于CNN与VLAD融合的闭环检测

闭环检测是同步定位与地图构建(SLAM)的关键组成部分之一。传统的闭环检测多是基于手工设计特征的图像描述方法,很容易受环境的影响。而基于深度学习图像描述方法的闭环检测通常没有考虑到图像的局部空间特性。基于这些因素,提出一种CNN与VLAD融合的图像描述方法,应用于闭环检测。实验结果表明,与传统的基于手工设计特征的图像描述相比,基于CNN与VLAD融合的图像描述方法在实现100%的准确率下,召回率最高提高59.71%,与基于深度学习的图像描述方法相比召回率提高28.33%。

利用空间分布熵的改进VLAD图像检索

对图像特征中的局部聚集描述子向量(Vector of Aggragate Locally Descriptor,VLAD)特征进行研究后发现,该特征缺乏尺度不变特征变换(Scale Invariant Feature Transform,SIFT)描述子的空间分布信息,为了提高图像检索的准确率,提出利用空间分布熵改进VLAD的方法。首先,求取图像中的VLAD特征。其次,将SIFT描述子的空间分布信息根据描述子与聚类的对应情况,分为若干个集合。再次,在每一个集合中生成空间分布熵,将所有集合的熵值表示为空间分布熵向量。最后,利用该向量表示描述子的空间分布混乱程度,并将该向量与VLAD结合使用。实验结果表明,在码本大小为64时,在Holidays数据集上可以将平均准确率由0.519提升至0.601,在Oxford5k数据集上可以从0.395提升至0.408。该方法利用VLAD特征大幅度提高图像检索的平均准确率。

融合NetVLAD和全连接层的三元神经网络交叉视角场景图像定位

研究场景图像的地理定位问题在室外定位、目标搜寻、军事侦察等领域具有重要意义。针对街景影像与鸟瞰影像之间的交叉视角场景图像匹配与定位问题,本文提出了一种融合可训练局部聚集描述子向量Net VLAD(Net Vector of locally aggregated descriptors)和全连接层的三元神经网络(Triplet Network)定位方法(Tri-Net VLAD)。三元神经网络由三组卷积神经网络CNN(Convolutional Neural Networks)构成,能同时处理3张影像,通过增大不匹配像对间的距离,减小匹配像对间的距离,实现图像检索与匹配;Net VLAD和全连接层的融合可以加强特征间的关联性。本文将CNN提取的局部卷积特征分别通过Net VLAD层和全连接层得到全局描述符与特征向量,并将二者融合,有效地提升了局部特征间的关联性,并保留了不同局部特征之间的差异性,提升了模型的定位精度;改进了DBL loss(Distance-based layer loss),通过加入参数λ增强函数判别困难样本的能力,在提升模型的收敛速度和稳定性的同时也提升了模型的定位精度。在美国Vo and Hays公开数据集上的实验结果表明,Tri-Net VLAD取得了优于MCVPlaces、Triplet e DBL-Net和CVM-Net等现有方法的定位精度,在测试集上的精度高于63%。

专访建筑师与跨界艺术家Vlad Tenu:艺术与科学的共生融合

'大自然中的各种形状和图案,都与数学、计算、化学以及物理等学科息息相关。研究这些东西、从中获取灵感的过程非常有趣,其中充满了创作各种设计的潜能。'

基于卷积神经网络的室外场景识别

本文以卷积神经网络为基础,结合传统的图像检索算法VLAD对其进行扩展,并对室外场景的识别任务开展了室外场景特征和场景识别神经网络的构建与实现。同时,通过利用室外场景数据集,对研究成果进行了室外场景识别预测实验,利用特征提取实验探究了网络学习内容。实验结果表明,相较传统方法,本文设计方案在Tokyo24/7数据集上能达到90%的召回率和88.51%的查询精度,有效克服了室外场景识别中光照、拍摄角度与变化因素(行人与车辆)带来的识别难题。

基于特征聚合的管制语音声纹深度识别方法

针对带有噪声的管制语音声纹识别问题,提出了一种基于特征聚合的声纹识别算法,能够在音频流中识别不同的管制员和飞行员的声纹特征。在经典的X-VECTORS算法的基础上,通过设计残差语谱图特征提取模块和全局可微的NetVLAD特征聚合模块,构造了端到端的说话人识别神经网络训练框架;最后在实际管制语音数据集上对各种说话人识别方法的精度进行了对比分析。实验结果表明,相较于传统的X-VETCORS方法,提出的基于声纹聚合的说话人识别方法具有更高的识别精度。

基于层次化可导航小世界网络改进的SeqSLAM算法

SeqSLAM是移动机器人领域广泛使用的一种视觉定位算法,它对光照等因素较鲁棒,但受视角变化影响较大。另外,SeqSLAM采用了蛮力搜索匹配的方式,在较大规模数据集中无法满足实时性要求。针对以上问题,对SeqSLAM算法做了两方面的改进:首先将图像表示为局部聚合描述子向量,提取图像特征;然后采用层次化可导航小世界网络算法搜索相似图像序列,具有更高的搜索效率。测试表明,改进的SeqSLAM算法可以获得更高的精确率和召回率,搜索时间显著降低。

基于多层次特征表示的图像场景分类算法

传统场景分类采用底层尺度不变特征变换(SIFT)特征,运用词袋(BoW)模型以及空间金字塔(SPM)模型进行分类判别。然而,单一的低层描述的识别精度有限,无法有效表征内容多变的场景图像。本文提出基于多层次特征表示的图像场景分类算法,利用滑动窗均匀采样图像块,分别提取图像块的密集SIFT特征和卷积层卷积神经网络(CNN)特征,使用聚集局部描述符编码(VLAD)方法分别编码图像块的局部特征,将一幅图像的多个图像块特征顺序级联形成该幅图像的描述,由此构建包含局部语义信息的低层图像描述和中层图像描述。与此同时,将图像的低层描述与中层描述融合到图像的全连接层的高层语义中,从而获得整合了局部空间信息和全局语义信息的精确图像表示。本文在两个常用的场景数据集上进行了分类实验,结果表明,融合多层次特征描述的图像表示能够取得更好的分类结果。

基于卷积神经网络与多尺度空间编码的场景识别方法

场景图像往往是由一些前景物体与背景环境以一定的空间布局组成。同类场景图片由于采样时的尺度、视角以及背景的不同而具有严重的类内差异性;存在于异类场景间的共有物体也导致异类场景图像间具有一定的相似性。据此,文中提出了基于CNN与多尺度空间编码的场景描述及识别方法。该方法结合了多尺度密集采样方法、卷积网络算法与多尺度空间编码方法。多尺度空间的编码方法是将采样网络进行多次空间划分,且对不同子区域中的CNN特征进行聚合,生成多尺度空间VLAD。文中在Scene15场景数据集上进行了实验,结果显示测试精度达到了94.67%。

基于多特征组合的细粒度图像分类方法

针对单一特征表示的局限性会导致细粒度图像分类准确度不高的问题,提出了一种基于卷积神经网络(CNN)和尺度不变特征转换(SIFT)的多特征组合表示方法,综合考虑对目标整体、关键部位和关键点的特征提取。首先,分别以细粒度图像库中的目标整体和头部区域训练CNN得到两个网络模型,用来提取目标的整体和头部CNN特征;然后,对图像库中所有目标区域提取SIFT关键点并通过K均值(K-means)聚类生成码本,再将每个目标区域的SIFT描述子通过局部特征聚合描述符(VLAD)参照码本编码为特征向量;最后,组合多种特征作为最终的特征表示,采用支持向量机(SVM)对细粒度图像进行分类。使用该方法在CUB-200-2011数据库上进行实验,并与单一的特征表示方法进行了比较。实验结果表明,该方法与基于单一CNN特征的细粒度图像分类相比提升了13.31%的准确度,证明了多特征组合对细粒度图像分类的积极作用。

有效视频帧时间序池化的人体行为识别算法

为利用人体行为的时域信息并减少帧间冗余及特征维数,提出一种提取有效视频帧并对其时间序池化的人体行为识别算法。通过对视频帧的稠密轨迹特征进行局部累计描述向量编码,获取视频帧特征表示,对每帧的特征编码进行余弦相似度分析,剔除冗余特征帧得到有效视频帧特征序列。采用时间序池化对有效视频帧特征序列进行排序,得到可表示视频时序动态变化的特征向量,然后训练支持向量机实现人体行为识别。在HMDB51和UCF101数据集上的实验结果表明,与稠密轨迹行为识别算法相比,该算法可有效提高识别准确率。

高校建筑风格图像分类识别算法研究

建筑类型图像因为其表观特征整体相似,细节处存在差异的特点,给传统的图像分类识别算法带来很大挑战。为应对该问题,本文首先构建采集自真实校园环境中的14类建筑图像数据训练集,提取具有图像细节的局部特征,随后训练构建表针整幅图像内容的VLAD图像特征,最后以监督学习的方式训练SVM支持向量机实现对建筑图像的分类。通过实验验证,该方法在测试集上能过够取得75.71%的分类准确率,对校园风格的建筑图像分类识别任务具有较好的鲁棒性。