基于内积加权局部聚合描述子向量的图像分类

局部聚合描述子向量(vector of locally aggregated descriptors,VLAD)是一种硬编码方式,会导致较大的量化损失。为了解决此问题,提出了一种基于内积加权的VLAD编码(inner product weighted vector of locally aggregated descriptors,IPWVLAD),它是一种软编码方式,为图像中的每个描述子寻找若干个近邻的基向量,并采用内积编码的方式生成权重信息添加到累积残差中。对于最近邻的基向量和描述子之间的残差给予最大的权重,对于次近邻的情况依次赋予越来越小的权重。在Corel 10、15 Scenes、UIUC Sport Events数据集上的实验结果表明,与已有的4种基于VLAD的方法和2种常用的表示方法相比,本文所提出的IPWVLAD编码获得了较好的分类性能。

深度优先局部聚合哈希

已有的深度监督哈希方法不能有效地利用提取到的卷积特征,同时,也忽视了数据对之间相似性信息分布对于哈希网络的作用,最终导致学到的哈希编码之间的区分性不足.为了解决该问题,提出了一种新颖的深度监督哈希方法,称之为深度优先局部聚合哈希(Deep Priority Local Aggregated Hashing,DPLAH).DPLAH将局部聚合描述子向量嵌入到哈希网络中,提高网络对同类数据的表达能力,并且通过在数据对之间施加不同权重,从而减少相似性信息分布倾斜对哈希网络的影响.利用Pytorch深度框架进行DPLAH实验,使用NetVLAD层对Resnet18网络模型输出的卷积特征进行聚合,将聚合得到的特征进行哈希编码学习.在CIFAR-10和NUS-WIDE数据集上的图像检索实验表明,与使用手工特征和卷积神经网络特征的非深度哈希学习算法的最好结果相比,DPLAH的平均准确率均值要高出11%,同时,DPLAH的平均准确率均值比非对称深度监督哈希方法高出2%.

基于CNN和VLAD的指静脉描述子提取方法

为了提高指静脉描述子的鲁棒性同时降低网络参数量,通过修改VGGFace-Net并引入局部聚合描述子向量(Vector of Locally Aggregated Descriptors,VLAD)得到参数量仅0.3M的指静脉图像描述子提取网络,VLAD编码过程实现了局部描述子的聚类和重组,使描述子对手指姿势变化更加鲁棒;由于公开的指静脉训练数据库规模通常不够大,提出基于三元组和难分负样本挖掘策略进行网络的训练,并针对三元组损失没有约束样本对距离的类内方差的问题,提出一种样本对中心约束损失函数,通过将正负样本对视为两个类别,进一步促使其靠近各自的类中心,从而增大类内紧凑程度。在三个公开数据库FV-USM,SDUMLA,MMCBNU上的指静脉验证结果表明,所提取的描述子在基于欧氏距离进行匹配的情况下,指静脉验证的结果均优于现有方法,且在图像发生随机平移时具有更好的鲁棒性。

基于最近邻量化距离聚类的残差中心聚合图像表示

通过累积残差和进行图像表示的局部聚合描述子向量(Vector of locally aggregated descriptors,VLAD)方法中,由于每个描述子与对应的最近邻码字得到的残差值大小不一,且每个码字对应的描述子数量不确定,会存在过累积和欠累积问题。针对此问题,提出一种通过距离聚类的残差中心聚合进行图像表示的新方法。首先,提取数据库图像的局部描述子,通过聚类得到码本;然后,将局部描述子通过最近邻方法量化到码本上,并求出局部描述子与最近邻码字之间的欧式距离;再次,聚类所有距离,得到中心集合,求出每个局部描述子与最近邻码字之间的欧式距离在中心集合上的最近邻,进而求得中心集合中每个中心对应的描述子与最近邻码字之间残差的中心,并将每个码字上所有的残差中心累积求和;最后,将所有码字对应的累积向量按顺序级联后得到最后的图像表示。在Holidays和UKB数据集上的图像检索实验结果表明,提出的图像表示方法比通过直接累积残差和进行图像表示的VLAD方法效果更好。

基于层次化可导航小世界网络改进的SeqSLAM算法

SeqSLAM是移动机器人领域广泛使用的一种视觉定位算法,它对光照等因素较鲁棒,但受视角变化影响较大。另外,SeqSLAM采用了蛮力搜索匹配的方式,在较大规模数据集中无法满足实时性要求。针对以上问题,对SeqSLAM算法做了两方面的改进:首先将图像表示为局部聚合描述子向量,提取图像特征;然后采用层次化可导航小世界网络算法搜索相似图像序列,具有更高的搜索效率。测试表明,改进的SeqSLAM算法可以获得更高的精确率和召回率,搜索时间显著降低。

基于改进NeXtVLAD的视频分类

为提高长视频分类精度并减少训练时占用显存,提出基于NeXtVLAD改进的长视频分类模型。将人脸识别领域的ghost聚类中心思想迁移到视频分类,通过加入ghost聚类中心降低无关采样帧的干扰,提高模型识别准确率,针对长视频分类提出多尺度的视频帧采样方法。采用预训练模型ResNet50提取采样帧的深度特征,在训练时冻结特征提取网络参数,减少训练时的计算量。在VideoNet数据集的前100个类别上进行实验,实验结果表明,该模型与现有相关模型相比取得了更好的分类效果。

采用音质特征和VLAD编码的新冠肺炎检测算法

2020年,世界卫生组织宣布COVID-19疫情为大流行病。为了实现COVID-19快速地、可靠地检测,本研究通过语音信号分析技术来寻找感染COVID-19的语音信号特征,利用咳嗽声片段和语音片段对是否感染COVID-19做出自动判断。在INTERSPEECH 2021 ComParE竞赛提供的相关数据集和baseline的基础上,本文首先利用语音端点检测技术对数据集进行增广,其次在特征集中加入语音质量特征,使相关baseline结果得到了提升,证明了语音质量特征在对COVID-19自动语音检测任务上的有效性。同时,引入局部聚合描述子向量对低级别特征进行编码,当字典大小较小时,有效地提升了系统的分类性能。最后,对多种算法得到的分类结果进行融合,进一步提升分类效果,最终在两个子任务中的验证集上UAR分别取得了73.9%和77.2%。