基于跨模态相似度学习的端到端不规则文本检索方法

场景文本检索是指从场景中搜索并定位与给定文本相同或相似的文本实例。通过计算机视觉方法实现文本检索可以辅助用户在指定场景中自动找到感兴趣文本,因此被广泛应用于图像安全性审核、图书检索等领域。然而,在某些场景中文本时常呈现弯曲、压缩和拉伸等不规则形态,文本区域提取与匹配面临极大挑战。为了解决这一问题,建立了一个端到端网络模型,将不规则文本提取和跨模态相似度学习统一到一个框架内,利用学习到的相似度对检测的文本实例排序,从而实现对不规则文本的检索。在SVT,STR和CTR三个数据集的实验结果表明,与现有文本检索方法相比,提出的框架在推理速度保持3.7帧/秒的情况下平均准确率比现有最好方法提升1%~3%。为了进一步验证所提方法对于不规则文本检索的有效性,建立了一个新的不规则文本数据集AIDATA,并与STR-TDSL方法进行对比实验,结果表明,在推理速度降低不到20%的情况下可以将平均准确率提升25%以上。

基于多分支注意网络与相似度学习策略的无监督行人重识别

无监督行人重识别的挑战在于学习没有真实标签的行人的判别性特征。为增强网络对行人特征的表达能力,进一步从空间和通道维度上提取更丰富的特征信息,提出了一种基于多分支注意网络的行人重识别特征提取方法。该方法通过捕获空间维度和通道维度上不同分支之间的交互信息,能够学习到更具判别性的行人特征表示。此外,针对噪声标签会对聚类质心产生干扰的问题,提出了相似度学习策略(SLS)。该策略先计算每个聚类中样本特征之间的相似性,然后选取相似性分数最高的特征向量所对应的样本进行对比学习,有效地缓解了聚类噪声导致的累积训练误差。实验结果表明,和无监督场景下的自步对比学习方法(SPCL)相比,在Market-1501,DukeMTMC-reID和MSMT17等3个数据集上的rank-1准确度分别提升了4.6%,3.3%和16.3%,显著地提高了无监督行人重识别的检索精度。

基于二阶段相似度学习的协同过滤推荐算法

针对传统的基于最近邻协同过滤推荐算法中计算相似度存在的缺陷,提出了一种基于二阶段相似度学习的协同过滤推荐算法,该算法旨在通过较少的迭代计算改善推荐算法性能。它以既约梯度法迭代寻优为主、最近邻算法为辅,通过邻居的海选和精选,最终提高了相似度的计算精度,改善了误差性能。实验表明,在一定条件下该算法不仅在误差性能上优于传统的推荐算法,而且其算法收敛速度快,可实现相似度参数动态调整和分布式计算。

基于最大-最小相似度学习方法的文本提取

应用最大-最小相似度(maximum-minimum similarity,简称MMS)学习方法,对基于高斯混合模型的文本区域提取方法中的有关参数进行优化.该学习方法通过最大化正样本相似度和最小化反样本相似度获得最佳分类能力.根据这种判别学习思想,建立了相应的目标函数,并利用最速梯度下降法寻找目标函数最小值,以得到文本区域提取方法的最优参数集合.文本区域提取实验结果表明:在用期望最大化(expectation maximization,简称EM)算法获得参数的极大似然估计值后,使用最大-最小相似度学习方法,使文本提取综合性能明显提高,开放实验的召回率和准确率分别达到98.55%和93.56%.在实验中,最大-最小相似度学习方法的表现还优于常用的判别学习方法——最小分类错误(minimum classification error,简称MCE)学习方法.

计算机视觉中相似度学习方法的研究进展

相似度学习方法通过学习合适的相似度度量以改进模型的分类或聚类效果。现有的研究表明,相似度学习方法在很多计算机视觉问题中起到重要的作用。近年来随着数据规模的急剧增大和应用领域的多样化,相似度学习问题发展了很多新的研究领域。本文介绍了近年来相似度学习问题的研究进展和发展过程,包括从传统的二元组和三元组约束发展到新型相似度约束、从欧氏距离与马氏距离发展到新型相似度度量、从图像间的相似度学习发展到图像集之间的相似度学习、从单一模态相似度学习发展到跨模态相似度学习。最后本文展望了相似度学习未来可能的发展方向。

双分支网络架构下的图像相似度学习

图像相似度学习是指通过网络学习图像内容信息来预测两张图像是否匹配。迄今为止,基于卷积神经网络改进的变体网络有效提升了学习效率,但由于提取特征比较单一无法准确描述图像特征,导致相似度学习效率较低。为此,本文提出一种基于卷积神经网络结构的双分支网络。该网络为左右分支网络结构相同,但权值不共享,网络输入为双分支输入。首先由左右分支网络分别提取单通道图像特征;然后通过特征融合层进行特征融合;最后将融合特征直接输入全连接层进行相似度学习,既改善了提取的图像特征多样性,又加快了模型训练速度。在实验室工业相机拍摄的芯片卡槽图像数据集上进行对比试验,结果表明,相比其他模型,本文提出的模型具有较强的网络学习能力和模型泛化能力,准确率高达97.96%。

基于逆注意力机制和像素相似度学习的图像分割

针对图像语义分割中目标边界容易混淆、定位不准以及边界不平滑问题,在Deeplab v2 Resnet-101网络的基础上引入提出的逆注意层与像素相似度学习层,构造了一种新的语义分割的网络结构,并设计了注意力层和像素相似度学习层的损失函数。首先,使用Deeplab v2 Resnet-101网络提取图像语义特征;然后,利用提出的逆注意力层修正预测网络的分割结果,同时,利用提出的像素相似度学习层解决边界不够平滑的问题;最后融合两者分割的结果,得到语义分割的结果。在PASCAL-Context上取得了像素准确度76.2%、像素平均准确度59.7%、平均IoU(Intersection over Union)准确度指标49.9%的结果,在PASCAL Person-Part、NYUDv2、MIT ADE20K数据集上分别取得了平均IoU准确度指标69.6%、42.1%、44.38%的结果,与已有的主流方法相比,所提算法能够提升语义分割的精确度,验证了算法的有效性。

基于多分辨率特征提取网络的图像相似度学习

图像相似度学习旨在提取图像特征并构造新的相似性学习算法以对图像之间的关系建模。近年来,深度学习网络以能够自动学习特征的优势被广泛用于图像相似度学习中。针对深度学习网络提取的特征过于简单,导致相似度学习效率较低,且训练受到数据集大小的限制等问题,在改进的双分支网络和双通道网络基础上,结合数据增强和多分辨率特征提取方法,设计了一种多分辨率特征提取(IS-MRFE)网络。使用相同数据多输入方法进行网络训练,起到增强数据的作用,通过多分辨率特征融合,提高网络提取的特征多样性。同时,研究了数据集大小对网络训练适应性的影响。实验结果表明,在TLL(totally-looks-like)数据集中,所设计的IS-MRFE网络具有较强的网络学习能力和模型推广能力,此外,当数据集大小受到限制时,模型仍具有较强的适应性。

一种矩阵分解和相似度矩阵学习的多视图聚类算法

考虑到多视图数据之间的互补性和每个视图数据的高维度特性,提出了一种矩阵分解和相似度矩阵学习的多视图聚类算法。为了去除数据中存在的噪声,通过对每个视图的数据进行矩阵分解得到其潜在表示。最大化不同视图表示之间的独立性来得到不同视图的互补信息。为了融合不同视图的潜在表示,最大化最终数据表示的相似度与潜在表示的相似度。采用了最大化熵正则来限制潜在相似度矩阵的值和各视图的权重。3个真实数据库的实验表明,与比较算法相比,本文的聚类算法准确率分别高15%、9%和25%。

基于最小包含球的异质空间大数据集快速相似度学习算法

针对跨空间数据相似度学习问题提出的跨空间相似度学习(CSAL)算法表现出了良好的性能,并已成功地应用于各类推荐系统中.但构建一个完善的推荐系统,其待处理的数据量常呈现大样本特征,而CSAL算法并不具备大样本快速处理能力.针对此不足,提出了跨空间相似度学习-最小包含球(CSAL-MEB)方法和跨空间相似度学习-核向量机(CSAL-CVM)快速方法.CSAL-CVM方法既具有渐近线性时间复杂度和空间复杂度的优点,同时又继承了CSAL的良好性能.相关实验亦验证了所提出方法的有效性.

基于连续肯德尔相关系数学习相似度函数的图像检索方法

提出了一种基于连续肯德尔相关系数学习图像间相似度函数和运用学习的相似度函数进行图像检索的方法.通过对500幅图像所组成的图像数据库以及和其他传统相似度函数学习方法在图像检索中检索效果的比较实验可以得出:该方法的图像检索效果要优于其他相比较的传统方法.

基于相似度学习的多源迁移算法

针对与测试数据分布相同的训练数据不足,相关领域中存在大量的、与测试数据分布相近的训练数据的场景,提出一种基于相似度学习的多源迁移学习算法(SL-MSTL).该算法在经典SVM分类模型的基础上提出一种新的迁移分类模型,增加对多源域与目标域之间的相似度学习,可以有效地利用各源域中的有用信息,提高目标域的分类效果.实验的结果表明了SL-MSTL算法的有效性和实用性.

结合加权子空间和相似度度量学习的人脸验证方法研究

在无约束条件下,人脸表情、姿态、光照以及背景等复杂因素可能导致人脸图像的类内变化大于类间变化.针对如何降低较大的类内变化对人脸验证研究的影响,本文结合加权子空间,提出了一种带先验相似性和先验距离约束的相似度度量学习方法.首先,利用类内人脸对样本,学习带权重的类内协方差矩阵,通过加权子空间的投影,从人脸图像中获得鲁棒性的人脸特征表达;其次,利用样本对的相似性与差异性,建立了带先验相似性和先验距离约束的相似度度量学习模型,优化后的度量矩阵可以有效提高特征向量的类内鲁棒性和类间判别性;最后,利用优化的度量矩阵计算人脸对的相似度.在LFW(Labeled Faces in the Wild)数据集的实验验证了所提模型的有效性,与其它同类相似度度量学习方法相比,优化的度量矩阵更能准确地评估人脸间的相似性,并在受限训练集上取得了91.2%的识别率.

基于二次相似度函数学习的行人再识别

行人再识别是一个有着非常重要现实意义的研究问题,它可以应用于刑事侦查、在公共场所中寻找丢失的小孩、个人相册管理以及电子商务等领域.同时由于光照、视角、人的姿态以及背景的变化,同一个人的表观在不同的监控视频中往往变化很大,解决行人再识别问题也非常有挑战性.在设计行人再识别算法时,给定行人图像的特征,考虑到不同的特征分量具有不同的区分能力,学习合适的相似度度量非常重要.度量学习是一类学习相似度度量的主流算法,这些算法通过学习一个马氏距离相似度函数(Mahalanobis Similarity Function,MSF)来估计一对行人图像的相似度.然而MSF只与特征差分空间有关,忽略了一对图像中每个个体的表观特征,对于同一个人在不同场景中很大的表观变化的捕捉能力有限.为了加强相似度函数与每个个体的表观特征的联系,该文提出通过学习一个二次相似度函数(Quadratic Similarity Function,QSF),来估计一对行人图像的相似度.QSF是MSF的泛化形式,不但描述了一对行人图像的互相关关系,而且关联了一对行人图像的自相关关系,可以更好地捕捉同一个人在不同监控视频中很大的表观变化.为了学习QSF,该文分别从分类和排序的角度出发,设计两种不同的优化目标,提出了两种不同的学习QSF的算法.由行人再识别的公共数据集VIPeR和CUHK的实验表明,这两种不同的算法都可以学习到有效的QSF,识别性能优于已有的行人再识别算法.

智慧学习空间中学习行为分析及推荐系统研究

智慧学习空间是智慧学习理念下构建的学习空间新形态,学习分析是智慧学习中不可或缺的组成成分。文章围绕智慧学习过程中面向学习者对于知识内容的"呈现与获取"、"个性化建构与拓展延伸"两大环节以及学习者所处的学习状态,构建了学习行为分析及推荐系统。该系统利用W eb挖掘技术,从学习内容、学习路径和空间使用记录三个方面针对智慧学习过程模型中的学习行为进行数据分类挖掘,通过与优秀学习者路径及路径知识点相关学习行为进行相似性比对,为学习者进行个性化学习推荐路径。

基于行为序列分析的学习资源推荐算法研究

利用数据挖掘技术分析网络学习行为数据可以挖掘出其隐含的行为规律特征,为学习者提供个性化的学习资源服务。针对现有的数据挖掘算法在对网络学习行为数据进行分析时普遍存在模型适用性不高的问题,提出了一种基于行为序列分析的学习资源推荐算法。首先,提出行为序列及其相关概念的定义,并提出行为序列相似度计算方法;然后提出基于行为序列相似度的协同过滤推荐算法,计算学习者相似度并为待推荐学习者生成学习资源推荐列表;接着给出基于学习风格的推荐方法,将学习者学习风格特征融入推荐过程;最后,给出基于行为序列分析的学习资源推荐算法的模型。提出的算法没有对行为序列的模式进行限制,具有较高的适用性,对深入研究网络学习行为序列数据为学习者提供个性化学习服务具有一定的借鉴作用。

学习者个性化特征表示及相似度计算

学习者的相似性反映了学习者之间相近的学习经历,将相近者组织成一个具有共同学习兴趣和目标的共同体,可以增强虚拟学习社区中各组成要素的耦合与连接,提高学习者的学习效果和黏度。本文基于领域本体提出一种能够描述学习者个性化特征的VSM模型,并以此为数据结构,设计了一种能有效计算学习者相似性的算法。实验结果表明,利用概念之间继承和包含关系,算出概念相关度,能快速计算出学习者特征向量之间的相似度;得出的结果较好地反映了专家分组经验,为提高虚拟学习社区的个性化和智能化提供了关键技术支持。

昆明市土地利用变化趋势的多模型对比分析

[目的]对比分析逻辑回归(LogReg)、多层神经网络(MLP)和相似度加权学习(SimWeight)3种土地利用变化趋势模型在多地类变化分析中的模拟效果与土地利用预测精度,为云贵高原地区的国土空间规划、水土保持和生态修复等提供参考。[方法]以2000—2020年昆明市土地利用变化为例,分别采用3种模型对该区域建模,并使用受试者工作特征曲线、ROC曲线下面积和Kappa系数等多种方法评估精度。[结果]对于大多数地类的变化趋势,MLP和SimWeight模型的模拟效果要好于LogReg模型,特别是在未利用地的变化分析中MLP和SimWeight模型的AUC值均大于0.9。在整体土地利用变化预测上,LogReg,MLP和SimWeight3种模型的Kappa值分别为0.9066,0.9041,0.9253,整体预测结果表现接近,但SimWeight模型略微优于其他模型。[结论]对于昆明市LUCC建模的模型选择,若为追求更高精度可选择SimWeight模型,若更在意运算速度则优先选择MLP模型,若需要进一步分析驱动因子与土地变化的关系应选择LogReg模型。

局部相似度异常的强泛化性伪造人脸检测

目的人脸伪造技术迅猛发展,对社会信息安全构成了严重威胁,亟需强泛化性伪造人脸检测算法抵抗多种多样的伪造模型。目前的研究发现伪造算法普遍包含人脸与背景融合的操作,这意味着任何伪造方式都难以避免在人脸边缘遗留下伪造痕迹。根据这一发现,本文将模型的学习目标从特定的伪造痕迹特征转化为更加普适的人脸图像局部相似度特征,并提出了局部相似度异常的深度伪造人脸检测算法。方法首先提出了局部相似度预测(local similarity predicator,LSP)模块,通过一组局部相似度预测器分别计算RGB图像中间层特征图的局部异常,同时,为了捕捉频域中的真伪线索,还提出了可学习的空域富模型卷积金字塔(spatial rich model convolutional pyramid,SRMCP)来提取多尺度的高频噪声特征。结果在多个数据集上进行了大量实验。在泛化性方面,本文以ResNet18为骨干网络的模型在FF++4个子集上的跨库检测精度分别以0.77%、5.59%、6.11%和4.28%的优势超越了对比方法。在图像压缩鲁棒性方面,在3种不同压缩效果下,分别以2.48%、4.83%和10.10%的优势超越了对比方法。结论本文方法能够大幅度提升轻量型卷积神经网络的检测性能,相比于绝大部分工作都取得了更优异的泛化性和鲁棒性效果。

用于亲属关系鉴别的成对约束组合度量学习

针对现有的度量学习方法存在训练参数多,容易导致过拟合和鲁棒性差的问题,提出一种成对约束组合度量学习方法(pairwise constrained compositional metric learning, PCCML),利用数据集中生成的局部判别度量,学习各组份度量的最优权重组合。在大边距框架下,PCCML通过约束正样本对马氏距离小于较小的阈值,负样本对马氏距离大于较大的阈值,有效提高了鉴别精度。在KinFaceW-I和KinFaceW-II基准数据集上的试验结果表明了所提出的PCCML方法对鉴别亲属关系问题的有效性。