基于长短期时间关系网络的视频行人重识别

行人重识别是计算机视觉领域中的一个重要研究方向,其目的是在不同的监控摄像头中识别并跟踪同一行人.由于视频帧间存在多种时间关系,从这些关系中可以获取到对象的运动模式以及细粒度特征,因此视频重识别相比图像重识别拥有更丰富的时空线索,也更接近实际应用.问题的关键是如何挖掘这些时空线索作为视频重识别的特征.本文针对视频行人重识别问题,提出了一种基于Transformer的长短期时间关系网络(Long and Short Time Transformer,LSTT).该网络包含长短期时间关系模块,提取重要时序信息并强化特征表示.长期时间关系模块利用记忆线索存储每帧信息,并在每一帧建立全局联系;短期时间关系模块则考虑相邻帧之间交互,学习细粒度目标信息,提高特征表示能力.此外,为了提高模型对不同目标特征的适配性,本文还设计了一个包含不同规格卷积核的多尺度模块.该模块具有多种卷积感受野,能够更全面覆盖目标区域,从而进一步提高模型的泛化性能.在MARS、MARS_DL和iLIDS-VID 3个数据集上的实验结果表明,LSTT模型性能最优.

基于纯无监督的行人重识别方法研究

行人重识别技术在智慧安防领域占据重要的地位。其中,领域自适应行人重识别依赖于有监督的源域进行预训练,而纯无监督行人重识别则完全不依赖行人身份标签。文章分析基于轨迹和基于聚类的纯无监督行人重识别方法,并探讨近年来在伪标签处理上的重要进展。通过对CUHK03、Market-1501、DukeMTMC-Re-ID、MSMT17等常用数据集的介绍分析,总结当前纯无监督行人重识别所面临的挑战与未来研究方向,包括自监督学习、解决模型训练中的灾难性遗忘问题和构建高质量数据集等。

基于多任务学习的行人重识别算法研究

行人重识别(person re-identification,re-ID)在多摄像机之间进行跨镜检索以匹配目标行人图像,可以在人脸、指纹等生物特征失效的情况下实现行人关联,已成为智能视频监控系统的关键技术,对智能安防、智慧城市等领域的产业落地进行了有效赋能。传统的行人重识别算法通常采用表征学习或度量学习方法。基于多任务学习的机器学习模式,结合表征学习与度量学习方法,综合利用特征表示和距离度量两方面的优势,采用分类损失和三元组损失共同训练模型,使模型在特征提取和相似性度量上都得到充分的训练。实验结果表明,该方法在行人重识别任务中取得了更好的性能,验证了鲁棒性和在泛化能力方面的优越性。

基于多模态融合的复杂场景人员重识别

人员重识别(re-identification,ReID)是计算机视觉中的关键任务,具有众多实际应用,如视频监控和人员跟踪。通过对各类应用场景的研究,提出了一种新方法,以解决复杂场景下ReID的挑战,包括遮挡、视角变化和光照条件变化等问题。利用多模态融合技术增强了ReID模型的判别能力,使其在具有挑战性的现实场景中更加稳健,并在基准数据集上进行了广泛的试验。结果表明了所提方法的有效性,实现了更为先进的性能。

基于深度学习的行人重识别方法综述

对深度学习在行人重识别领域的应用现状进行总结与评价.首先,对行人重识别进行介绍,包括行人重识别的应用场景、数据集与评价指标,并对基于深度学习的行人重识别的基本方法进行总结.之后,针对行人重识别的研究现状,将近年来国内外学者的研究工作归纳为基于局部特征、基于生成对抗网络、基于视频以及基于重排序4个方向,并对每个方向所使用的方法分别进行梳理、性能对比以及总结.最后,对行人重识别领域现存的问题进行了分析与讨论,并探讨了行人重识别未来的发展方向.

面向网络视频的组合推荐系统模型研究

针对网络电视视频个性化推荐问题,提出了一种面向网络视频的基于内容和协同过滤组合推荐系统。系统整合了基于内容推荐和协同过滤推荐的优点,并在一定程度上避免了基于内容推荐或协同过滤推荐各自的缺点。设计了组合推荐系统各功能模块结构及其算法,实现了网络视频的用户个性化推荐。实验结果表明,组合推荐系统模型与算法优于单一推荐算法,获得了较高的推荐准确性。

智能视频监控系统中行人再识别技术研究综述

现今社会中的视频监控网络已日渐成为人们生活中不可缺少的安防体系,行人再识别技术正是智能视频监控的关键。为使读者对行人再识别问题有一个深入、整体的了解,本文首先回顾行人再识别的研究以及发展历程;然后针对当前研究热点,分别从基于特征表示、度量学习以及深度学习网络的角度将经典算法进行分类总结;其次介绍常用行人数据集、性能评价指标以及经典数据集的实验结果对比;最后对行人再识别今后的发展趋势作进一步展望。

基于局部深度匹配的行人再识别

针对行人再识别精度低的难题进行研究,提出了一种新的基于分块匹配的行人再识别方法。首先,引入带人体结构信息的人体DPM对行人外观进行分割,得到的带语义信息的身体部件作为匹配识别的基本单元;其次,基于深度神经网络模型提取各部件的深度特征作为匹配依据;再次,基于余弦距离判断各身体部件与目标行人对应部件的相似性;最后,融合所有身体部件的识别结果得到最终的再识别结果。实验结果表明,跟已有方法相比,该方法具有更好的鲁棒性,在识别精度上有较明显的优势。

联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法

针对为解决视频监控中遮挡、背景物干扰,以及行人外观、姿势相似性等因素导致的视频行人重识别准确率较低的问题,提出了联合均等采样随机擦除和全局时间特征池化的视频行人重识别方法。首先针对目标行人被干扰或部分遮挡的情况,采用了均等采样随机擦除(ESE)的数据增强方法来有效地缓解遮挡,提高模型的泛化能力,更准确地匹配行人;其次为了进一步提高视频行人重识别的精度,学习更有判别力的特征表示,使用三维卷积神经网络(3DCNN)提取时空特征,并在网络输出行人特征表示前加上全局时间特征池化层(GTFP),这样既能获取上下文的空间信息,又能细化帧与帧之间的时序信息。通过在MARS、DukeMTMC-VideoReID和PRID-2011三个公共视频数据集上的大量实验,证明所提出的联合均等采样随机擦除和全局时间特征池化的方法,相较于目前一些先进的视频行人重识别方法,具有一定的竞争力。

去身份识别技术综述

首先对去身份识别技术的应用背景和影响因素进行了概括;然后对以影响因素为基础的去身份识别研究成果进行了全面论述,并对去身份识别算法的健壮性要求进行了讨论;最后归纳了当前研究存在的问题与挑战。

基于金字塔分割和时空注意力的视频行人重识别

针对视频行人重识别任务中存在的行人外观、遮挡等问题,研究并设计了一个基于金字塔分割和注意力机制的视频行人重识别模型。首先,为了增强图模型对行人局部特征的识别能力,提出了多个尺度的水平金字塔分割方法,将各特征分别分割成不同大小的区域,并池化成统一尺寸后输入图模型。另外,鉴于简单的时空注意模块容易因遮挡破坏行人特征,因此使用时空相关注意力方法改进时空注意模块,逐步学习并聚合空间局部信息,同时在时序上相互作用,抑制行人干扰特征并增强判别特征。将模型在Mars和DukeMTMC-VideoReID两个数据集上进行了评估,实验结果证实了文中提出方法的有效性。

时空特征结合相机关联自适应特征增强的视频行人再识别算法研究

针对由于行人姿势、外部遮挡、光照和摄像机参数等内外部条件变化导致的行人再识别率较低的问题,提出时空特征结合相机关联自适应特征增强的视频行人再识别算法。本文首先基于视频提取时空梯度方向直方图(HOG3D)特征,基于图像提取表观特征,然后将两者结合作为视频行人目标的特征描述子,从而提高特征描述有效性;距离度量时结合边际费希尔分析(Marginal Fisher Analysis,MFA)算法将特征进行自适应特征增强,增强共性特征之间的联系,从而进一步提高距离度量阶段对特征的判别性,最后再进行欧式距离度量和排序。另外,本文在iLIDS-VID和PRID 2011两大视频行人数据集中各进行两组实验,实验结果表明,该算法能够充分利用视频中包含的运动信息,得到鲁棒的视频行人再识别匹配模型,提高行人再识别的匹配精度。

小视频内容分析技术发展探讨

小视频数量呈爆炸式增长态势,并引发了许多技术需求,包括小视频的编辑、搜索、推荐、溯源、审查和监管等。介绍了小视频数据的主要特点和小视频内容分析技术面临的挑战,并对目标检测、追踪、重识别等小视频内容分析技术的研究进展做了综合分析。认为只有构建一个整合多种不同算法的系统,才能够更准确、更鲁棒地解决分析问题,才能系统性地完成小视频内容分析任务。

联合增强局部最大发生特征和k-KISSME度量学习的行人再识别

行人再识别是一种在监控视频中自动搜索行人的重要技术,该技术包含特征表示和度量学习2部分。有效的特征表示应对光线和视角变化具有鲁棒性,具有判别性的度量学习能够提高行人图像的匹配精度。但是,现有的特征大多都是基于局部特征表示或者全局特征表示,没有很好的集成行人外观的精细细节和整体外观信息且度量学习通常是在线性特征空间进行,不能高效地利用特征空间中的非线性结构。针对该问题,设计了一种增强局部最大发生的有效特征表示(eLOMO)方法,可以实现行人图像精细细节和整体外观信息的融合,满足人类视觉识别机制;并提出一种被核化的KISSME度量学习(k-KISSME)方法,其计算简单、高效,只需要对2个逆协方差矩阵进行估计。此外,为了处理光线和视角变化,应用了Retinex变换和尺度不变纹理描述符。实验表明该方法具有丰富和完整的行人特征表示能力,与现有主流方法相比提高了行人再识别的识别率。

时域模型对视频行人重识别性能影响的研究

行人重识别是计算机视觉领域一个重要的研究方向。近年来,随着视频监控需求的日益增长,基于视频序列的行人重识别研究受到了广泛的关注。典型的视频序列行人重识别系统由三部分构成:图片特征提取器(例如卷积神经网络)、提取时域信息的时域模型、损失函数。在固定特征提取器和损失函数的前提下,研究不同时域模型对视频行人重识别算法性能的影响,包括时域池化、时域注意力、循环神经网络。在Mars数据集上的实验结果表明:与基于图像的行人重识别基准算法相比,采用时域池化模型、时间注意力模型可以有效改善识别精度,但采用循环神经网络后识别效果比基准算法有所下降。

知识型新员工的归属需要和自主需要对组织认同的影响机制

从个体需要理论出发,结合社会交换理论研究知识型新员工组织认同产生的过程机制。对工作未满一年的高校毕业生中201名知识型新员工进行问卷跟踪调查,研究发现:知识型新员工的归属需要对组织认同有显著的正向影响,自主需要对组织认同有负向影响;领导-成员交换关系起部分中介作用;知识型新员工主动性人格调节了归属需要(自主需要)同领导-成员交换之间的关系。

结合时序和质量评估的视频行人重识别

针对行人重识别中出现的行人遮挡、图像质量参差不齐的情况,提出一种结合时序和局域质量评估的网络模型。从时序信息和质量评估两方面出发,利用时序信息和注意力机制弥补空间上出现的噪音或者缺失,进一步提高基础特征表达的判别能力;将行人图像按比例分割为3段,分别进行局域质量评估;将得到的分数作为权重与行人特征加权求和得到最终的特征。将ResNet-50作为主干网络,在MARS、DukeMTMC-VideoReID和PRID-2011数据集上的实验结果表明,该网络模型在行人重识别准确率上有一定提升。

基于卷积神经网络和Transformer的视频行人再识别

为了解决视频行人再识别领域仅使用卷积神经网络进行行人特征提取效果不佳的问题,提出一种基于卷积神经网络和Transformer的ResTNet(ResNet and Transformer network)网络模型。ResTNet利用ResNet50网络得到局部特征,令中间层输出作为Transformer的先验知识输入。在Transformer分支中不断缩小特征图尺寸,扩大感受野,充分挖掘局部特征之间的关系,生成行人的全局特征,同时利用移位窗口方法减少模型计算量。在大规模MARS数据集上,Rank-1和mAP分别达到86.8%和80.3%,比基准分别增加了3.8%和3.3%,在2个小规模数据集上也取得了良好效果。在几大数据集上的大量实验表明,本文方法能增强行人识别的鲁棒性,有效提高行人再识别的准确率。

基于多样性约束和离散度分层聚类的无监督视频行人重识别

视频行人重识别是一项应用非常广的计算机视觉任务。目前的视频行人重识别方法通常是基于监督学习的,该方法需要手工标记大量的数据,代价非常高且并不适用于现实场景。本文提出了一种从底向上的基于多样性约束和离散度分层聚类的无监督视频行人重识别方法。该方法首先将每个样本当作是一个不同的类,然后结合类内间离散度进行从底向上的分层聚类,类间和类内离散度都小的类别将被优先合并,同时在聚类准则中加入一项多样性约束来平衡每类中的样本数量,最后,利用线性变化的特征存储器动态更新模型。在Mars和DukeMTMC⁃VideoReID两个大型视频数据集上的实验结果表明,相比于目前先进的无监督视频行人重识别方法,本文方法在性能上有一定的提升。

用户视角的短视频内容分发平台算法推荐智能化评价

以抖音、快手、美拍、微视、西瓜视频5个短视频内容分发平台为研究对象,应用关键事件法、德尔菲法及结构方程模型分析发现,准确性、多样性、新颖性、惊喜性是用户视角下反映短视频平台算法推荐智能化效力的四大表征。从算法技术赋能用户使用体验感知的角度而言,目前,各短视频平台在多样性上呈现出最佳的算法技术赋能效果,惊喜性是各平台凭借算法优势收获用户认同的现实短板。更为垂直化的短视频平台借助算法优势,更容易在用户使用体验感知中取得竞争优势。算法技术素养高的用户对短视频平台算法推荐智能化的感知要求更加严苛,男性与低龄人群在四个维度上的评价均显著低于女性和高龄人群。低消费人群对准确性、新颖性和惊喜性的评价显著低于高消费人群,说明用户的消费水平与短视频平台算法推荐智能化感知之间具有群体差异和正向的影响逻辑。算法推荐智能化评价的人口统计特征差异,反映出不同类型短视频平台经由算法赋能后的用户体验感知群像特征。