关键细粒度信息指导的多尺度遮挡行人重识别

为了减轻背景和遮挡等干扰信息对行人身份重识别(ReID)准确率的影响以及充分利用细粒度和粗粒度信息之间的互补性,该文提出关键细粒度信息指导的多尺度遮挡行人重识别网络。首先,将图像划分为两种不同尺寸的重叠图像块,构建同时包含细粒度和粗粒度信息提取分支的多尺度识别网络,以更好模拟人类观察图像时的多尺度特性以及观察相邻区域时的连续性特性。然后,考虑到细粒度分支能够提取更多的图像细节信息且细粒度和粗粒度信息之间存在一定的共性与差异,进一步通过细粒度注意力模块实现细粒度信息对粗粒度信息学习分支的指导。其中,参与指导的细粒度信息是通过干扰信息剔除(IIE)模块滤除干扰信息后保留的关键信息。最后,通过双次差分获取与行人身份识别相关的关键信息,并通过标签和特征等多维度的联合监督,实现行人身份的预测。在多个公开的行人重识别数据库进行的大量实验证明了该算法的性能优越性以及其中各个模块的有效性和必要性。

模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别

跨模态行人重识别方法主要通过对齐不同模态的像素分布或特征分布以缓解模态差异,却忽略具有判别性的行人细粒度信息.为了获取不受模态差异影响且更具判别性的行人特征,文中提出模态不变性特征学习和一致性细粒度信息挖掘的跨模态行人重识别方法.方法主要包括模态不变性特征学习模块和语义一致的细粒度信息挖掘模块,联合两个模块,使特征提取网络获取具有判别性的特征.具体地,首先利用模态不变性特征学习模块去除特征图中的模态信息,缓解模态差异.然后,使用语义一致的细粒度信息挖掘模块,对特征图分别进行通道分组和水平分块,在充分挖掘具有判别性的细粒度信息的同时实现语义对齐.实验表明,文中方法性能较优.

局部细粒度信息引导的双循环一致性绝缘子缺陷样本生成

针对绝缘子缺陷样本数据缺乏,现有生成方法又要求训练样本的规模庞大,且在生成过程中绝缘子缺陷的细节常常被丢失或扭曲,提出了一种基于局部细粒度信息引导的双循环一致性绝缘子缺陷样本生成方法。该方法利用粗糙绝缘子图像作为网络输入,提出通过循环一致性生成对抗方法向精细缺陷绝缘子样本学习,生成较为逼真的缺陷样本。为使生成的样本具有丰富的缺陷特征,提出将生成图像中的缺陷区域图像作为判别网络的输入,并利用对抗约束的方式引导生成网络重点关注缺陷的细粒度信息,从而进一步提升生成绝缘子缺陷样本的真实性和多样性。与现有方法相比,所提方法构建的绝缘子缺陷样本数据集具有逼真、多样化等特点,为提升绝缘子缺陷自动识别的准确性提供了重要的数据基础。

基于细粒度信息交互注意力的情绪分类方法

现有细粒度分析方法未能充分利用细粒度情绪信息来增强上下文与评价目标间的语义关联性,且对多词构成的评价目标仅平均化处理,损失了词间内容与关系信息,导致分类不精准。针对上述问题,本文提出了一种基于细粒度信息交互注意力(interactive attention with fine-grained information,FGIA)的情绪分类方法,通过采用更加细粒度的注意力机制来实现评价目标与上下文之间的充分交互,同时得到目标对上下文以及上下文对目标的交互注意力表示,进而辅助完成情绪分类。在本文构建的COVID-19网络舆情中文数据集上进行了实验验证,结果表明,FGIA能够有效地提升网络舆情数据情绪分类的准确性,相比于主流的分类方法,在各项评价指标上均取得了较高的提升。

细粒度语义知识图谱增强的中文OOV词嵌入学习

随着信息化领域的范围不断扩大,许多特定领域的文本语料开始涌现。这些特定领域,如医疗、通信等,由于受到安全性和敏感性的影响,其数据规模通常较小,传统的词嵌入学习模型难以获得有效的结果。另一方面,直接应用现有的预训练语言模型时会出现较多未登录词,这些词汇无法表示成向量,从而影响下游任务的性能表现。许多学者开始研究如何利用细粒度语义信息来得到较高质量的未登录词向量表示。然而,当前的未登录词嵌入学习模型大多针对英文语料,对中文词的细粒度语义信息只能进行简单的拼接或映射,难以在中文未登录词嵌入学习任务中得到有效的向量表示。针对上述问题,首先通过中文构字规则,即中文词所包含的汉字、汉字所包含的部件和拼音等,构建细粒度的知识图谱,使其不仅能涵盖汉字和单词之间的关联关系,还能对拼音和汉字、组件和汉字等细粒度语义信息之间的多元且复杂的关联关系进行表征。然后,在知识图谱上运行图卷积算法,从而对中文词的细粒度语义信息之间以及它们与词语义之间更深层次的关系进行建模。此外,文中通过在子图结构上构建图读出来进一步挖掘细粒度语义信息与词语义信息之间的组成关系,据此提升模型在未登录词嵌入推断中的精准度。实验结果表明,在面对未登录词占比较大的特定语料上的词配对、词相似任务,以及文本分类、命名实体识别等下游任务时,所提模型都取得了更好的性能。

跨媒体深层细粒度关联学习方法

随着互联网与多媒体技术的迅猛发展,网络数据的呈现形式由单一文本扩展到包含图像、视频、文本、音频和3D模型等多种媒体,使得跨媒体检索成为信息检索的新趋势.然而,"异构鸿沟"问题导致不同媒体的数据表征不一致,难以直接进行相似性度量,因此,多种媒体之间的交叉检索面临着巨大挑战.随着深度学习的兴起,利用深度神经网络模型的非线性建模能力有望突破跨媒体信息表示的壁垒,但现有基于深度学习的跨媒体检索方法一般仅考虑图像和文本两种媒体数据之间的成对关联,难以实现更多种媒体的交叉检索.针对上述问题,提出了跨媒体深层细粒度关联学习方法,支持多达5种媒体类型数据(图像、视频、文本、音频和3D模型)的交叉检索.首先,提出了跨媒体循环神经网络,通过联合建模多达5种媒体类型数据的细粒度信息,充分挖掘不同媒体内部的细节信息以及上下文关联.然后,提出了跨媒体联合关联损失函数,通过将分布对齐和语义对齐相结合,更加准确地挖掘媒体内和媒体间的细粒度跨媒体关联,同时利用语义类别信息增强关联学习过程的语义辨识能力,提高跨媒体检索的准确率.在两个包含5种媒体的跨媒体数据集PKU XMedia和PKU XMediaNet上与现有方法进行实验对比,实验结果表明了所提方法的有效性.

粒度不可区分的隐私保护方法

针对攻击者可通过查询分块的粒度关联连续位置,使部分隐私保护方法失效,基于粒划分的粒度度量和粒层切换,提出一种粒度不可区分的隐私保护方法。将用户的查询信息划分为不可区分的细粒度信息,利用细粒度的不可区分降低属性之间的关联特性,从而为用户提供隐私保护服务。通过安全性分析和实验验证,分别在理论层面和实践层面对这种粒度不可区分算法进行分析验证,进一步验证所提算法相比其它同类算法的优越性。

基于改进YOLOv5的安全帽检测方法

针对现有安全帽检测方法普遍存在的复杂场景下小目标检测效果差、容易出现错检漏检情况、鲁棒性较低等问题,提出基于改进YOLOv5的安全帽检测方法。在主干网络中添加SimAM注意力机制,使模型在不额外增加参数的前提下对三维特征点的不同重要性进行表征和强化;在颈部网络中增加小目标检测层,以丰富目标细粒度信息;使用Decoupled-Head代替原模型的YOLOHead模块,将分类、回归任务分离进行。实验结果表明,该方法的平均精度均值达到93.17%,能够满足复杂场景下的安全帽检测要求。

大数据环境下面向决策全流程的应急信息融合研究

突发事件的爆发伴随着大量相关信息涌现,突发事件大数据虽然丰富了相关信息类型和规模,但造成了应急决策的信息利用障碍。面向应急决策全流程的信息需求进行突发事件大数据信息融合是提升突发事件大数据的应急决策支持力的有效途径。本文以构建面向应急决策全流程信息需求的大数据融合框架及融合路径为目的,首先依据应急决策流程从信息内容、信息特征两个方面归纳突发事件应急决策信息需求,与大数据环境下可获得的应急信息进行对比,识别出应急信息融合的具体目标及问题;进而,构建以应急数据模型为桥梁、面向应急决策服务的信息融合服务整体框架;最后,从数据层、语义层和服务层逐层剖析应急信息融合中的具体问题,并提出相应的信息融合实现路径。研究结论有助于指导突发事件大数据融合系统构建,也为面向决策的信息分析提供实践参考依据。

基于改进EfficientNet的木材识别研究

木材是一种常见的可再生资源,不同品种的木材有着不同的用途和商业价值。传统的木材分类工作主要依靠人工完成,工作效率较低。为提高木材识别效率,提出一种基于改进EfficientNet的木材识别方法。该方法以EfficientNet作为基准模型,采用大核注意力模块代替部分移动翻转瓶颈卷积(Mobile Inverted Bottleneck Convolution,MBConv)模块中的压缩激励网络(squeeze-and-excitation networks,SENet),联合2种注意力机制使网络能更有效地提取木材细粒度信息。训练过程中引入渐进式学习策略,采用不同尺寸大小的图像和不同丢弃概率的Dropout层进行训练,进一步提升模型训练速度和识别准确率。试验结果表明,改进后的EfficientNet模型识别准确率达到99.83%,相比于未改进的EfficientNet模型提高了0.49%,且模型参数仅6.16 MB。该研究的模型能够很好地识别木材种类,为移动端部署木材种类识别模型提供参考。

改进场景坐标回归网络的室内相机重定位方法

传统相机重定位依赖手工特征,场景的变化会影响其后续特征匹配,导致算法总体性能下降。然而,基于深度学习场景坐标回归的相机重定位方法在室内场景下有着较好的表现。针对复杂场景下定位精度低以及在特征提取过程中空间信息丢失的问题,在场景坐标回归方法的基础上,提出一种基于深度过参化卷积与细粒度信息的相机定位方法。该方法在特征提取网络中,引入深度过参化卷积层取代传统的卷积层,使提取的特征更具有鲁棒性;在特征提取网络之后,增加细粒度信息,加强特征提取,解决特征提取带来的空间信息丢失问题;通过全连接层输出场景坐标,建立二维图像像素和三维场景坐标之间的关系,然后使用多点透视随机抽样一致性算法得到相机位姿。实验结果表明,改进后的方法与同类型算法相比有明显的提升,该方法能够将平均角度精度提高20.00%,对相机重定位有显著效果,验证了该方法在一定程度上能够克服视觉特征对相机重定位的影响。

基于语义融合的域内相似性分组行人重识别

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度(mAP)和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。