基于语义嵌入学习的特类视频识别

暴力视频传播已经成为网络环境治理面临的隐患之一,暴力视频这类特类视频的智能识别技术对维护互联网内容安全具有重要意义.由于采集来源的多样性,暴力视频分布通常呈现较大的类内方差和较小的类间方差,常见的暴力视频识别模型难以适应复杂多变的暴力场景.同时,暴力一词本身具有高度抽象的语义,如何从有限数据中学习通用的暴力语义表示成为一大难点.针对这些问题,本文基于语义嵌入学习的思想,构建了一种新颖的多模态暴力视频识别模型,主要由三部分构成.(1)多模态特征提取.考虑到视频具有多模态属性,采用了三种不同的深度神经网络分别提取表观、运动、音频三种模态的特征表示.(2)多模态特征融合.为获得鲁棒的通用视频表示,设计了一种轻量级的多模态特征融合模块(Multimodal Efficient Fusion Module,MEFM),该模块包括共享空间映射与多模态特征交互两部分,在对多模态特征进行充分交互的同时,又能够有效抑制不同模态信息之间的干扰.(3)语义嵌入学习.为适应不同数据分布的暴力数据集,提出了一种基于语义嵌入的多任务学习方法,通过引入中心损失构建暴力语义中心,并采用余弦嵌入损失将暴力样本向中心聚合、非暴力样本进行离散,形成具有语义判别性的特征表示,从而增强了模型的泛化能力,减少了数据噪声的干扰.在VSD2015,Violent Flows和RWF-2000三个公开数据集上的实验表明,本文提出的暴力视频识别模型较已有方法分别提升了4.79%,0.81%和1.5%,取得了具有竞争力的结果.

基于高层语义嵌入的孪生网络跟踪算法

在不加深网络的前提下,为提高孪生网络的特征表达能力,提出基于高层语义嵌入的孪生网络跟踪算法。利用卷积和上采样运算设计了语义嵌入模块,有效融合了深层特征和浅层特征,达到了优化浅层特征的目的,且该模块可以针对任意网络进行灵活的设计与部署。在孪生网络框架下,对AlexNet骨干网络不同层之间添加2个语义嵌入模块。在离线训练阶段进行循环优化,使深层语义信息逐渐转移到较浅的特征层,在跟踪阶段,舍弃语义嵌入模块,仍采用原始的网络结构。实验结果表明:相比于SiamFC,所提算法在OTB2015数据集上精度提高了0.102,成功率提高了0.054。

基于语义嵌入和聚类压缩的档案分类方法

随着社会的发展,档案领域积累了海量的数据,如何对其进行高效利用,实现档案的科学管理显得尤为重要。档案种类繁多、内容庞大,对档案进行智能分类就显得尤为重要。针对传统人工档案分类效率低、基于机器学习模型分类算法准确率不高等问题,本文提出的基于语义嵌入和聚类压缩的档案分类方法,引入语义词向量模型对档案文本进行向量化,充分考虑了档案文本的语义信息,采用聚类压缩将相似档案数据进行聚类,使得分类方法可以处理海量数据。

基于弱语义嵌入的图像相似性度量

提出了一种旨在缩小“语义鸿沟”的弱语义嵌入方法及其相似性度量模型。在该方法中，用户反馈的相关图像被当成查询图像的弱语义直接嵌入到视觉特征向量中，从而使固定的视觉特征向量成为可伸缩的包含语义和视觉特征的集合。根据心理学中集合论相似性理论，图像之间的相似性被表示成语义特征与视觉相似性之比。基于Corel图像库的实验结果表明，该方法在基于内容的图像检索中是非常有效的。

基于语义嵌入深度学习的Web文本情感分类

互联网用户数量的迅猛增涨,为网络提供了大量的文本数据,对这些海量文本进行有效的情感分类,是自然语言处理领域需要解决一个难题。Web文本的情感反映了网络用户利用文字抒发的针对某对象或事物不同的情感表示,情感极性的分类可以是褒奖的、中立的或批评的。由于中文Web文本的语义表达结构和形式复杂多样,一般模型难以实现基于语义理解基础上的情感分类,提出了基于语义嵌入深度学习的情感分类模型。将语义提取、语义嵌入和深度学习相结合,实现Web文本在复杂语境下的有效情感分类。

基于深度视觉语义嵌入的视频缩略图推荐

视频缩略图作为视频内容最直观的表现形式,在视频共享网站中发挥很重要的作用,是吸引用户是否会点击观看该视频的关键要素之一。一句与视频内容相关的描述性语句,再搭配一幅与语句内容相关的视频缩略图,往往对用户更有吸引力,因此提出一种深度视觉语义嵌入模型来构建完整的视频缩略图推荐框架。该模型首先使用卷积神经网络(CNN)来提取视频关键帧的视觉特征,并使用循环神经网络(RNN)来提取描述语句的语义特征,再将视觉特征与语义特征嵌入到维度相同的视觉语义潜在空间;然后通过比较视觉特征与语义特征之间的相关性来推荐与特定的描述语句内容密切相关的视频关键帧作为视频缩略图推荐结果。在不同类型的网络视频数据上的实验表明,所提方法能够有效地从网络视频中推荐出与给定描述性语句内容较相关的视频缩略图序列,提升视频的用户浏览体验。

基于X-Linear和语义嵌入的视频描述算法

注意力机制和视频语义嵌入使得视频描述任务取得了显著的提升,为更好地利用时序动态特征和语义信息,提出一种基于X-Linear的语义嵌入视频描述算法(X-Linear Semantic Embedding Network,XLSNet)。该算法以基于编码解码器网络为基础,使用X-Linear注意力模块对视频特征进行编码,该模块使用双线性池化来增加视频时序特征的高阶交互,最终提取丰富的时序动态特征;为充分利用视频语义信息,使用语义嵌入的GRU和X-Linear作为解码器对视频描述进行生成。为防止过拟合现象,对解码器的GRU使用了层归一化和变分Dropout。所提出的算法仅仅使用了视频帧特征,在公开视频描述数据集MSVD上取得了很好的效果。

基于语义嵌入模型的Kafka平台发布订阅信息分类方法

传统方法在分类的过程中存在分拣错误和速度慢等问题,因此提出了基于语义嵌入模型的Kafka平台发布订阅信息分类方法,使用语义嵌入模型更好地对Kafka平台发布的订阅信息进行分类和搜索。

基于语义嵌入空间的离心泵未知复合故障识别

针对离心泵各类型故障相互耦合难以诊断的问题,提出了一种语义嵌入空间的未知复合故障识别框架。首先采用深度学习与加权交叉熵损失建模来提取数据不平衡分布下的离心泵已知单一故障特征。接着采用零样本学习结合语义编码将单一故障属性构建成复合故障语义空间。最后通过全连接神经网络将样本特征映射到语义空间,并通过相似度测量来识别未知复合故障。在自吸和单级单吸离心泵两个数据集上进行验证,结果表明:在复合样本缺失的前提下,该方法对四组数据不平衡分布下的未知复合故障平均识别率为73.63%和82.25%,验证了所提方法的有效性和泛化性。

基于语义概念的图像情感分析

随着越来越多的用户通过社交媒体表达自己的情感,图像情感分析技术受到了研究人员的密切关注。但是由于情感的模糊性和主观性,相比较于其他计算机视觉任务,图像情感分析更具挑战性。该领域既有的工作仅研究了图像到情感之间的直接映射关系。然而,心理学中有关情感感知的理论揭示了人们感知情感的过程是分步式的。因此,提出了一种新的图像情感分析框架,利用情感概念作为中级语义来辅助建立图像和情感之间的关系。将情感和概念的关系用知识图谱来描述并嵌入到语义空间中,再将图像的视觉特征投影至该语义空间与情感进行对齐,从而学习图像和情感之间的关系。另一方面,提出了一种多层次深度度量学习方法,从标记层面以及示例层面同时对模型进行优化。在2个情感图像数据集上进行实验,结果表明提出的方法在情感图像检索以及分类任务上,相对于现有方法表现良好。

基于共享语义空间的多标签文本分类

在多标签文本分类任务中,每个给定的文档都对应一组相关标签。目前主要面临以下三方面问题:(1)对标签-文本和标签-标签关系的联合建模不充分;(2)对标签本身语义的挖掘不足;(3)忽略了对标签内部结构信息的利用。对于以上问题,提出了一种基于联合注意力和共享语义空间的多标签文本分类方法。提出了融合多头注意力机制,该方法旨在同步地对标签与文档的关系和标签之间的关系进行建模,利用两者交互信息的同时避免误差传递。提出了解耦的共享语义空间嵌入方法,改进了利用标签语义信息的方法,使用共享参数的编码器提取标签和文档的语义表示,减少其在建模相关性阶段的偏差。提出了一种基于先验知识的层次提示方法,利用预训练模型中的先验知识增强标签层次结构信息。实验结果表明,该方法在公开数据集上优于目前最先进的多标签文本分类模型。

基于视觉语义联合嵌入和注意力机制的情感预测

为了缓解图像视觉特征与情感语义特征之间存在的鸿沟,减弱图像中情感无关区域对情感分类的影响,提出了一种结合视觉语义联合嵌入和注意力模型的情感分类算法。首先利用自编码器学习图像的视觉特征和情感属性的语义特征的联合嵌入特征,缩小低层次的视觉特征与高层次的语义特征之间的差距;然后提取图像的一组显著区域特征,引入注意力模型建立显著区域与联合嵌入特征的关联,确定与情感相关的显著区域;最后基于这些显著区域特征构建情感分类器,实现图像的情感分类。实验结果表明,该算法有效地改进了现有的图像情感分类方法,显著提高了对测试样本的情感分类精度。

基于上下文感知空间坐标嵌入的时空图卷积网络

针对空间复杂的非欧几里得结构,图卷积网络不易通过欧氏距离构造输入图的问题,提出了上下文感知空间坐标嵌入的时空图卷积网络(STE-STA)模型,将空间背景和相关性明确地结合到模型中,并基于地理空间辅助任务学习、语义空间嵌入和动态图的时空注意力识别手势。首先从手骨架构造一个完全连接图,通过学习地理坐标的上下文感知向量编码,以及自我注意机制对节点特征和边缘进行自动学习;然后,与主任务并行预测数据中的空间自相关。实验结果表明,在DHG-14/28数据集上,STE-STA模型识别率分别达到92.40%与87.85%,均高于目前最优模型;在SHREC′17数据集上,比时空图卷积网络(ST-GCN)分别高0.60%和0.10%。

SAA-UNet:特征信息融合网络的遥感图像分割

针对星载遥感图像分割精度低、边缘分割模糊问题,提出一种高低层特征信息融合网络模型。以U-Net网络模型为基础,在编码器中加入注意力机制模块获取图像低层特征信息,并在解码器中利用语义嵌入分支将图像的高层信息与低层信息进行融合,在编码器末端利用不同空洞扩张率的混合空洞卷积构建相应模块。为验证网络有效性,以WHDLD数据集和DeepGlobe-Road数据集作为数据源,将SAA-UNet模型与常用语义分割模型进行对比。实验结果显示,SAA-UNet模型整体分割精度优于对比模型,对小目标地物的分割效果更好。在WHDLD数据集中,平均交并比和类别平均像素准确率分别高于次优模型0.013和0.027。此外,本文采用DeepGlobe-Road数据集进行泛化性。结果表明,本文模型可以有效提高星载遥感图像的分割精度。

基于语义簇的中文文本聚类算法

针对中文文本聚类受语义、语法、语境等因素的影响,在使用传统向量空间模型向量化表征后,文本向量之间相互独立,语义关系被忽略,影响聚类分析结果的问题,提出一种基于语义簇的中文文本聚类算法.该算法根据词共现的原理和语义相关性,首先使用词频-逆向文档频率(TF-IDF)方法求得特征词权重,利用特征词的搭配向量构建语义簇;然后使用特征词及其搭配词的权重,将特征词向语义簇中心进行空间变换,求得嵌入语义信息的文档向量;最后利用文档向量进行K-means聚类分析.实验结果表明,该向量化表示方法,能有效提高文本向量对文本语义的逼近能力,同时可提高文本聚类结果的准确率和召回率.

基于深度学习的海量本体匹配模型构建研究

本体匹配是语义网中多源异构本体之间数据交流和操作的有效方法。在本体匹配算法设计中,如何实现海量本体科学分类,减少异质本体匹配过程中的时间、空间和资源消耗,是研究人员面临的重大挑战。将自动编码器技术和深度学习技术引入海量本体匹配算法设计,使用自动编码器对输入本体进行语义嵌入和模型训练,以降低异质本体的复杂性,提高本体分类的准确性,为海量本体的语义匹配和数据挖掘提供重要支持。实验结果显示,该算法在时间复杂度、运行精度方面的优势明显,具有较高的应用价值。

融合语义知识的深度表达学习及在视觉理解中的应用

近几年来,随着深度学习技术的日趋完善,传统的计算机视觉任务得到了前所未有的发展.如何将传统视觉研究中的领域知识融入到深度模型中提升深度模型的视觉表达能力,从而应对更为复杂的视觉任务,成为了学术界广泛关注的问题.鉴于此,以融合了语义知识的深度表达学习为主线展开了一系列研究.取得的主要创新成果包括3个方面:1)研究了将单类型的语义信息(类别相似性)融入到深度特征的学习中,提出了嵌入正则化语义关联的深度Hash学习方法,并将其应用于图像的相似性比对与检索问题中,取得了较大的性能提升;2)研究了将多类型信息(多重上下文信息)融入到深度特征的学习中,提出了基于长短期记忆神经网络的场景上下文学习方法,并将其应用于复杂场景的几何属性分析问题中;3)研究了将视觉数据的结构化语义配置融入到深度表达的学习中,提出了融合语法知识的表达学习方法,并将其应用到复杂场景下的通用内容解析问题中.相关的实验结果表明:该方法能有效地对场景的结构化配置进行预测.

融合语义信息的视频摘要生成

任务旨在通过生成简短的视频片段来表示原视频的主要内容,针对现有方法缺乏对语义信息探索的问题,提出了一种融合语义信息的视频摘要生成模型,学习视频特征使其包含丰富的语义信息,进而同时生成描述原始视频内容的视频摘要和文本摘要。该模型分为3个模块:帧级分数加权模块、视觉-语义嵌入模块、视频文本描述生成模块。帧级分数加权模块结合卷积网络与全连接层以获取帧级重要性分数;视觉-语义嵌入模块将视觉特征与文本特征映射到同一空间,以使2种特征相互靠近;视频文本描述生成模块最小化视频摘要的生成描述与文本标注真值之间的距离,以生成带有语义信息的视频摘要。测试时,在获取视频摘要的同时,该模型获得简短的文本摘要作为副产品,可以帮助人们更直观地理解视频内容。在SumMe和TVSum数据集上的实验表明:该模型通过融合语义信息,比现有先进方法取得了更好的性能,在这2个数据集上F-score指标分别提高了0.5%和1.6%。

结合极坐标建模与神经网络的IVUS图像分割

针对现有血管内超声(IVUS)图像分割网络不能保证分割结果之间的拓扑关系符合医学先验知识,影响后续临床参数计算的问题,提出了一种基于极坐标建模和密集距离回归网络的IVUS图像分割方法。首先通过极坐标建模将含有先验知识的二维掩膜编码为一维距离向量;然后构建一个结合残差网络和语义嵌入模块的密集距离回归网络,用于学习IVUS图像和一维距离向量之间的映射关系。同时提出联合损失函数约束网络的学习方向。预测结果最终通过样条曲线拟合被重建为二维掩模。实验结果表明,所提方法在血管、管腔和斑块区域的分割结果拓扑关系100%符合先验知识,Jaccard测量值分别达到0.89、0.87和0.74。该算法适用于一般的IVUS图像分割,分割结果中血管结构定位准确,拓扑关系正确,可提供可靠的临床参数。

改进U^(2)-Net的太阳能电池片缺陷分割方法

针对太阳能电池片缺陷分割中存在的特征提取能力弱、分割精度低和漏分割等问题,提出了一种改进U^(2)-Net的太阳能电池片缺陷分割方法。为提高RSU内部有效特征的提取能力并减少参数量,利用残差结构将有效的通道注意模块和深度可分离卷积结合起来,组成新的特征提取层;为防止空间信息的丢失,在外层编解码跳跃连接中添加语义嵌入分支结构,并利用CARAFE算子进行上采样,将更多的语义信息引入低层特征以加强级间特征的融合,减少因跳跃连接丢失的空间信息;最后,将所提方法与常用分割网络对比分析。实验结果表明,该方法的类别像素准确率、交并比和平均交并比分别达74.69%、60.68%、80.30%。相较于U-Net、PSPNet及Deeplab v3+,该方法不仅有效提高了缺陷分割的精度,还实现了小目标缺陷的准确分割,有效减少了漏分割。