基于注意力与双通道网络的方面级情感分析

针对方面级情感分析任务不能充分兼顾句法全面性与语义关联性,且大多数研究中使用的图卷积仅考虑信息自上而下的传播,忽略了信息自下而上的聚合等问题,本文提出了基于注意力与双通道网络的情感分析模型.该模型在扩展依存表示的同时使用自注意力获取具有语义关联的信息矩阵,使用双通道网络结合全局句法与语义关联信息,双通道网络分别侧重于自上而下传播的语义特征与自下而上聚合的结构特征.通道内的图卷积输出会与信息矩阵进行交互注意力起到残差互补的作用,然后通过平均池化完成通道内的任务.最后将基于语义与基于结构的决策融合得到最终的情感分类特征.实验结果表明该模型在三个公开数据集上的准确率与F1值均有提升.

基于BERT与注意力机制的方面级隐式情感分析模型

在方面级情感文本中存在部分不含情感词的评论句,对其情感的研究被称为方面级隐式情感分析.现有分析模型在预训练过程中可能会丢失与方面词相关的上下文信息,并且不能准确提取上下文中深层特征,本文首先构造了方面词感知BERT预训练模型,通过将方面词引入到基础BERT的输入嵌入结构中,生成与方面词信息相关的词向量;然后构造了语境感知注意力机制,对由编码层得到的深层隐藏向量,将其中的语义和句法信息引入到注意力权重计算过程,使注意力机制能更加准确地分配权重到与方面词相关的上下文.对比实验结果表明,本文模型的效果优于基线模型.

基于稀疏敏感的鲁棒网络分层剪枝策略

深度神经网络很容易受到精心设计的对抗样本攻击。虽然基于极大极小值优化的对抗训练方法能提升网络的鲁棒性,但是对抗训练比正常训练需要更大容量和更多参数的模型。为了获得一个高鲁棒性和高稀疏度的网络模型,该文从模型压缩角度出发通过实验分析模型精度、鲁棒性和稀疏性之间的关系,并根据鲁棒网络稀疏敏感特性提出一种基于稀疏敏感的鲁棒网络非结构剪枝算法。在Mnist和Cifar10数据集上的白盒攻击实验结果表明,该算法在采用较大剪枝率时仍能保持高模型精度和高鲁棒性。在黑盒攻击下,基于该算法的稀疏模型的鲁棒精度甚至能超过未剪枝模型。

反馈学习高斯表观网络的视频目标分割

大量基于深度学习的视频目标分割方法存在两方面局限性:1)单帧编码特征直接输入网络解码器,未能充分利用多帧特征,导致解码器输出的目标表观特征难以自适应复杂场景变化;2)常采用前馈网络结构,阻止了后层特征反馈前层进行补充学习,导致学习到的表观特征判别力受限.为此,本文提出了反馈高斯表观网络,通过建立在线高斯模型并反馈后层特征到前层来充分利用多帧、多尺度特征,学习鲁棒的视频目标分割表观模型.网络结构包括引导、查询与分割三个分支.其中,引导与查询分支通过共享权重来提取引导与查询帧的特征,而分割分支则由多尺度高斯表观特征提取模块与反馈多核融合模块构成.前一个模块通过建立在线高斯模型融合多帧、多尺度特征来增强对外观的表征力,后一个模块则通过引入反馈机制进一步增强模型的判别力.最后,本文在三个标准数据集上进行了大量评测,充分证明了本方法的优越性能.

基于滤波器注意力机制与特征缩放系数的动态网络剪枝

结构化剪枝是模型压缩的一种有效方式,裁减掉网络中不重要的滤波器,减小网络的计算量和存储量.然而,仅仅基于滤波器自身的参数信息是无法准确判断该滤波器是否冗余.针对以上问题,提出一种利用卷积层和BN层双层参数信息的动态网络剪枝方法,该方法利用滤波器注意力机制以及BN(Batch Normalization)层缩放系数选择冗余滤波器,并对其进行裁剪.该方法具有三个优势:1)端到端的训练剪枝:训练和剪枝同时进行,训练速度更快.2)更大的优化空间:训练过程中动态调整被裁剪的滤波器,搜索最优的剪枝策略.3)更准确的滤波器选择:运用多重参数信息精确选取冗余的滤波器,提高了网络的泛化性能.实验分别在标准CIFAR-10数据集和CIFAR-100数据集上进行,尤其在CIFAR-10数据集上的实验结果表明,压缩后的ResNet56和Res Net110的浮点运算率减少40%多,但精度比基本网络高.

利用KL散度度量通道冗余度的深度神经网络剪枝方法

提出一种基于KL散度的结构化剪枝方法,用KL散度来衡量通道之间的差异性,并定义通道的重要因子,通过删减重要因子较小的通道来进行结构化剪枝。在CIFAR-10和CIFAR-100数据集上,对ResNet进行结构化剪枝,并对比几种较为先进的硬剪枝方法,发现KL散度能发掘出卷积层中的冗余通道,剪枝后精度可能不会下降太多,在减少10%~30%网络参数与浮点运算的情况下,甚至比原始网络准确率要高0.4到0.6百分点。