基于集成注意力层卷积神经网络的汉字识别

针对传统汉字识别受特征提取方法的限制,选择卷积神经网络作为汉字识别的模型。介绍了选择卷积神经网络基准模型的过程,选择Alex Net网络模型作为基准模型,并且详细介绍了Alex Net的网络配置。为了解决形相似汉字的微小差异会在训练中丢失的问题,通过将注意力层与选定的Alex Net网络中的卷积层进行并联,以提高汉字图像中微小差异处的权重,达到提高该处注意力的目的,从而减少卷积层对于丢失信息的影响,提高识别效果。实验结果表明,相比传统汉字识别方法,多层卷积神经网络模型自动提取特征的方法在汉字识别中的效果有显著提高。相比普通卷积神经网络,改进方法在准确率和召回率上均有一定提高。

融合多层注意力机制与CNN-LSTM的反向散射信道预测

反向散射通信系统频谱资源十分有限且易受链路突变性影响,信道预测是提高其频谱资源利用率和通信质量的一种有效方法.但大多数现有预测方法的预测精度偏低、依赖完全已知的信道状态信息、适用性受限.为此,本文提出了一种融合多层注意力机制与卷积神经网络-长短期记忆网络(Convolutional Neural Networks-Long Short-Term Memory,CNN-LSTM)的信道预测方法.利用CNN模型与注意力机制提取接收信号强度序列的特征,并进一步使用LSTM模型与注意力机制提取其跨时间步长的特征,从而实现对信道指标的预测.最后,借助商用阅读器与标签采集3种不同场景下的信道状态数据,并基于Tensorflow与Keras验证了所提预测方法性能.结果表明,融合多层注意力机制与CNN-LSTM的信道预测方法具有较强的场景适用性,且其预测准确性较高.

基于层内和层间融合注意力的家族恶意域名检测

针对当前家族恶意域名检测方法在新出现或新变种恶意域名的检测方面仍存在精度低、漏报高等问题,提出一种基于层内和层间融合注意力的家族恶意域名检测的新方法。首先,利用深度自编码网络将域名集逐层编码压缩到空间特征中,并借助自注意力机制强化域名字符串中关键字符的表达能力;其次,利用交叉注意力建立双分支网络输入端的关联,促进分支间深层信息的交流;最后,计算待测域名映射特征与交互特征集之间的相似度对比。实验证明所设计方法的准确率为98.21%,该方法对保障网络安全、预防新型域名入侵攻击具有重要的现实意义。

一种适用于轴承故障诊断半监督学习分类的多层图卷积注意力融合网络

图卷积网络的平滑运行会导致其无法通过深度网络堆叠捕获深层信息,为了解决这个问题,提出了一种适用于滚动轴承故障诊断半监督学习分类的多层图卷积注意力融合网络(MGCAN)。首先,采用频域构图法将数据转换为图模型,捕获了数据的内在结构信息,将构建好的图数据输入网络,逐层提取特征信息,从浅层到深层逐步加深对数据特征的理解;然后,对每一层图卷积信息进行了有序拼接,同时引入了图注意力机制,使网络能够自动关注对分类任务比较重要的信息,从而提高了网络的性能和鲁棒性;最终,通过迭代学习,网络能够不断优化模型参数,对故障信息进行了准确识别;对不同工作条件下的滚动轴承进行了多次实验,并将该方法与传统的基于深度学习的方法进行了分析比较。研究结果表明:即使在标记数据只有10%的前提下,采用该网络依旧能够达到88%以上的识别准确度,并且适用于匀速和变速等不同的工况。上述结果证明,在选择适当方法保留多层图卷积中的有用信息后,深度图卷积网络可以成为诊断滚动轴承故障的一大利器。

基于注意力机制与LSTM-CCN的月降水量预测

针对现有月降水量预测方法预测准确性不高的问题,提出一种基于注意力机制与LSTM-CCN的月降水量预测方法。首先,利用长短时记忆神经网络(long short-term memory neural network,LSTM)提取气象数据在时间维度的特征分布,从时间相关性方面捕获相邻时间段或长距离气象数据段中的统计分布;其次,利用因果卷积神经网络(causal convolutional network,CCN)将气象数据映射到空间维度,深层次地从空间维度捕获气象数据在空间中的特征统计分布;再次,以并联的方式将时间和空间特征作为交叉注意力网络的输入,构造融合的时空特征;最后,以长短时记忆神经网络构造解码器,并将融合的时空特征作为解码器的输入,预测的月降水量作为输出。选取河南省新乡市2001~2017年数据集进行测试,结果表明:所提出方法的均方根误差仅为13.08 mm,相比主流方法具有更低的预测误差。研究成果可为提高气象预测的准确性和实用性提供参考。

基于边缘与注意力跨层转移的图像修复模型

针对现有基于深度学习的图像修复算法在处理大面积不规则缺损图像时出现局部结构不连通与模糊的问题,提出一种基于边缘和注意力跨层转移的二阶生成式图像修复模型。该模型由边缘修复网络和图像修补网络构成,边缘修复网络在自编码器的基础上结合扩张卷积对缺损图像的边缘二值图进行修复,并将边缘修复图作为先验条件与缺损图像一起输入到图像修补网络,在图像修补网络中,给出注意力跨层转移网络对各尺度编码特征由深到浅进行重构,并将重构特征图跳跃连接至解码层与对应潜在特征融合进行解码,提高各级解码层输出的上下文一致性,减少结构信息和语义特征丢失,最终得到修复图像。在Celeba、Facade、Places2这3个数据集上的实验结果表明,与当前主流算法相比,该方法平均L1损失降低了1.044%~3.801%,峰值信噪比和结构相似性分别提升了1.435~4.486 dB和1.789%~8.755%,不仅能够生成整体语义合理的内容,而且在局部结构连通性和纹理合成方面更符合人眼视觉感受。

基于贝叶斯规则的具有层次注意力的知识补全

知识图谱作为大数据时代的人工智能,被广泛应用于诸多领域,然而知识图谱普遍存在不完备性及稀疏性等问题。知识补全作为知识获取的子任务,旨在通过知识库中已知三元组来预测缺失的链接。然而现有方法普遍忽略了实体类型信息联合邻域信息对提高知识补全准确性的辅助作用,同时还存在特征信息被紧密编码到目标函数,导致集成操作高度依赖训练过程等问题。为此,提出了一种基于贝叶斯规则的具有层次注意力的知识补全方法。首先将实体类型和邻域信息视为层次结构,按关系进行分组,并独立计算组内各类信息的注意力权重。然后将实体类型和邻域信息编码为先验概率,将实例信息编码为似然概率,且按照贝叶斯规则将二者进行组合。实验结果表明,所提方法在FB15k数据集上的MRR(Mean Reciprocal Rank)指标比ConvE提高14.4%,比TKRL提高10.7%;在FB15k-237数据集上的MRR指标比TACT提高了2.1%。在FB15k,FB15k-237和YAGO26K-906数据集上,其Hits@1达到了77.5%,73.8%和95.1%,证明了引入具有层次结构的类型信息和邻域信息能够为实体嵌入更丰富、准确的描述信息,进而提升知识补全的精度。

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。

融合多层注意力机制与BiLSTM的知识图谱补全算法研究

【目的】针对目前大多数知识图谱补全算法无法兼顾局部与全局特征的问题,本文提出一种对实体间的关系路径进行层级划分,并利用双向长短期记忆网络和多层注意力机制进行特征提取的算法,以对知识图谱进行补全。【方法】首先,结合关系路径上的实体类型和关系得到关系路径序列的向量表示;然后,利用多层注意力机制和双向长短期记忆网络分层级提取序列关键信息;最终通过计算关系路径特征向量与候选关系向量间的相似度得出预测结果。【结果】在NELL-995和FB15k-237数据集上进行链路预测实验,结果表明,该算法与已有基于关系路径的知识图谱补全算法CNN-BiLSTM等相比,MAP值提高了1.8%,Hits@1指标提高了1.4%;在Kinship数据集上,其Hits@3值达到了0.988。【结论】本文通过实验证明了所提出的HAN-BiLSTM算法能有效提取关系路径的整体特征和局部特征,从而提高知识图谱补全效果。

基于注意力探索网络的MIMO高斯窃听信道预编码方法研究

针对多输入多输出高斯窃听信道,提出了一种基于注意力探索的深度网络预编码方法。首先,在基础DNN神经网络中引入跨层注意力机制,提高网络表达能力和并行性。之后,使用传统预编码算法预先生成的数据集对该网络进行预训练。最后,将噪声项添加到该网络模型的输出层,以探索具有更高保密率的协方差矩阵并重训练该网络。仿真结果表明,与当前的方法相比,提出的方法实现了更高的保密率,并有效控制运算时间成本。

基于多层注意力机制的4DC-BGRU脑电情感识别

为了提高脑电情感识别的准确率,提取更丰富的特征信息,提升网络模型稳定性,提出一种改进的基于多层注意力机制的脑电情感识别模型。在特征提取方面,将原始脑电信号转换成四维空间-频谱-时间结构,提取丰富的脑电信息。在网络模型方面,构建双路卷积神经网络学习空间及频率信息,有效提取多尺度特征,增加网络宽度来学习更丰富的特征信息;在卷积层及池化层后融入批量归一化层,防止过拟合。最后,构建多层注意力机制-双向门控循环单元模块处理时间特征并配合Softmax分类。采用双向门控循环单元学习更全面的上下级特征信息。利用多层注意力机制使四维特征中不同时间切片与整体时间切片之间产生关联。该文在DEAP数据集唤醒度和效价两个维度进行了评估实验,二分类平均准确率分别为96.38%和96.73%,四分类平均准确率为93.78%。实验结果显示,与单路卷积神经网络及其他文献算法相比,该文算法的平均准确率有所提高,表明该算法可以有效提升脑电情感识别性能。

基于多层注意力机制的口罩佩戴检测算法改进

针对已有的对于口罩的目标检测算法中存在的问题,如对小目标检测精度低,复杂场景下出现漏检等问题,提出了一种基于多层注意力机制的口罩佩戴检测算法YOLOX-l-sd。通过在骨干网络中添加Swin Transformer的特征层来提升目标检测算法的性能,加入多层注意力机制提高特征提取效果以及减少计算量,采用DIOU损失函数提升模型的精度,采用DW卷积以进一步减少计算量。实验结果表明,相比原YOLOX-l模型,改进后的模型在精度上提高了2.45%,达到了预期的效果。

基于多层注意力网络的可解释认知追踪方法

认知追踪是一种数据驱动的学习主体建模技术,旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来,在深度学习算法的加持下,深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性,决策过程或结果缺乏可解释性,难以提供学习归因分析、错因追溯等高价值教育服务等问题,提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息,建立一种包含题目元素、语义和记录等3层注意力的网络结构,利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特别是在损失函数中引入提升模型可解释性的正则化项与权衡因子,实现对模型预测性能与可解释强度的调控.同时,定义了预测结果可解释性度量指标——保真度,实现对认知追踪模型可解释性的量化评估.最后,在6个领域基准数据集上的实验结果表明:该方法有效提升了模型的可解释性.

融合RoBERTa和注意力机制的隐喻方面级情感分析

针对目前大多数隐喻情感分析方法存在对方面情感注意力引入不足的问题,提出一种用于隐喻方面级情感分类的模型.模型首先通过RoBERTa对具有方面情感信息的文本进行编码,将编码后的方面信息和多层情感注意力信息融合,形成多层方面注意力表征向量.将该表征向量与隐喻句的关联结果作为文本原始特征,利用注意力机制和方面信息对其解码,然后通过卷积网络计算隐喻句与方面词的关联度.将池化层输出结果和卷积计算结果合并,最后计算隐喻句不同方面词的情感极性的概率,完成隐喻情感分析.实验结果表明该模型对3种情感极性的平均判断准确率分别达到了83.26%,81.69%和56.68%,与基线实验相比均有所提升.

融合多层注意力的方面级情感分析模型

方面情感分析旨在分析给定文本中特定方面的情感极性。针对目前的研究方法存在对方面情感注意力引入不足问题,提出了一种融合BERT和多层注意力的方面级情感分类模型(BERTandMulti-LayerAttention,BMLA)。模型首先提取BERT内部多层方面情感注意力信息,将编码后的方面信息与BERT隐藏层表征向量融合设计了多层方面注意力,然后将多层方面注意力与编码输出文本进行级联,进而增强了句子与方面词之间的长依赖关系。在SemEval2014 Task4和AIChallenger 2018数据集上的实验表明,强化目标方面权重并在上下文进行交互对方面情感分类是有效的。

联合多层注意力网络矩阵分解的推荐算法

许多推荐算法如基于矩阵分解因无法充分挖掘用户对项目的偏好信息而无法取得令人满意的推荐效果。为了解决上述问题,该文设计了两个模块,首先,利用多层感知机技术学习输入的信息以获得较好的特征表示,在原始输入时通过点积操作得到关系信息,并将其命名为深度矩阵分解(DeepMF);其次,在多层感知机中加入多层注意力网络,这样能够得到用户对项目的偏好信息。此外,点积操作应用于输出前是为了获得特征表达的关系信息,这一模块名为深度注意力矩阵分解(DeepAMF)。通过结合两个模块的优势得到联合多层注意力网络矩阵分解算法(MAMF),在四个公开数据集上的实验证明了MAMF算法的有效性。

融合多层注意力机制与双向LSTM的语义关系抽取

关系抽取是构建如知识图谱等上层自然语言处理应用的基础。针对目前大多数关系抽取模型中忽略部分文本局部特征的问题,设计一种结合实体位置特征与多层注意力机制的双向LSTM网络结构。首先根据位置特征扩充字向量特征,并将文本信息向量化,然后将文本向量化信息输入双向LSTM模型,通过多层注意力机制,提高LSTM模型输入与输出之间的相关性,最后通过分类器输出关系获取结果。使用人工标注的百科类语料进行语义关系获取实验,结果表明,改进方法优于传统基于模式匹配的关系获取方法。

基于分层聚合与高度语义信息感知的多任务网络

针对现有多任务网络对各项任务关系以及城市场景图像内在特征的分析稍显不足的问题,提出基于分层聚合与高度语义感知的多任务网络。首先,为增强特征提取网络的能力,使用分层聚合模块学习多层特征间的相互依赖性,经过共享与独立设计,实现浅层特征与深层特征的融合,为不同下游任务馈送所需特征;其次道路场景图像中具有一定的高度差异性,水平分割相互之间的像素级分布有着显著不同,使用高度感知模块引入该先验信息,该结构简单高效。结果表明,所提方法在BDD100K的各项性能均优于同类方法,同时将车道线数据集TuSimple和CULane重新标注扩展为多任务进行测试,取得比现有方法更好的精度,验证方法的有效性。

基于多层注意力机制的回指消解算法

在信息抽取过程中,无法被判别的回指易造成信息抽取不完整的情况,这种指代关系可通过分析当前语境下的指代部分、被指代部分、周围的信息及原文内容生成的唯一判别信息进行判断。为此,构建一个多层注意力机制模型,在不同层次上对上述信息进行基于注意力机制的概率计算,利用最终结果判别回指关系是否成立。在指代部分与被指代部分向量化后,通过2个注意力层上的4次概率计算,使每一个训练结果在判别之前都具有唯一性。在OntoNotes 5.0数据集上的实验结果表明,该模型F值在显性指代和零指代均存在的条件下为70.1%,在存在零指代的条件下为60.7%,高于尹庆宇等人提出的模型。

多重注意力特征融合网络对中文评价情感分析

针对目前中文评价情感分析对深层情感语义信息关注较少的问题,提出一种多重注意力的特征融合神经网络模型简称MTA-CBG(Multi-Attention Convolution-BiGRU).传统词向量不能有效解决一词多义的情况,本文构建了自注意力(Self-Attention)词向量矩阵模型,获取词语间的关联特征.通过多尺度宽卷积结构(Multi-scale Wide Convolution,MWC)全面地提取局部特征.将两种不同粒度的特征融合后输入双向门限循环单元(Bidirectional Gated Reccurrent Unit,BiGRU)学习序列化特征,在解决长距离依赖问题的同时获取更广泛的文本特征.最后输入改进的高速注意力层(Attention-Highway)构建句子级的关联,提取深层情感语义特征.通过多组对比实验证明本文所提方法能有效提高中文评价情感分析的准确率和F1值.