基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

基于多头注意力时空图神经网络的交通流预测

准确的交通预测对于智能交通系统(ITS)至关重要。然而,由于复杂的时间和空间依赖关系,现有的交通流预测方法未能有效捕获路网的时空特征,并且忽略了路网交通数据的相关性在空间维度和时间维度上表现出的较强动态性。为了进一步提高预测精度,提出了一种基于多头注意力的时空图神经网络模型。首先,该模型构造了一个自适应图结构学习组件,该自适应图结构学习组件可以有效地捕获图结构的动态时空相关性。其次,该模型基于注意力机制分别设计了时间多头注意力模块和空间多头注意力模块,所设计的时空多头注意力模块可以有效地对路网的时空特征进行提取。最后,利用堆叠的时空卷积层对未来的交通状况进行预测。在开源数据集上的实验结果表明:该模型在时空特征提取以及长期预测方面表现优异,并且比基线方法取得了更精确的预测结果。

基于密集连接时延神经网络的说话人识别算法

说话人识别技术是一项重要的生物特征识别技术。近年来,使用时延神经网络提取发声特征的说话人识别算法取得了突出成果。为进一步增强时延神经网络对说话人特征的提取能力,在不过多消耗计算资源的前提下提升识别准确率,通过对现有的说话人识别算法进行研究,提出一种带有注意力机制的密集连接时延神经网络用于说话人识别。密集连接的网络结构在增强不同网络层之间的信息复用的同时能有效控制模型体积。通道注意力机制和帧注意力机制帮助网络聚焦于更关键的细节特征,使得通过统计池化提取出的说话人特征更具有代表性。实验结果表明,在VoxCeleb1测试数据集上取得了1.40%的等错误率和0.15的最小检测代价标准,证明了在说话人识别任务上的有效性。

面向会话的需求感知注意图神经网络推荐模型

针对现有基于图的会话推荐方法忽略了反馈数据中由于用户行为不确定性引起的噪声影响,存在无法准确和有效地捕捉用户偏好的问题,提出一种面向会话的需求感知注意图神经网络推荐模型(DAAGNNSR)。将具有时序性的会话数据构建为图,通过引入图神经网络学习图上节点嵌入表示;将提取的项目特征使用需求感知聚合器线性聚合为用户潜在需求矩阵,以自动削弱噪声干扰,同时用低秩多头注意力网络将该矩阵与全部项目特征进行逐项兴趣交互生成需求增强的项目表征;联合独立位置编码进一步分析项目间顺序关联,并且将生成的独立位置嵌入与项目表征进行线性融合;经过预测层生成推荐列表。将所提模型在Diginetica、Tmall和Nowplaying三个公共数据集上进行训练和测试,实验结果表明,该模型的推荐精度在各指标上均优于其他基线模型,与基于图上下文自注意力机制模型(GCSAN)相比,Diginetica上NDCG@10提高了5.6%,Tmall上Recall@10提高了6.4%;与基于图神经网络的SRGNN相比,Tmall上Precision@10提高了5.0%,推荐性能显著提升。

融合孪生神经网络与互注意力的建筑物变化检测

针对在双时相影像中提取建筑物变化区域时易出现漏检错检现象等问题,提出了一种基于孪生神经网络和多头注意力机制的遥感影像建筑物变化检测模型。该模型采用改进的轻量级网络MobileNetv2作为特征提取网络,设计了一种编解码结构的互注意力网络用于双时相遥感影像特征的交互融合,引入多头注意力机制实现了全局信息的上下文建模,对高级语义特征进行细化分析,充分利用了遥感影像的多尺度信息。该方法在LEVIR-CD和WHU数据集上的变化检测结果均优于其他主流分割网络,能够有效改善大型建筑物的内部空洞和漏检错检现象。

脑电情感识别中多上下文向量优化的卷积递归神经网络

目前的脑电(EEG)情感识别模型忽略了不同时段情感状态的差异性,未能强化关键的情感信息。针对上述问题,提出一种多上下文向量优化的卷积递归神经网络(CR-MCV)。首先构造脑电信号的特征矩阵序列,通过卷积神经网络(CNN)学习多通道脑电的空间特征;然后利用基于多头注意力的递归神经网络生成多上下文向量进行高层抽象特征提取;最后利用全连接层进行情感分类。在DEAP(Database for Emotion Analysis using Physiological signals)数据集上进行实验,CR-MCV在唤醒和效价维度上分类准确率分别为88.09%和89.30%。实验结果表明,CR-MCV在利用电极空间位置信息和不同时段情感状态显著性特征基础上,能够自适应地分配特征的注意力并强化情感状态显著性信息。

基于图神经网络的人工自然语言语义挖掘仿真

语义挖掘工具可从批量非结构化人工自然语言文本数据中准确提取有用信息,但是由于网络环境文本具备半结构化、多尺度、海量、复杂关联等属性,导致文本数据通常维度较高,且仅有小部分节点存在明确标签,因此语义挖掘难度较大。提出基于图神经网络的人工自然语言语义挖掘方法。结合多头注意力机制和半监督图卷积神经网络对人工自然语言文本降维处理。联合改进的模糊C均值聚类算法和免疫单亲遗传算法,构建人工自然语言语义挖掘算法。实验结果表明,研究方法的聚类纯度、准确率和召回率均高于95%,说明上述方法的应用性能较优。

基于改进多尺度卷积循环神经网络的滚动轴承故障研究

针对传统卷积神经网络故障诊断方法提取特征不丰富,容易丢失故障敏感信息,且在单一尺度处理方法限制实际复杂工况下故障特性的深度挖掘问题,提出了注意力机制的多尺度卷积神经网络和双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络融合的迁移学习故障诊断方法。该方法首先应用不同尺寸池化层和卷积核捕获振动信号的多尺度特征;然后引入多头自注意力机制自动地给予特征序列中的不同部分不同的权重,进一步加强特征表示的能力;其次利用BiLSTM结构引入双向性质提取特征前后之间的内部关系实现信息的逐层传递;最后利用多核最大均值差异减小源域和目标域在预训练模型中各层上的概率分布差异并利用少量标记的目标域数据再对模型进行训练。试验结果表明,所提方法在江南大学(JNU)、德国帕德博恩大学(PU)公开轴承数据集上平均准确率分别为98.43%和97.66%,该方法在重庆长江轴承股份有限公司自制的轴承故障数据集上也表现出了极高的准确率和较快的收敛速度,为有效诊断振动旋转部件故障提供了实际依据。

基于循环神经网络的工程专业语义智能分析方法研究

针对传统翻译方法学习能力差、翻译质量较低的问题,提出了一种基于循环神经网络的专业英语机器翻译方法。该方法以编码器-解码器为模型框架,利用改进的循环卷积神经网络对输入数据加以训练。同时编码器使用多头注意力机制对输入数据进行共同训练,进而使算法兼具局部与全局特性。解码器单层则采用三子层结构,分别为多头注意力子层、上下文信息子层及全连接子层,可保证句子翻译的流畅性。在实验测试中,所提算法的BLEU值与其他算法相比提升了2.7;而在专业语料翻译测试中,相较于网络翻译,该算法的准确性和流畅度均更优,由此表明其性能较好,具有一定的工程应用价值。

基于邻域抽样多图神经网络的社会化推荐算法

基于图神经网络的社会化推荐算法可以从图网络中获取深层数据信息,提升推荐性能。但随着图网络复杂度提升,特别是对于多图神经网络,节点特征获取质量直接影响最终的推荐质量。为了提升多图网络中的节点特征获取质量,结合邻域抽样思想,提出一种邻域抽样多图神经网络社会化推荐模型MGNN-NS。基于用户-项目评分图和用户社交关系图,从用户和商品项目角度对图中节点的邻域节点进行抽样,并应用多头注意力机制对抽样节点进行信息聚合,获取用户和商品项目特征,计算预测评分,得到推荐结果。在真实数据集Epinions和Ciao上进行实验,结果表明MGNN-NS模型相较于基准算法有更好的推荐效果。

时域声波障碍反散射问题的神经网络方法

研究了一种求解时域声波移动障碍物反散射问题的神经网络方法。该方法由一维卷积模块和多头自注意力机制模块构成,其中一维卷积模块的特征提取能力有效捕捉散射数据的局部特征;多头自注意力机制模块的全局信息捕捉能力综合分析散射数据的全局特征,采用误差的反向传播进行训练,反演障碍物的运动轨迹。实验结果表明,该方法能有效反演移动障碍物的运动轨迹。

面向会话推荐的注意力图神经网络

面向会话的推荐方式起源于无法获得用户历史数据的应用场景,它是通过匿名会话来预测用户的行为.现有面向会话的推荐方法,虽然可以准确获得项目嵌入和考虑项目的复杂转换,但不能从多维度提取会话序列中隐藏的用户的长期兴趣和短期偏好,造成推荐性能低.该文引入注意力机制,提出一种多头注意力机制和软注意力机制有机结合的新机制,并据此提出面向会话推荐的注意力图神经网络.该注意力机制通过给不同的输入数据赋予不同权重,实现对当前推荐任务更为关键的信息的聚焦,以此从不同角度提取用户的兴趣和偏好.该模型在电商数据集上进行实验,与已有的基准模型相比,该文所提模型在各项评论指标上均有显著提升.在Dgeca数据集上,P@20可达61.77%,充分表明了所提方法的有效性.

基于GRU的密集连接时空图注意力网络的城市交通预测

城市道路拓扑结构的复杂性、交通流量的实时变化以及多元的外部环境等因素给交通预测带来了极大的困难。现有方法对交通路网的时空特征挖掘性不足,缺乏对外部因素的考虑,为此本文提出了一种基于门控循环单元(GRU)的时空图注意力密集连接网络,通过门控循环单元来捕获路网数据的动态规律,并以图注意力密集连接网络来提取路网复杂的空间结构特征,建立城市交通网络对时空的依赖关系。针对外部客观因素,采用独热编码的方式对城市各路段发生的交通事件进行数据建模,增强交通网络的信息属性。以杭州申花路及周围共309个路段为例,对所提出模型的预测能力和可行性进行验证。实验结果表明,模型预测精度最高达到了81.64%,与传统数学模型和主流的神经网络模型对比,预测精度较ARIMA提高了35.42%,较图注意力网络(GAT)和GRU神经网络分别提高了17.45%和3.02%。实验证明该方法可以适应复杂的交通流进行长期的交通预测任务,同时也能增强交通管理能力,减少交通拥堵成本。

基于多头自注意力机制和卷积神经网络的结构损伤识别研究

为了提高卷积神经网络(convolutional neural networks,CNN)的结构损伤识别性能,提出了一种以结构振动加速度信号为输入的基于多头自注意力的CNN模型。模型首先利用一维CNN学习加速度信号中的局部特征,然后利用多头自注意力机制关注输入数据中不同位置和不同表征子空间中的重要信息、学习信号中的全局特征,最后利用学习到的特征进行结构损伤模式识别。悬臂梁数值试验和振动台试验的结果显示出:相比于CNN模型、CNN-长短期记忆网络(long short-term memory,LSTM)联合模型和CNN-双向LSTM(bidirectional LSTM,BiLSTM)联合模型,基于多头自注意力的CNN模型复杂度低、易于训练,且具有更高的损伤识别精度和更强的抗噪性以及对于损伤特征相近的损伤模式具有更好的辨识能力。

结合注意力机制和图神经网络的CTR预估模型

大多数CTR预测的算法都是将特征嵌入初始化为一个固定的维度,忽略了长尾物品特征的流行度不高。把它和头部物品的嵌入向量设置为相同长度会导致模型训练不平衡,影响最后的预测结果。基于此,本文首先使用一个端到端的可微框架,该框架可以根据特征的流行度自动选择不同的嵌入维度。其次,引入挤压激励网络机制和具有残差连接的多头自注意力机制,分别从不同角度动态地学习特征的重要性以及识别重要的特征组合,然后使用图神经网络代替传统内积和哈达玛积显式建模二阶特征交互。最后为了进一步提高性能,将DNN组件与浅层模型相结合形成深度模型,利用贝叶斯优化算法为深度模型选择一组超参数,避免复杂的调参过程,并且在2个基准数据集上实验,结果验证模型的有效性。

基于图神经网络的多维度池化图分类

目前很多处理图数据的图神经网络方法被提出,然而大多数研究侧重于对特征聚合的卷积层的研究而不是进行下采样的池化层.此外,形成聚类簇的池化方式需要额外计算分配矩阵;节点得分的池化方式排名方式单一.为解决上述问题,提高图分类任务的准确性,本文提出了一种新的基于多维度信息的图池化算子MDPool.该模型使用节点特征信息以及图拓扑结构信息,获取不同维度下的节点得分.使用注意力机制归纳不同维度下的得分权重,生成更为健壮的节点排名,基于节点排名自适应选择节点集合生成诱导子图.提出的MDPool可以集成到多种的图神经网络结构,将MDPool池化算子与图神经网络卷积层堆叠形成编码解码模型EDMDPool.在4个公开数据集的图分类任务中, EDMDPool均高于现有基线模型.

结合密集残差块和注意力的真实图像去噪网络

为有效去除真实图像噪声并保留图像边缘信息,提出一种结合密集网络思想和并行极化自注意力机制的真实去噪算法。使用3条并行结构处理不同尺度的特征信息,其中每条分支由两个密集注意力块串联而成,形成残差结构。使用选择性核融合机制,获取不同深度下的特征信息,将其融合并使用注意力机制去除冗余信息,获取干净图像。实验结果表明,该算法在SIDD、DND、PolyU测试集上的峰值信噪比分别为39.32 dB、39.52 dB和37.36 dB,结构相似性分别为0.908、0.951和0.952,在SIDD和PolyU测试集上的图像通用质量指标值为0.992和0.982,在去噪任务上可以达到较好的性能,提高了图像视觉的质量。

基于多头注意力循环卷积神经网络的电力设备缺陷文本分类方法

充分利用历史电力设备缺陷描述文本可对新出现的设备故障进行快速分类,提升运维人员的检修效率,为此针对缺陷描述文本具有复杂语义等特点,提出基于多头注意力循环卷积神经网络(multi-head attention recurrent convolutional neural networks,MAT-RCNN)的电力设备缺陷分类方法。首先对电力设备缺陷描述文本进行研究,并分析部分文本分类模型的局限;然后采用分布式表示方法将词语表示为向量形式,并将多头注意力机制与优化的RCNN结合,构建基于MAT-RCNN的电力设备缺陷描述文本分类模型;最后,通过算例比较分析,证明所提方法在语义学习能力、分类效果等方面优于RNN等常规方法。

基于改进的一维级联神经网络的异常流量检测

提出一种基于改进的一维级联神经网络的异常流量检测模型(Abnormal Traffic Detection Model of Improved One-Dimensional Cascaded Neural Network, ATD-ICNN),与一般的卷积神经网络“卷积-池化-全连接”不同的是,为了充分利用不同网络层输出的特征维度信息,提出一种新的密集特征聚合模块(Dense Feature Aggregation, DFA),为了更大限度地发挥DFA模块的作用,进一步提出增强特征注意力模块(Enhanced Feature Attention, EFA),最后处理得到的维度特征输入Softmax分类器用于最终流量数据分类。实验结果证明所提出的方法与随机森林(RF)方法相比,实现了较高的分类精度,精确率和召回率都提高了4百分点;与Adaboost方法相比,召回率提高了3百分点,表明该方法具有较高的流量异常检测性能。

基于图神经网络和注意力机制的会话推荐

为解决基于循环神经网络会话推荐方法全局偏好表示不准确,以及欠考虑目标项目与所有项目相关性的问题,提出一种基于图神经网络和注意力机制的会话推荐方法。利用图神经网络捕捉会话项目间的依赖关系,得到项目嵌入;通过多头注意力生成全局嵌入准确表示全局偏好,根据目标注意力生成目标嵌入激活目标项目相关性;融合当前嵌入,得到会话嵌入,预测下一次点击。在公共数据集上进行对比实验,实验结果表明,相较最优基准模型,P@20最高达到了71.74%,提高超过0.3个百分点,MRR@20最高达到了35.20%,提高超过3个百分点,验证了该方法的有效性。