基于门控复归单位(GRU)和多头注意机制的语音情感识别模型

本研究提出了一种基于门控复归单位(GRU)和多头注意机制的语音情感识别模型。随着人工智能和情感计算的进步,该模型旨在分析语音信号中的情感信息,以识别说话者的情感状态,包括喜怒哀乐等各种情感表达。这一技术在情感智能、智能客服和人机交互等领域有着广阔的应用前景。本研究结合了GRU的时序信息处理能力和多头注意机制对重要特征的关注度提升,构建了一个有效且精确的语音情感识别模型。实验结果表明,此模型在IEMOCAP和Emo-DB数据集上分别实现了81.04%和94.93%的未加权准确率,相较于已有模型有显著提升。此外,该模型还展现出良好的泛化性能和可扩展性,为智能语音交互、情感计算等领域提供了可靠的技术支持。

基于Vision Transformer和多头注意机制的频率稳定性预测方法

电力系统频率稳定性预测(frequency stability prediction, FSP)对于快速准确地制定故障后控制措施具有重要意义。然而,传统的数据驱动方法未能有效地将系统的时空特征纳入模型训练中,并且存在系统信息利用不足、抗噪能力差和面对新拓扑的泛化能力差等问题。针对上述问题,本文提出了一种基于多头注意机制和视觉变压器(Vision Transformer, ViT)的FSP预测方法。首先,所提出的预测方法利用位置编码层来捕捉系统的拓扑结构,以获得空间信息。其次,通过使用多通道输入层来捕获系统时间序列数据以获得时序信息。然后,采用基于多头注意力机制层来增强ViT模型的泛化能力和鲁棒性。在修改的新英格兰39总线系统上进行了测试。实验结果表明,与传统深度学习方法相比,本文所提ViT模型误差值在一般情况下降低了65.71%;在30 dB、20 dB和10 dB噪声环境下降低了61.55%、56.61%和47.14%;在拓扑改变环境下降低了49.09%,这证明了所提模型具有更高的预测精度、更好的鲁棒性和泛化能力。

基于多头注意力机制字词联合的中文命名实体识别

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07.

基于增强多头注意力机制的Optuna-BiGRU测井岩性识别

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。

多头注意力机制的图同构网络智能合约源码漏洞检测

针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重入漏洞和时间戳漏洞特点构建图结构并将其规范化;将规范化后的图结构数据投入图同构网络进行迭代训练,利用该网络强大的节点表示和图表示能力进行漏洞检测;在图同构网络的基础上增加多头注意力机制,进一步增强图同构网络的节点表示能力。实验结果显示该方法对重入漏洞和时间戳漏洞检测准确率达到93.08%和92.30%,相较于普通图同构网络方法分别提升1.44和2.00个百分点。证明该方法对相关漏洞的检测能力要优于其他检测工具。

多头自注意力机制的Faster R-CNN目标检测算法

文中提出一种融合多头注意力机制、ROIAlign和Soft-NMS的FasterR-CNN目标检测算法,旨在解决原始Faster R-CNN目标检测网络中存在的检测精度低、漏检、误检的问题。首先,为了提高Faster R-CNN的感知能力,提取特征图中的重要特征并降低对无关特征的提取,在网络中嵌入注意力机制;接着,针对共享全连接层的降维操作导致的一些区域的细节信息被忽略,造成局部信息的丢失,采用一维卷积代替共享全连接层实现权重计算的任务,以捕捉更广泛的空间信息;然后为了提供更丰富的特征表达能力,在注意力机制中引入多头机制分别对特征的不同部分进行重要性的加权;为了减少在特征提取时原图信息的丢失,使用ROI Align替换ROI Pooling算法;最后,在算法后处理中引入Soft-NMS替换传统非极大抑制(NMS)算法以减少漏检和误检情况。实验证明,改进后的Faster R-CNN目标检测网络对感兴趣目标的定位能力得到提高,漏检和误检情况减少,平均检测精度得到显著提升。

改进多头注意力机制的车道检测方法

针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。

CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法

新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换,得到图像模态数据;然后,将图像模态数据输入卷积神经网络进行特征提取;最后,利用多头注意力机制着重关注卷积神经网络提取特征的重要部分并进行扰动分类。与常规的图像模态转换方法相比,该方法具有更好的扰动分类效果与抗噪声能力。

基于LSTM和多头注意力机制的企业违约预测模型

违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每个时间窗口对违约预测状态的影响程度。用LSTM网络建立违约预测模型,用连续多年的企业数据预测违约概率,改变了违约预测建模时只用一个时间窗口预测违约概率的现状,并首次将多头注意力机制应用于违约预测模型,探索每个时间窗口对违约预测值的影响程度,避免了现有模型只做预测不揭示时间窗口对违约预测影响程度的弊端。研究表明:一是在违约预测建模时考虑企业数据的时序性更合理且会提升模型预测精度;二是违约预测的最佳时间窗口个数可以是5到10之间的数,总体上时间窗口越多违约预测精度越高;三是本文搭建的违约预测模型框架有效减少了违约预测结果的第2类错误,降低了坏客户被预测为好客户的风险。

基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

基于卷积变分自编码和多头自注意力机制的断路器剩余机械寿命预测

针对万能式断路器退化过程的不确定性,考虑到振动信号对机械性能退化的完善表征,提出了一种基于卷积变分自编码(CVAE)和多头自注意力机制(MSA)的断路器分闸机械机构寿命预测方法。首先依据断路器不同的事件区间提取参数特征,再通过CVAE挖掘信号成分中的深度特征,将参数特征与深度特征融合得到完备退化特征,最后建立GRU-MSA的定量寿命预测模型,引入了多头自注意力机制,在多个不同表征子空间中捕捉信号的不同依赖关系,对重要的时间步赋予更大的权重。最后利用3台试品的振动信号测量数据对所提断路器分闸机械机构寿命预测方法进行测试,结果表明,所提出的方法在3个数据集中寿命预测均方根误差(RMSE)分别为141.46、128.75和134.16,平均绝对误差(MAE)分别为112.17、101.52和106.22,预测精度高且稳定性好,相对于其他混合预测模型更具优势。

基于图像分块和多头注意力机制的气象识别研究

基于图像对天气现象进行识别,对天气状况的分析至关重要。针对传统的机器学习方法对各类天气特征难以准确提取且天气现象分类效果差,以及深度学习对天气现象识别的准确率不高的问题,提出了基于图像分块和多头注意力机制的天气识别模型。该模型首次将Swin Transformer引入天气识别领域中,采用了窗口多头自注意层与移位窗口多头自注意层相结合的多头注意力机制。结果表明,其区域相关特征提取能力弥补传统方法的不足,能够提取图像中复杂的天气特征。采用迁移学习对模型进行训练,将微调模型的全连接参数输入到Softmax分类器,实现了对多类别天气图像的识别,识别准确率为99.20%,优于对比的几种主流方法。因此,该方法可以作为天气识别模块应用于地面气象识别系统。

声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法

为提升电力变压器工作状态的智能监测水平,提出声纹信号-图形差分场增强和多头自注意力机制的变压器工作状态辨识方法。基于图形差分场技术将声纹信号映射为二维图像,再借助多头注意力机制的视觉转换器实现图像信息的深层挖掘与状态辨识,采用梯度加权类激活映射实现分类结果的可解释性分析。搭建了包含变压器4种典型工作状态下的实验模拟测试系统平台,实验结果表明:所提方法不仅能够有效表征变压器声纹信号的状态特征,且分类辨识精度相较于“时频图+引入多头注意力机制的变换网络”与“图形差分场+引入残差模块的卷积神经网络”的常规方法有显著提升,提升约6%,同时也具备较好的鲁棒性,可为电气设备的故障检测研究提供一定参考。

基于多头注意力机制的多模态帕金森病安全检测系统

在实际的帕金森病远程诊断过程中,应用单模态数据检测帕金森病存在误诊率较高的问题,且远程诊断的安全性问题突出;为提高帕金森病远程诊断准确率与安全性,设计一种具有隐私保护功能的帕金森病多模态安全远程辅助检测系统;使用帕金森病语音和步态双模态数据,在传统卷积神经网络后融合多头注意力机制与多层感知机,有效提高模型的特征提取、融合与识别能力;为了保证数据传输过程的安全性,使用基于余弦混沌的差分隐私加噪方式扰动随机拆分的数据编号,提高帕金森病数据传输安全性;通过两模态消融实验和对比实验结果表明,提出的基于多头注意力机制的帕金森病多模态远程检测模型实际测试准确率达到0.913,且模型的各项评估指标和收敛速度等均高于传统模型,具备良好的帕金森病智能辅助检测效果,能够满足帕金森病早期智能安全筛查与诊断需求。

基于多尺度特征融合和多头自注意力机制的非侵入式负荷监测

针对目前负荷分解模型的深层负荷特征提取不充分,分解精度低以及训练成本高等问题,提出了一种多尺度特征融合模型。模型由负荷分解子网络及负荷识别子网络两部分构成,两个子网络均利用一维卷积和批量归一化等组成的卷积块进行负荷特征初提取,然后采用金字塔池化模块从多个维度精确提取深层负荷特征信息,并与特征初提取部分进行融合。金字塔池化模块使网络参数大大减少且降低了训练成本。同时与以往模型中的注意力机制不同的是,网络引入多头自注意力机制,每个注意力关注负荷特征的不同部分,从多个角度实现对重要负荷特征的筛选,进一步提高分解性能。最后,在UK-DALE和REDD数据集上进行实验,结果表明所提模型与4个基准模型相比,无论是负荷分解性能还是电器运行状态识别能力都有明显提升。

一种融合多头自注意力机制的粉笔字书写规范性评价方法

在粉笔字书写规范性评价系统中,采用数据到文本生成技术对粉笔字进行评价。基线模型使用双向门控循环单元(BiGRU)对输入序列建模,并在分组规划阶段利用GRU为每个句子生成要覆盖的输入项子集。对于直接拼接BiGRU状态信息可能无法充分捕捉键值对之间的复杂关系的问题,在数据分组规划前引入了多头自注意力机制来更精细地捕捉键值关系。在手写汉字数据集上的实验结果表明,该方法在BLEU-4、ROUGE和METEOR指标上分别达到0.68、0.75与0.67,为粉笔字书写规范性的自动评价提供了实际应用价值。

基于注意力机制和特征融合的股票预测方法

基于人工智能在金融数据中的应用,提出了一种新的股票预测方法,称为AFG。AFG使用位置编码和时间编码获取股票数据的位置信息和时间信息,然后通过门控循环单元和多头自注意力机制对股票数据分别进行特征提取。在将两类股票特征融合之后,由全连接层导出最终的股票预测曲线。

基于多头注意力机制的飞机发动机寿命预测研究

针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个1DCNN-TCN模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。

多头注意机制的多粒度文本-图像对齐

基于文本的人物图像搜索任务存在文本和图像细粒度特征提取以及消除文本-图像模态间差距等方面的挑战.本文针对全局特征不足以表示全面的文本和图像模态特征的问题,提出了多头注意机制的多粒度文本-图像对齐方法,该方法引入多头注意力机制,在考虑全局匹配的基础之上,同时考虑局部图像特征和局部文本特征之间的匹配,并对局部图像特征和局部文本特征应用多头注意力机制,来获取文本和图像模态内的关系信息,提出模态间关系模块来获取两个模态之间的关系信息,使提取到的局部图像特征和局部文本特征自适应地对齐,从而提升基于文本的人物图像搜索任务的整体效果.在公共数据集CUHK-PEDES上进行了实验验证,模型的总体性能较baseline提高了3.0%,由此表明本文提出的模型在基于文本的人物图像搜索任务中的有效性.