基于多头注意力机制字词联合的中文命名实体识别

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F 1值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F 1值分别提升0.28、0.69,在Resume数据集上精确率提升0.07.

基于增强多头注意力机制的Optuna-BiGRU测井岩性识别

测井岩性识别是油气勘探开发中至关重要的内容。针对现有算法模型在处理测井曲线数据时,无法有效捕获曲线内部深层关联和深度方向关系、拟合能力较弱、难以准确提取关键特征、噪声干扰以及模型超参数调优过程复杂困难等问题,提出了一种通过Optuna超参数优化双向门循环单元(Optuna-BiGRU)结合增强多头注意力机制(EMHA)的测井岩性识别模型——Optuna-BiGRU-EMHA模型。该模型引入残差机制和层归一化以改进多头注意力机制模块,并结合双向门循环单元(BiGRU)解决了处理测井数据时的问题,同时使用Optuna超参数优化框架和小波包自适应阈值方法分别解决了超参数调优和噪声干扰问题。首先通过交会图分析和敏感性箱线图分析选取自然伽马、深感应电阻率、中子-密度孔隙度、平均中子-密度孔隙度和岩性密度5个特征参数的测井数据,通过小波包自适应阈值方法对数据进行去噪,并将测井数据分割成数据块,然后利用Optuna框架优化BiGRU-EMHA模型超参数,最后通过实验对比K-近邻算法(KNN)、随机森林(RF)、极端梯度提升算法(XGBoost)、长短期记忆(LSTM)神经网络、BiGRU、双向长短期记忆(BiLSTM)神经网络、BiGRU-MHA、Optuna-BiGRU-EMHA等8种模型在测井岩性识别中的精度。结果表明:Optuna-BiGRU-EMHA模型识别准确率达到80%,相对于传统机器学习模型和深度学习模型,综合岩性识别准确率分别提高15.94%~23.14%和3.93%~15.94%,该模型为常规测井岩性识别提供了坚实的理论支持。

基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法

新型电力系统中的电能质量扰动愈加复杂,为提升电能质量复杂扰动分类准确率并增强算法的噪声鲁棒性,提出了一种基于马尔可夫转换场与多头注意力机制的电能质量扰动分类方法。首先,利用马尔可夫转换场对电能质量扰动时序数据进行模态变换,得到图像模态数据;然后,将图像模态数据输入卷积神经网络进行特征提取;最后,利用多头注意力机制着重关注卷积神经网络提取特征的重要部分并进行扰动分类。与常规的图像模态转换方法相比,该方法具有更好的扰动分类效果与抗噪声能力。

融合坐标与多头注意力机制的交互语音情感识别

语音情感识别(SER)是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题,提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征,并生成多尺度特征表示,增强模型对情感相关信息的表征能力;后者融合前向网络所获取的特征,组成共享特征,并经双向长短时记忆(BiLSTM)网络输入至多头注意力模块,能同时关注不同特征子空间中的相关信息,增强特征之间的交互性,以捕获判别性强的特征。通过2个子网络间的协同作用,能增加模型特征的多样性,增强特征之间的交互能力。在训练过程中,应用双损失函数共同监督,使同类样本更紧凑、不同类样本更分离。实验结果表明,MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43%和76.33%的加权平均精度,相较于其他主流模型,具有更好的分类性能。

多头注意力机制的图同构网络智能合约源码漏洞检测

针对智能合约源码转化为字节码后部分语法、语义丢失,且现有漏洞检测方法精度低、误报率高,特别是对重入漏洞和时间戳漏洞的检测能力有限等问题,提出一种多头注意力机制的图同构网络智能合约源码漏洞检测方法。使用智能合约源码,结合重入漏洞和时间戳漏洞特点构建图结构并将其规范化;将规范化后的图结构数据投入图同构网络进行迭代训练,利用该网络强大的节点表示和图表示能力进行漏洞检测;在图同构网络的基础上增加多头注意力机制,进一步增强图同构网络的节点表示能力。实验结果显示该方法对重入漏洞和时间戳漏洞检测准确率达到93.08%和92.30%,相较于普通图同构网络方法分别提升1.44和2.00个百分点。证明该方法对相关漏洞的检测能力要优于其他检测工具。

改进多头注意力机制的车道检测方法

针对基于卷积神经网络(convolution neural network,CNN)的车道线检测方法存在的网络处理效率低和对车道线细长结构的建模能力不佳的问题,提出一种基于改进多头注意力机制(multi-head self-attention,MHSA)的轻量级车道检测方法。引入MHSA,融合Fuse MBConv、MBConv模块与特征压缩模块,降低模型的参数,同时利用上下文信息嵌入模块,建立兼顾检测精度和推理速度的全局注意力网络;利用Transformer的编码和解码器以及前向反馈网络将车道线参数化,结合匈牙利拟合损失函数提高所提出方法对车道线细长结构的建模能力。在TuSimple数据集对所提出的方法进行验证,结果表明,所提出的方法识别精度达到96.3%,推理速度达到95帧/s,同时在Apollo无人驾驶平台上的运行速度达到60帧/s,能够满足实时检测的要求。

CINO双通道结合多头注意力机制藏文情感分类方法

为了解决藏文情感分类任务中现有的模型对文本语义信息理解和深层文本特征提取能力不足的问题,该文使用CINO(Chinese Minority PLM)预训练模型来获取动态词向量,通过TextCNN和BiGRU融合的双通道情感分类模型,分别实现获取文本局部特征和深层全局特征,并引入多头自注意力机制引导模型学习更重要的信息。实验结果表明,该文提出的双通道模型准确率高达92.84%,相较于该文的其他对比模型效果更佳。

基于TextCNN与多头注意力机制增强xDeepFM的互联网营销活动参与预测研究

在当前的互联网营销环境中,多数模型尚未深入分析用户特征及用户行为的复杂性。对此,文章提出一种基于文本卷积神经网络(TextCNN)与多头注意力机制增强的xDeepFM(eXtreme Deep Factorization Machine)模型,即xDTCMAFM。首先,利用TextCNN高效地从文本数据中提取关键特征;其次,通过多头注意力机制进行不同子空间的特征提取;最后,使用xDeepFM模型实现深度显隐特征的交叉融合。实验表明,在两个互联网营销活动数据集上,该模型的AUC值分别达到了69.09%和72.98%,表现出了较好的性能,与xDeepFM等流行模型及融合注意力机制的改进模型相比均有一定提升。

基于LSTM和多头注意力机制的企业违约预测模型

违约预测是指用企业过去时刻的数据和违约状态预测企业未来的违约概率。违约预测对股票投资、债券投资和银行贷款等具有极为重要的意义。本研究涉及两个科学问题:一是如何使用连续多年的企业数据预测企业违约概率;二是研究输入模型的每个时间窗口对违约预测状态的影响程度。用LSTM网络建立违约预测模型,用连续多年的企业数据预测违约概率,改变了违约预测建模时只用一个时间窗口预测违约概率的现状,并首次将多头注意力机制应用于违约预测模型,探索每个时间窗口对违约预测值的影响程度,避免了现有模型只做预测不揭示时间窗口对违约预测影响程度的弊端。研究表明:一是在违约预测建模时考虑企业数据的时序性更合理且会提升模型预测精度;二是违约预测的最佳时间窗口个数可以是5到10之间的数,总体上时间窗口越多违约预测精度越高;三是本文搭建的违约预测模型框架有效减少了违约预测结果的第2类错误,降低了坏客户被预测为好客户的风险。

基于多头注意力机制和门控循环单元神经网络的居民充电桩容量预测

居民充电桩的容量预测可为其定容选址提供参考,助力实现“双碳”目标,为此提出了一种基于数据驱动的居民充电桩容量预测方法。首先,采集了居民充电桩的历史容量数据并进行预处理;其次,利用不同大小的时序窗口对其进行切片作为输入特征;最后,构建了结合多头注意力机制和门控循环单元神经网络的预测模型,将特征输入模型从而实现了对未来容量的精准预测。通过实例分析表明,该模型预测结果的平均绝对误差和均方根误差分别为33.19和102.14%,预测精度相较于其他模型有较大提升,为居民充电桩的容量预测提供了新思路。

基于多头注意力机制的多模态帕金森病安全检测系统

在实际的帕金森病远程诊断过程中,应用单模态数据检测帕金森病存在误诊率较高的问题,且远程诊断的安全性问题突出;为提高帕金森病远程诊断准确率与安全性,设计一种具有隐私保护功能的帕金森病多模态安全远程辅助检测系统;使用帕金森病语音和步态双模态数据,在传统卷积神经网络后融合多头注意力机制与多层感知机,有效提高模型的特征提取、融合与识别能力;为了保证数据传输过程的安全性,使用基于余弦混沌的差分隐私加噪方式扰动随机拆分的数据编号,提高帕金森病数据传输安全性;通过两模态消融实验和对比实验结果表明,提出的基于多头注意力机制的帕金森病多模态远程检测模型实际测试准确率达到0.913,且模型的各项评估指标和收敛速度等均高于传统模型,具备良好的帕金森病智能辅助检测效果,能够满足帕金森病早期智能安全筛查与诊断需求。

基于多头注意力机制的残差网络深度学习推荐模型

深度学习由于其强大的特征表达能力,在推荐研究领域的应用逐渐广泛。DIN(Deep Interest Network)是一种基于注意力机制和用户兴趣进行推荐的深度学习模型,针对其存在的特征训练完备性较低、推荐精度有待提高的问题,提出一种基于DIN改进的融合多头注意力模块与残差网络的深度学习推荐模型:MHAR-DIN(Multi-Head Attention Residual Deep Interest Network)。利用多头注意力模块基于用户历史行为进行注意力的打分,充分考虑用户的兴趣偏好,并引入残差网络结构将特征越过训练直接接入全连接器,解决过深网络难以训练的问题。在公开数据集MovieLens上与经典深度学习推荐模型的对比实验表明,所提MHAR-DIN模型具有一定有效性和可行性。

基于多头注意力机制的手术器械图像分割方法

对手术器械的自动分割是微创手术机器人稳定运行的保障,目前的手术器械分割方法都由串联连接的,容易造成细节丢失。因此,本文提出了一种基于多头注意力机制的手术器械分割方法(ST-HRNet),采用HRNet结构构建并行子网络直接输出高分辨率特征图,防止细节丢失;还融合滑动窗口多头注意力机制来获取全局信息进一步提高分割精度。在Endovis2017手术器械数据集和私有数据集上与Unet、TransUNet、GCnet、HRnet方法进行了对比实验,实验表明ST-HRNet方法效果最佳。

基于图像分块和多头注意力机制的气象识别研究

基于图像对天气现象进行识别,对天气状况的分析至关重要。针对传统的机器学习方法对各类天气特征难以准确提取且天气现象分类效果差,以及深度学习对天气现象识别的准确率不高的问题,提出了基于图像分块和多头注意力机制的天气识别模型。该模型首次将Swin Transformer引入天气识别领域中,采用了窗口多头自注意层与移位窗口多头自注意层相结合的多头注意力机制。结果表明,其区域相关特征提取能力弥补传统方法的不足,能够提取图像中复杂的天气特征。采用迁移学习对模型进行训练,将微调模型的全连接参数输入到Softmax分类器,实现了对多类别天气图像的识别,识别准确率为99.20%,优于对比的几种主流方法。因此,该方法可以作为天气识别模块应用于地面气象识别系统。

融合多头注意力机制和孪生网络的语义匹配方法

考虑企业资源与客户需求匹配问题,现有的方法存在资源和需求封装不够准确以及匹配效果无法满足用户需求等问题。为解决企业资源与需求描述的多样性和歧义性,提出了动态自定义模板封装。针对封装后的需求与资源大多都是中文短文本这一特点,兼顾句子间语义的差异性和相似性,提出了融合多头注意力机制和孪生网络的交互型文本匹配模型。模型使用字词混向量作为输入增强文本的语义信息,将孪生网络与多头注意力机制相融合,作为独立单元提取上下文的语义特征并使语义特征充分交互。为了验证模型的有效性,在经典数据集LCQMC和自我构建的CSMD数据集上对模型进行了实验,结果表明所提模型在准确率和性能等方面均有不同程度的提升,为企业资源与需求提供了更精准的匹配方法。

基于多头注意力机制的飞机发动机寿命预测研究

针对飞机发动机监测参数多和预测模型不能充分提取监测数据的有效信息等问题,基于一维卷积神经网络(1DCNN)、时序卷积神经网络(TCN)和多头注意力机制,提出一种新的网络结构以实现飞机发动机剩余寿命的准确预测。对多维特征参数分别建立一个1DCNN-TCN模型,利用两层1DCNN对飞机发动机的多元传感器信号进行特征提取,利用TCN对特征量的时序信息进行记忆,通过多头注意力机制对多个1DCNN-TCN的输出分别进行加权处理,并拼接最终结果。分析结果表明,采用本文方法得到的RMSE和Score值比目前文献中最优值分别降低了6.84%,63.41%。该方法显著提升了飞机发动机剩余寿命预测的准确性。

基于BERT-BiGRU-CRF与多头注意力机制的地理命名实体识别

地理知识图谱作为一种科学领域的知识图谱,从概念探讨和初步实验阶段快速发展为地理信息科学领域的跨学科研究热点。地理命名实体识别是地理知识图谱构建的基础,直接影响着地理知识图谱的构建效率与质量。设计了一个地理知识图谱应用管理系统,针对其中地理实体库构建过程依赖人工制定规则以及信息提取不充分等问题,面向地理知识图谱构建过程进行地理命名实体识别研究。首先,通过人工标注方法构建了一个地理知识语料库;其次,通过BERT预训练模型得到结合语境信息的动态字向量,利用双向门控循环单元提取全局语义特征,并基于注意力机制获得增强语义特征;最后,通过CRF解码输出概率最大的全局最优标签序列,实现地理命名实体的自动识别。实验结果表明,相比传统的BiLSTM-CRF、BERT-BiLSTM-CRF等模型,所提出的基于BERT-BiGRU-CRF与多头注意力机制的模型在地理命名实体识别任务中表现更优,能够为地理知识图谱构建提供有效支撑。

基于多头注意力机制的僵尸网络检测方法

为提高僵尸网络的检测精度,解决特征表征单一的问题,提出一种融合挤压和激励模块的多头注意力(SE-MHA)机制实现僵尸网络的准确检测。以会话为单位提取流量的初始特征,引入连接失败熵特征和n-gram序列特征,利用多头注意力(MHA)机制挖掘流量特征间的高维相关性,引入挤压和激励(SE)模块实现自适应调整不同“头”之间的依赖关系,增强MHA机制的表征能力,输入到Softmax分类器中对流量进行分类。通过ISCX-Bot-2014数据集,验证了该方法的精确度和有效性。

基于多头注意力机制的BM-Linear信用贷款评估模型

信贷评估模型可加快放贷效率、缩减放贷时间。利用Pytorch深度学习框架,组合Bag-of-Words及Bert中多头注意力机制得到BM-Linear评估模型,同时在引入多组信贷训练集的前提下,创造性地构建参数独立训练及参数共用训练的对比实验,探究BM-Linear的优异性。研究表明:BM-Linear首先弱化与信贷训练集的对应关系,解决信贷模型受限于信贷场景问题,减少因反复训练模型所造成的放贷效率低下现象;其次,忽略缺失特征并将离散特征转为信贷文本,降低特征处理造成的信贷干扰,提高信贷评估效率;最后,克服因词袋与信贷词语对应关系所带来的词向量固化问题,实现动态词向量过程,进而提高评估准确率。所提出的BM-Linear模型,可为信贷机构高效评估快速放贷提供支持。

基于融合多头注意力机制和门控循环单元的驾驶员意图识别方法

为识别自动驾驶条件下驾驶员的细分行为意图,通过搭建驾驶模拟器以及虚拟场景,并采用角传感器、踏板位移、力传感器等,进行加速、制动、转弯、巡航及驻车制动等多种工况的驾驶员在环实验。利用所得车辆运行以及驾驶员驾驶数据,进行数据归一化处理,并提出一种基于融合多头注意力机制(Multi-Head Attention)和门控循环单元(gatere current unit,GRU)的驾驶员意图识别模型,将处理数据作为模型输入,识别驾驶者多种细分驾驶意图。研究结果表明:相较于长短期记忆神经网络、单一GRU等方法,融合多头注意力机制和GRU网络模型,其精准率、模型收敛速度更优;利用多头注意力机制进行输入权重分配有助于提高驾驶意图识别模型的分类性能。本研究有助于识别多种细分驾驶意图,进而为智能驾驶辅助系统决策、控制提供参考。