基于混沌表示和特征注意力机制的机床两轴动态误差预测

针对传统方法难以揭示机床多轴插补动态误差的序列产生机制,各时间维度上的误差时序特征存在相互关联的问题,提出一种融合混沌表示(Chaotic representation, CR)和特征注意力机制(Feature attention mechanism, FA)的级联动态误差预测模型。首先,在证明多元动态误差时变演化具有混沌特性的基础上,对其进行相空间重构,将动态误差参数时间序列背后隐藏的信息在相空间中进行表达。然后,融合特征注意力机制在时间维度上动态分配相点特征权重的同时降低高维演化相空间信息冗余,进一步重塑原系统的动力学状态向量空间。最后,考虑到混沌时变演化具有长程相关性,采用双向长短期记忆(Bi-directional long short-term memory, Bi-LSTM)网络模型逼近混沌相空间内的动力学特性,实现动态误差混沌时间序列信息的有效预测。通过XK-L540型数控铣床实测数据的算例表明,相较于CRFA-LSTM模型,以及单一级联模型CR-Bi-LSTM、FA-Bi-LSTM,本文算法的均方根误差分别降低约35%、16%和43%。

结合注意力特征融合的八度卷积表情识别方法

针对目前面部表情识别特征表达不足、识别精度低及参数多的问题,提出了一种结合注意力特征融合的八度卷积表情识别方法。主要创新点在于将注意力特征融合机制引入模型,优化不同尺度特征的融合;采用深度可分离网络替代传统卷积,大幅减少参数;并引入BN和PReLU提升模型稳定性和性能。实验显示,该模型在CK+和Fer2013数据集上准确率分别达98.91%和74.03%,展现了优秀的泛化能力和准确度。

耦合ALO-LSTM和特征注意力机制的土石坝渗压预测模型

现有土石坝渗压预测模型缺乏对渗压效应量中各影响因子影响程度的定量分析,难以探究渗压效应量变化的内在影响机制。针对此问题,本文从时间维度和特征维度两个层面出发,提出一种耦合ALO-LSTM和特征注意力机制的土石坝渗压预测模型。该模型首先采用主成分分析方法对各个影响因子进行降维处理;然后,提出基于蚁狮优化算法(Ant Lion Optimizer,ALO)的长短时记忆网络(Long Short-Term Memory,LSTM),利用ALO中的随机游走以及轮盘赌等策略优化LSTM中的神经元数量,以捕捉渗压数据在时间维度上的深层信息;进一步地,在特征维度上引入特征注意力机制计算各影响因子对渗压效应量的贡献率,以自适应挖掘渗压效应量变化的内在原因。案例分析表明,本文所提模型具有较高的精度,其在测试样本上的MAPE、RMSE和MAE分别为0.28%、0.022 m和0.17 m;此外,水位分量对渗压效应量的贡献率最大,为47.9%;其次是降雨、温度和时效分量,其贡献率分别为33.5%、9.8%和8.8%。

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型。利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,以恢复更多细节信息。在此基础上利用重建模块重建出不同尺度的高分辨率图像。在Set5数据集上的实验结果表明,与基于双三次插值的重建模型相比,该模型能够有效提升图像的视觉效果,且峰值信噪比与结构相似度分别提高了3.92 dB和0.056。

时间感知的双塔型自注意力序列推荐模型

用户的偏好具有聚合性和漂移性。现有推荐算法在序列建模框架中融合了交互时间相关性的建模,取得了很大的性能改善,但它们在建模时仅考虑了交互的时间间隔,使得它们在捕捉用户偏好的时间动态方面存在局限性。首先,提出了一种新的时间感知的位置嵌入方法,将时间信息与位置嵌入相结合,帮助模型学习时间层面的项目相关性。随后,在时间感知位置嵌入基础上,提出了时间感知的双塔自注意力序列推荐模型(TiDSA)。TiDSA包含项目级和特征级的自注意力模块,分别从项目和特征两个角度对用户偏好随时间变化的过程进行分析,实现了对时间、项目和特征的统一建模,并且在特征级自注意力模块,设计了多维度的自注意力权重计算方式,从特征维度、项目维度和项目与特征交叉维度充分学习特征之间的相关性。最后,TiDSA将项目级与特征级的信息相融合得到最终的用户偏好表示,并根据该表示为用户提供可靠的推荐结果。四个真实推荐数据集的实验结果表明,TiDSA的性能优于许多先进的基线模型。

基于特征注意力机制的RNN-Bi-LSTM船舶轨迹预测

【目的】为更准确预测船舶轨迹,基于RNN、Bi-LSTM和注意力机制,研究一种结合特征注意力机制的RNN-Bi-LSTM的船舶轨迹预测模型。【方法】基于AIS数据构建基于循环神经网络(RNN)与双向长短时记忆网络(Bi-LSTM)的混合神经网络模型,并在混合模型中加入特征注意力机制对数据特征进行权重分配,提升模型对船舶轨迹预测精度。【结果】使用实际运行的船舶AIS数据,对模型的有效性和实用性进行验证,测试集均方误差为2.751×10^(-5)、均方根误差为5.245×10^(-3),在连续弯道预测中的均方误差为4.359×10^(-6)、均方根误差为2.088×10^(-3)。【结论】结合特征注意力机制的RNN-Bi-LSTM相较于传统的预测神经网络,船舶轨迹预测精度更高,尤其在弯道预测中也表现出较好的符合度。

基于VMD和双重注意力机制LSTM的短期光伏功率预测

提出了一种基于变分模态分解(VMD)和双重注意力机制长短期记忆(LSTM)的短期光伏功率预测方法。针对光伏功率信号的波动性和非平稳性,利用VMD将光伏功率输出分解为不同频率的分量,使用LSTM对各分量进行预测,并在LSTM基础上引入特征和时序双重注意力机制。为自主挖掘光伏功率输出与各气象特征之间的关联关系,避免传统方法依赖于专家经验关联规则阈值的限制,引入特征注意力机制实时计算各气象特征量的贡献率,并对特征权重进行修正;同时,为挖掘当前时刻光伏功率输出与历史时序信息之间的关联关系,引入时序注意力机制自主提取历史关键时刻点信息,提高长时间序列预测效果的稳定性。基于中国西南某实际光伏发电站数据进行预测实验,并与其他方法进行对比,验证了该方法的有效性。

基于双重注意力机制和GRU网络的短期负荷预测模型

电力负荷预测对电力系统的部署、规划和运行影响重大,但目前各输入特征对电网负荷情况影响的程度不稳定,且递归神经网络捕获负荷数据的长期记忆能力差,导致预测精度下降。提出一种基于双重注意力机制和GRU网络的预测新模型,利用特征注意力机制自主分析历史信息与输入特征间的关联关系,提取重要特征,并通过时序注意力机制自主选取GRU网络中关键时间点的历史信息,提升较长时间段预测效果的稳定性。在3个公开数据集上的实验结果表明,该模型在预测精度指标上表现良好,对比SVR、KPCA-ELM、DBN、GRU、Attention-GRU、CNN-LSTM、AttentionCNN-GRU模型预测精度分别提高了2.47、1.14、1.93、1.37、1.04、0.74、0.41个百分点。

基于WPD和双重注意力机制TCN的短期电价预测

针对电价的高频、非平稳性且受多种因素影响、时间卷积网络(TCN)在实际应用中忽略各输入特征的关联性以及在处理历史信息上表现较差的问题,本文提出了一种基于小波包分解和双重注意力机制TCN的短期电价预测方法。首先利用小波包分解对电价序列进行分解重构,去除高频部分并进行重构;然后使用引入双重注意力机制的TCN模型进行电价预测。为挖掘电价与其影响因素的关联性,引入特征注意力机制实时计算各影响因素特征量的权重,突出关键输入特征;同时,为挖掘当前时刻电价与历史时刻信息的关联性,引入时序注意力机制提取历史关键时刻点信息,提高关键时刻点预测的精确度;最后以澳大利亚新南威尔士州电力市场实时数据为例进行预测分析,对比其他几种电价预测方法,验证了本文所提方法的有效性。

引入注意力机制和中心损失的表情识别算法

针对表情识别领域中识别准确率不高的问题,以卷积神经网络为基础,提出一种引入特征通道注意力机制和中心损失函数的表情识别算法。以VGG11作为网络主体框架,引入特征通道注意力机制,在每一层卷积层之后增加压缩激励(SE)模块,使模型学习到不同特征通道的重要程度,从而提高模型对特征通道的敏感性,进一步提升模型的特征表示能力。同时,通过中心损失函数联合Soft Max损失函数对神经网络进行监督训练,有效增加类间距离,保证类内紧密性,提高模型的识别准确率。通过在CK+数据集上测试,实验结果表明:改进模型的识别准确率达到97. 07%,高于其他典型算法。

基于改进LSTM的航空发动机气路参数预测方法

以航空燃气涡轮发动机气路故障诊断为导向,提出了一种用于发动机气路参数预测的特征注意力增强型长短时记忆网络(Feature Attention Enhanced Long Short-Term Memory Network, FAE-LSTM)。FAE-LSTM是具有编码-解码结构的动态网络,首先通过编码器中的特征注意力单元对工况序列进行动态特征提取,然后通过特征拼接层融合编码器输出序列、工况序列和历史性能参数,最后通过解码器实现最终的参数预测。FAE-LSTM基于发动机飞行过程数据建立发动机在健康状态下的动态模型,从而作为参数预测模型应用于基于残差的故障诊断系统中。针对网络的预测性能和应用方式进行了仿真分析,结果表明,相比于其他常用多变量时间序列预测模型,FAE-LSTM的长期预测误差最低减少24.5%;相比于使用串-并联结构,故障检测系统使用并联结构的FAE-LSTM网络能够获得更精确的检测结果。

基于注意力机制优化的BiLSTM珠江口水质预测模型

为提高珠江口水质预测精度和稳定性,提出了基于时间和特征双注意力机制优化的Bi LSTM水质预测模型,引入特征注意力机制强化模型捕获参数重要特征能力,加入时间注意力机制提高对时间序列相关性信息及水质波动细节信息的挖掘能力.将新模型应用于珠江8个入海口水质预测,开展预测性能试验、泛化能力试验和特征参数扩展性试验.结果表明:①新模型在珠海大桥水质预测取得了较高的预测精度,预测值与实测值的均方根误差RMSE为0.0041 mg·L^(-1),决定系数R^(2)为98.3%.与Multi-Bi LSTM、Multi-LSTM、Bi LSTM和LSTM对比,表明新模型预测精度最高,验证了模型的精准性.②训练样本数量和预测步数均对模型预测精度产生影响,模型预测精度随着训练样本的增加而提升,海珠大桥断面总磷预测时,240组以上训练样本可获得较高预测精度;增加预测步数,会使模型预测精度迅速下降,预测步数大于5步时无法保障模型预测的可靠性.③将新模型应用于珠江8个入海口不同水质指标预测,预测结果均取得较高精度,模型具有较强的泛化能力;输入对象断面预测指标相关联的上游来水、降雨量等特征参数,能够提高模型预测精度.通过多方面多次试验,结果表明新模型能够较好地满足珠江口水质预测精度、适用性和扩展性要求,为复杂水动力环境水体水质高精度预测进行了新的探索.

融合有效掩膜和局部增强的遮挡行人重识别

在监控系统中行人经常会被各种障碍物遮挡,使得遮挡行人重识别仍然是一个长期存在的挑战。最近一些基于Transformer和外部语义线索的方法都改善了特征的表示和相关性能,但仍存在表示弱和语义线索不可靠等问题。为解决上述问题,提出了一种基于Transformer的新方法。引入了一种有效的掩膜生成方式,可靠的掩膜可以使模型不依赖外部语义线索并实现自动对齐。提出了一种基于平均注意力分数的序列重建模块,可以更有效地关注前景信息。提出了局部增强模块,获得了更鲁棒的特征表示。比较了所提方法和现有的各种方法在Occluded-Duke,Occluded-ReID,Partial-ReID,Market-1501数据集上的性能。Rank-1准确率分别达到了72.3%、84.8%、86.5%和95.6%,mAP精度分别为62.9%、83.2%、76.4%和89.9%,实验结果表明所提模型性能较其他先进网络有所提升。

双编码特征注意网络的手术器械分割

目的手术器械分割是外科手术机器人精准操作的关键环节之一,然而,受复杂因素的影响,精准的手术器械分割目前仍然面临着一定的挑战,如低对比度手术器械、复杂的手术环境、镜面反射以及手术器械的尺度和形状变化等,造成分割结果存在模糊边界和细节错分的问题,影响手术器械分割的精度。针对以上挑战,提出了一种新的手术器械分割网络,实现内窥镜图像中手术器械的准确分割。方法为了实现内窥镜图像的准确表征以获取有效的特征图,提出了基于卷积神经网络(convolutional neural network,CNN)和Transformer融合的双编码器结构,实现分割网络对细节特征和全局上下文语义信息的提取。为了实现局部特征图的特征增强,引入空洞卷积,设计了多尺度注意融合模块,以获取多尺度注意力特征图。针对手术器械分割面临的类不均衡问题,引入全局注意力模块,提高分割网络对手术器械区域的关注度,并减少对于无关特征的关注。结果为了有效验证本文模型的性能,使用两个公共手术器械分割数据集进行性能分析和测试。基于定性分析和定量分析通过消融实验和对比实验,验证了本文算法的有效性和优越性。实验结果表明:在Kvasir-instrument数据集上,本文算法的Dice分数和mIOU(mean intersection over union)值分别为96.46%和94.12%;在Endovis2017(2017 Endoscopic Vision Challenge)数据集上,本文算法的Dice分数和mIOU值分别为96.27%和92.55%。相较于对比的先进分割网络,本文算法实现了分割精度的有效提升。同时,消融研究也证明了本文算法方案设计的合理性,缺失任何一个子模块都会造成不同程度的精度损失。结论本文所提出的分割模型有效地融合了CNN和Transformer的优点,同时实现了细节特征和全局上下文信息的充分提取,可以实现手术器械准确、稳定分割。

基于CEEMDAN-DA-GRU的瓦斯涌出量预测模型

针对瓦斯涌出量数据具有非线性、周期性的特点和实际场景下不同特征因素与瓦斯涌出量关联程度不同导致预测精度低的问题,提出一种基于完备经验模态分解和双重注意力机制的瓦斯涌出量预测模型。通过CEEMDAN方法将瓦斯涌出量数据分解为频率不同的分量,以降低非线性数据的预测难度;再计算特征注意力机制中计算各特征因素的权重,挖掘当前分量与各个特征之间的关联关系;基于门控循环单元的时序注意力机制量化历史隐藏状态对当前状态的影响,提高长时间序列预测的准确度。通过相加重构得到最终预测结果。基于陕西某矿瓦斯涌出量数据进行预测实验,所提出模型的平均绝对百分比误差为1.65%,均小于DA-GRU、GRU和SVM等对比模型,验证了该模型的有效性。

基于FA-LN-BiGRU的机械设备剩余寿命区间预测方法

针对数据驱动融合模型存在前后模型不匹配、关键信息丢失等问题,提出了一种端对端的预测方法,即基于特征注意力机制的对数正态分布和双向门控循环单元融合(feature attention-lognorm-bidirectional gated recurrent unit,简称FA-LN-BiGRU)的剩余寿命区间预测方法。首先,利用特征注意力机制从多维度、非线性和大规模的传感器信号中提取出关键特征向量;其次,采用BiGRU网络从前向和后向2个方向对注意力加权特征的时变特性进行建模学习,并通过最大似然估计损失函数来训练网络参数,获得网络隐含状态输出向量的概率分布;最后,计算出基于对数正态分布的概率密度函数,实现设备剩余寿命(remaining useful life,简称RUL)不确定性的衡量。分析结果表明,对于运行条件复杂和故障模式多变的多维监测数据,所提方法能够深入挖掘性能退化信息,有效提高机械设备剩余寿命点预测和区间预测的准确度和可靠性。

基于多尺度特征注意力网络的施工安全预警方法

安全管理是建筑施工过程中的重要工作之一,设计自动化的安全预警方法对保障工人安全、减少施工事故有着重要作用.本文提出一种基于多尺度特征注意力网络的施工安全预警方法.首先,设计融合多尺度特征注意力机制的施工现场实例分割网络,使用具有丰富语义信息的高维特征指导网络对低维特征的学习,从而增强网络对施工设备专有特征的聚焦能力,实现复杂环境下施工设备与工人的精准分割;其次,提出基于位姿估计的三维边界框重构方法,利用神经网络提取到施工设备在三维空间上的朝向,并结合二维边界框所反映的几何约束实现对施工设备三维约束的重构;最后,设计施工现场动态预警方法,根据生产安全要求将施工现场划分为危险区、预警区与安全区,并对施工现场的设备与工人进行实时追踪与三维约束重构,当工人进入危险区及预警区时及时发出警告.实验结果显示,本文所提方法在MOCS公共数据集上取得超过90%分类准确率与59%的分割mAP,优于其他融合特征注意力机制的深度学习算法;从施工现场安全预警案例可知,本文所提方法能够对工人的安全状态进行准确判断.

Auditory attention model based on Chirplet for cross-corpus speech emotion recognition

To solve the problem of mismatching features in an experimental database, which is a key technique in the field of cross-corpus speech emotion recognition, an auditory attention model based on Chirplet is proposed for feature extraction.First, in order to extract the spectra features, the auditory attention model is employed for variational emotion features detection. Then, the selective attention mechanism model is proposed to extract the salient gist features which showtheir relation to the expected performance in cross-corpus testing.Furthermore, the Chirplet time-frequency atoms are introduced to the model. By forming a complete atom database, the Chirplet can improve the spectrum feature extraction including the amount of information. Samples from multiple databases have the characteristics of multiple components. Hereby, the Chirplet expands the scale of the feature vector in the timefrequency domain. Experimental results show that, compared to the traditional feature model, the proposed feature extraction approach with the prototypical classifier has significant improvement in cross-corpus speech recognition. In addition, the proposed method has better robustness to the inconsistent sources of the training set and the testing set.

基于U-net网络改进的线谱检测方法

针对被动声纳系统中不规则波动线谱检测准确率低的问题,提出一种基于U-net网络改进的线谱检测方法。以U-net作为网络主体框架,引入残差结构,增加网络的深度,加强模型特征学习能力。同时在编码器部分引入特征通道注意力机制,使模型学习到通道之间的不同特征的重要程度,从而提升模型的特征表达能力。最后,在解码器部分采用DUpsampling上采样方法,利用分割标签空间中的冗余能力,更准确的恢复线谱像素级预测。将改进模型与HMM模型和CEM模型在线谱检测效果上进行比较。实验结果表明,在信噪比为-24~-20 dB下,改进模型线谱检测准确率为0.314~0.526,优于HMM模型和CEM模型。

基于VMD-AM-WGAN的超短期风电功率预测

针对风电功率序列中存在噪声、影响风电功率的多个因素对超短期风电功率预测的影响程度不同以及原始生成对抗网络模型不收敛、不稳定等问题,提出了一种基于变分模态分解的生成对抗网络(VMD-AM-WGAN)模型。该模型由变分模态分解与注意力机制、长短期记忆神经网络结合作为生成器,卷积神经网络作为判别器;使用W距离作为生成器的目标函数,并用利普希茨连续条件对判别器进行限制,以提高模型稳定性。现场试验的预测结果表明,该模型提高了风电功率预测的精度,月平均准确率达到90%以上。