引入上下文信息和Attention Gate的GUS-YOLO遥感目标检测算法

目前基于通用YOLO系列的遥感目标检测算法存在并未充分利用图像的全局上下文信息,在特征融合金字塔部分并未充分考虑缩小融合特征之间的语义鸿沟、抑制冗余信息干扰的缺点。在结合YOLO算法优点的基础上提出GUS-YOLO算法,其拥有一个能够充分利用全局上下文信息的骨干网络Global Backbone。除此之外,该算法在融合特征金字塔自顶向下的结构中引入Attention Gate模块,可以突出必要的特征信息,抑制冗余信息。另外,为Attention Gate模块设计了最佳的网络结构,提出了网络的特征融合结构U-Net。最后,为克服ReLU函数可能导致模型梯度不再更新的问题,该算法将Attention Gate模块的激活函数升级为可学习的SMU激活函数,提高模型鲁棒性。在NWPU VHR-10遥感数据集上,该算法相较于YOLOV7算法取得宽松指标mAP^(0.50)1.64个百分点和严格指标mAP^(0.75)9.39个百分点的性能提升。相较于目前主流的七种检测算法,该算法取得较好的检测性能。

基于SABO-GRU-Attention的锂电池SOC估计

提出一种基于SABO-GRU-Attention(subtraction average based optimizer-gate recurrent unitattention)的锂电池SOC(state of charge)估计方法。采用基于平均减法优化算法自适应更新GRU神经网络的超参数,融合SE(squeeze and excitation)注意力机制自适应分配各通道权重,提高学习效率。对马里兰大学电池数据集进行预处理,输入电压、电流参数,进行锂电池充放电仿真实验,并搭建锂电池荷电状态实验平台进行储能锂电池充放电实验。结果表明,提出的SOC神经网络估计模型明显优于LSTM、GRU以及PSO-GRU等模型,具有较高的估计精度与应用价值。

基于XGBoost-WOA-BiLSTM-Attention的公共建筑暖通空调能耗预测研究

为在双碳目标下实现节能减排,降低能源成本,提出一种基于BiLSTM的公共建筑暖通空调能耗预测模型。在BiLSTM模型基础上,使用XGBoost算法对输入特征进行选择,剔除冗余特征,得到最佳模型输入特征;然后利用WOA优化算法对添加了Attention机制的BiLSTM模型中的6个超参数进行优化,将得到的最优参数代入BiLSTM-Attention神经网络中进行预测,并与BiLSTM模型、BiLSTM-Attention模型和WOA-BiLSTM-Attention模型进行对比。结果表明,所提出的XGBoost-WOA-BiLSTM-Attention模型的RMSE、MAE、R2分别为0.0106、0.006、0.9991,优于其他模型,且相对于持续模型在均方根误差RMSE上提升了98%,为降低公共建筑暖通空调能耗研究提供了参考。

基于Self-Attention-BiLSTM网络的西瓜种苗叶片氮磷钾含量高光谱检测方法

元素含量无损检测技术可以为植物生长发育的环境精准调控提供关键实时数据。以西瓜苗为例,提出了一种基于图谱特征融合的氮磷钾含量深度学习检测方法。首先,使用高光谱仪拍摄西瓜苗叶片的高光谱图像,使用连续流动化学分析仪测定叶片的3种元素含量。然后,采用基线偏移校正(BOC)叠加高斯平滑滤波(GF)的光谱预处理方法和随机森林算法(RF)建立预测模型,基于竞争性自适应重加权采样(CARS)和连续投影算法(SPA)2种算法初步筛选出特征波长,再综合考虑波长数和建模精度设计了一种最优波长评价方法,将波长数进一步减少到3~4个。最后,提取使用U-Net网络分割的彩色图像颜色和纹理特征,和光谱反射率特征一起作为输入,基于自注意力机制-双向长短时记忆(Self-Attention-BiLSTM)网络构建了3种元素含量的预测模型。实验结果表明,氮磷钾含量预测的R2分别为0.961、0.954、0.958,RMSE分别为0.294%、0.262%、0.196%,实现了很好的建模效果。使用该模型对另2个品种西瓜进行测试,R2超过0.899、RMSE小于0.498%,表明该模型具有很好的泛化性。该高光谱建模方法使用少量波长光谱即实现了高精度检测,在精度和效率上达成了很好的平衡,为后续便携式高光谱检测装备开发奠定了理论基础。

基于CNN-BiLSTM-Attention的三峡库区滑坡地表位移预测研究

地表位移预测在滑坡监测预警中具有重要意义,建立稳定可靠的滑坡位移预测模型是关键。本文基于卷积神经网络和注意力机制的滑坡位移预测方法,并以三峡库区黄泥巴蹬坎滑坡为例进行了验证。本文综合分析了该滑坡长达8年的降雨量、库水位和地表位移等监测数据,建立了结合卷积神经网络(convolutional neural network,CNN)、双向长短期记忆(bidirectional long short-term memory,BiLSTM)网络和注意力机制(attention)的CNN-BiLSTM-Attention深度学习组合预测模型,采用了适应性学习率和正则化技术进行模型训练,提高了模型的泛化能力同时避免过拟合,并与传统LSTM模型进行对比验证。结果表明:相较于传统的机器学习和神经网络方法,该模型在滑坡位移预测精度上取得了显著提升,预测模型拟合优度(R^(2))达0.989,平均绝对百分比误差(MAPE)仅为0.059。

基于CNN-BiGRU-Attention的短期电力负荷预测

针对目前电力负荷数据随机性强,影响因素复杂,传统单一预测模型精度低的问题,结合卷积神经网络(Convolutional neural network,CNN)、双向门控循环单元(Bi-directional gated recurrent unit,BiGRU)以及注意力机制(Attention)在短期电力负荷预测上的不同优点,提出一种基于CNN-BiGRU-Attention的混合预测模型。该方法首先通过CNN对历史负荷和气象数据进行初步特征提取,然后利用BiGRU进一步挖掘特征数据间时序关联,再引入注意力机制,对BiGRU输出状态给与不同权重,强化关键特征,最后完成负荷预测。试验结果表明,该模型的平均绝对百分比误差(Mean absolute percentage error,MAPE)、均方根误差(Root mean square error,RMSE)、判定系数(R-square,R~2)分别为0.167%、0.057%、0.993,三项指标明显优于其他模型,具有更高的预测精度和稳定性,验证了模型在短期负荷预测中的优势。

基于特征分解与Bi-LSTM-Attention模型的风向预测

为便于精准控制风电机组的偏航角度、充分利用风能提高机组发电量,提出一种基于历史数据深度学习的风向超短期预测方法。首先利用变分模态分解将风向数据分解成多个子序列,考虑分解后的残差分量仍保留大量信号特征,进一步采用自适应噪声完备集合经验模态分解方法对残差分量进行二次分解。在此基础上,结合风速、环境温度等特征,利用具有注意力机制的双向长短期记忆网络对风向进行超短期预测。采用河北某风电场SCADA真实数据,对风向进行5min的超短期预测实验,并与其他方法进行对比,结果表明所提方法具有更好的风向预测效果。

基于Coordinate Attention和空洞卷积的异物识别

在我国工厂的工业化生产中,带式运输机占有重要的地位,但是在其运输物料的过程中,常有木板、金属管、大型金属片等混入物料中,从而对带式运输机的传送带造成损毁,引起巨大的经济损失.为了检测出传送带上的不规则异物,设计了一种新的异物检测方法.针对传统异物检测方法中存在的对于图像特征提取能力不足以及网络感受野相对较小的问题,我们提出了一种基于coordinate attention和空洞卷积的单阶段异物识别方法.首先,网络利用coordinate attention机制,使网络更加关注图像的空间信息,并对图像中的重要特征进行了增强,增强了网络的性能;其次,在网络提取多尺度特征的部分,将原网络的静态卷积变为空洞卷积,有效减少了常规卷积造成的信息损失;除此之外,我们还使用了新的损失函数,进一步提高了网络的性能.实验结果证明,我们提出的网络能有效识别出传送带上的异物,较好地完成异物检测任务.

融合RoBERTa-GCN-Attention的隐喻识别与情感分类模型

在隐喻识别与隐喻情感分类任务的联合研究中,现有多任务学习模型存在对隐喻语料中的上下文语义信息和句法结构信息提取不够准确,并且缺乏对粗细两种粒度信息同时捕捉的问题.针对第1个问题,首先改进了传统的RoBERTa模型,在原有的自注意力机制中引入上下文信息,以此提取上下文中重要的隐喻语义特征;其次在句法依存树上使用图卷积网络提取隐喻句中的句法结构信息.针对第2个问题,使用双层注意力机制,分别聚焦于单词和句子层面中对隐喻识别和情感分类有贡献的特征信息.在两类任务6个数据集上的对比实验结果表明,该模型相比基线模型性能均有提升.

基于CNN-LSTM-Attention的月生活需水预测研究

需水预测是进行水资源配置的重要部分,对于水资源合理开发利用和社会可持续发展有重要指导意义.本文以陕西省为研究区,结合大数据分析法,提出一种基于CNN-LSTM-Attention的月生活需水预测模型.首先,通过卷积神经网络(convolutional neural networks,CNN)提取数据动态变化特征,然后利用长短期记忆(long short-term memory,LSTM)网络对提取的特征进行学习训练,最后使用注意力(attention)机制分配LSTM隐含层不同权重,预测月生活需水量并对比实际数据.结果表明,CNN-LSTM-Attention模型的相对平均误差值和决定系数(R2)分别为2.54%、0.95,满足预测精度需求,相比于LSTM模型预测精度更高.进一步证明了模型预测的合理性,可为陕西省水资源规划提供指导.

基于BO-BiGRU-Attention短期电力负荷预测

电力系统的可靠供应对于工业、商业和居民的生活至关重要。为了满足电力需求并维持电力系统的稳定运行,提高短期电力负荷预测的准确性和可靠性尤为关键;针对负荷数据存在复杂的非线性特性,该文提出一种基于贝叶斯优化算法的双向门控循环单元和注意力机制(BO-BiGRU-Attention)的混合预测模型对短期电力负荷进行精准预测。首先,使用Min-Max Normalization方法对负荷数据进行归一化处理。其次,利用BiGRU网络捕获序列中的长期依赖关系和上下文信息,结合注意力机制,通过在输入序列的不同部分给予不同的权重,从而突出关键特征。最后,针对BiGRU-Attention模型的超参数难以选取最优解的问题,引入贝叶斯优化算法对BiGRU-Attention模型的超参数进行寻优,完成短期电力负荷的预测。采用印度北部某地区的电力负荷数据进行预测分析,仿真结果表明,BO-BiGRU-Attention网络表现优于其他模型,各误差评价指标最小,其中MAE、RMSE和MAPE分别为56.67,73.49和1.16%,预测精度达到了99.47%。

鲸鱼算法优化CNN-BiGRU-ATTENTION的车辆换道意图识别模型

针对时空多样特征、超参数敏感性影响车辆行为意图识别精度的问题,提出一种改进的CNN-BiGRU-ATTENTION混合换道意图识别模型。采用目标车辆轨迹序列和与周围车辆互动特征作为模型输入进行训练,实现考虑车辆动态变化状态的意图识别预测;使用鲸鱼优化算法对模型调整参数进行多目标寻优,降低模型调优难度;利用NGSIM数据集对模型进行评估校验。结果表明:所提出的WOA-CNN-BiGRU-ATTENTION模型与CNN-BiGRU-ATTENTION模型、Transformer模型相比,准确率分别提升了4.53%、0.97%,达到97.64%;WOA-CNN-BiGRU-ATTENTION模型在不同预判时间下的意图识别准确率最高,在换道前2.5 s的识别精度均能达到91%以上,证明模型具有较强的车辆换道意图识别性能。

基于DA-Attention U-Net编码-解码结构的浮选矿浆相气泡图像分割

浮选矿浆相气泡图像是采集自浮选槽内部矿浆溶液中的图像数据,与浮选泡沫相图像数据相比视觉特征显著不同。针对使用特殊设备从浮选槽矿浆溶液中原位采集的气泡图像数据,提出了一种基于DA-Attention U-Net编码-解码结构的气泡分割模型。模型以U-Net为基础,引入CBAM模块并依据Residual残差连接思想改进模块结构,使模型同时具有通道注意力和空间注意力的优点,给予包含气泡的前景区域更大权重,减少因下采样次数多导致的信息丢失;引入ASPP模块并基于Dense密集连接思想进行改进,从多尺度提取气泡特征及整合前后特征层信息;并在完成气泡分割的基础上使用热力图与显著图对分割结果进行分析。研究结果表明,与原始U-Net相比,所提模型对气泡图像分割效果更优,训练损失、Dice系数降低了0.416、0.2,分别达到了0.015、0.12,MIoU精度值、F1_Score值提升了0.331、0.229,分别达到了0.952、0.985,并通过消融试验验证了各模块有效性。该模型对气泡图像的精确分割,可为后续提取气泡特征奠定基础,对于未来将矿浆相气泡特征信息用于浮选过程智能控制,具有重要意义。

基于改进蜣螂算法优化CNN-BiLSTM-Attention的串联电弧故障检测方法

针对故障电弧特征提取不足、检测精度不高等问题,提出一种多特征融合的改进蜣螂算法(IDBO)优化融合注意力(Attention)机制的卷积神经网络(CNN)和双向长短期记忆(BiLSTM)神经网络的串联电弧故障检测方法。通过实验平台提取电流的时域、频域、时频域以及信号自回归参数模型特征;利用核主成分分析(KPCA)对特征进行降维融合,并将求取的特征向量作为CNN-BiLSTM-Attention的输入向量;引入Cubic混沌映射、螺旋搜索策略、动态权重系数、高斯柯西变异策略对蜣螂算法进行改进,利用改进蜣螂算法对CNN-BiLSTM-Attention超参数优化实现串联电弧故障诊断。结果表明,所提方法故障电弧检测准确率达到97.92%,可高效识别串联电弧故障。

基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类

针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系.

基于Attention-BiTCN的网络入侵检测方法

为解决网络入侵检测领域多分类准确率不高的问题,文章根据网络流量数据具有时序特征的特点,提出一种基于注意力机制和双向时间卷积神经网络(BiDirectional Temporal Convolutional Network,BiTCN)的网络入侵检测模型。首先,该模型对数据集进行独热编码和归一化处置等预处理,解决网络流量数据离散性强和标度不统一的问题;其次,将预处理好的数据经双向滑窗法生成双向序列,并同步输入Attention-Bi TCN模型中;然后,提取双向时序特征并通过加性方式融合,得到时序信息被增强后的融合特征;最后,使用Softmax函数对融合特征进行多种攻击行为检测识别。文章所提模型在NSL-KDD和UNSW-NB15数据集上进行实验验证,多分类准确率分别达到99.70%和84.07%,优于传统网络入侵检测算法,且比其他深度学习模型在检测性能上有显著提升。

基于CNN-LSTM-Attention和自回归的混合水位预测模型

【目的】水位预测对交通运输、农业以及防洪措施具有重要影响。精确的水位值可用于提升水道运输的安全及效率、降低洪水风险,同时也是保障区域可持续发展的必要条件。【方法】提出一种CRANet的混合水位预测模型,以卷积神经网络(CNN)、长短期记忆网络(LSTM)、注意力机制以及自回归(AR)组件为基础,旨在应对时间序列数据中存在的线性与非线性问题,缓解自回归及ARIMA模型的缺陷。其应用不仅在于为航运调度提供决策支撑,加强导航安全效率,同样能提升防洪减灾的能力。其中,CNN和LSTM组件有效地针对数据集内的局部和全局关系进行捕捉,AR组件则能充分考虑数据的时间序列特性。同时,通过注意力机制,模型能够优先考虑相关特性,提高预测效果。【结果】研究成果所提出的模型已成功应用于中国西江梧州站的水位预测,在测试集上预测未来3 h级别水位的MAE、RMSE和R^(2)分别为0.086、0.114 5和0.950 8。【结论】结果表明所提出的CRANet模型在水位预测方面的高可用性、准确度与稳健性,相较于AR、SVR、CNN、LSTM等模型具有更优的MAE、RMSE和R^(2)。

Attention U-Net在雷达信号图像化分选中的应用研究

针对海战场复杂电磁环境对雷达信号分选的挑战,采用改进的U-Net网络结合注意力机制提出新的分选方法。首先,将脉冲描述字转化为图像序列以适应深度学习处理。通过优化U-Net架构,融入注意力机制,有效提升模型对关键脉冲特征的识别与提取能力,实现像素级分类。通过此方法,系统能够精准搜索并归类所有雷达脉冲。实验证明,在海战场复杂电磁环境中,该方法显著提升了雷达信号分选准确率,提供了一种应对强干扰环境下的高效解决方案。这一研究成果证实了Attention U-Net在雷达信号智能分选中的优越性和实用性。

融合MacBERT和Talking⁃Heads Attention实体关系联合抽取模型

针对现有的医学文本关系抽取任务模型在训练过程中存在语义理解能力不足,可能导致关系抽取的效果不尽人意的问题,文中提出一种融合MacBERT和Talking⁃Heads Attention的实体关系联合抽取模型。该模型首先利用MacBERT语言模型来获取动态字向量表达,MacBERT作为改进的BERT模型,能够减少预训练和微调阶段之间的差异,从而提高模型的泛化能力;然后,将这些动态字向量表达输入到双向门控循环单元(BiGRU)中,以便提取文本的上下文特征。BiGRU是一种改进的循环神经网络(RNN),具有更好的长期依赖捕获能力。在获取文本上下文特征之后,使用Talking⁃Heads Attention来获取全局特征。Talking⁃Heads Attention是一种自注意力机制,可以捕获文本中不同位置之间的关系,从而提高关系抽取的准确性。实验结果表明,与实体关系联合抽取模型GRTE相比,该模型F1值提升1%,precision值提升0.4%,recall值提升1.5%。

Attention Markets of Blockchain-Based Decentralized Autonomous Organizations

The attention is a scarce resource in decentralized autonomous organizations(DAOs),as their self-governance relies heavily on the attention-intensive decision-making process of“proposal and voting”.To prevent the negative effects of pro-posers’attention-capturing strategies that contribute to the“tragedy of the commons”and ensure an efficient distribution of attention among multiple proposals,it is necessary to establish a market-driven allocation scheme for DAOs’attention.First,the Harberger tax-based attention markets are designed to facilitate its allocation via continuous and automated trading,where the individualized Harberger tax rate(HTR)determined by the pro-posers’reputation is adopted.Then,the Stackelberg game model is formulated in these markets,casting attention to owners in the role of leaders and other competitive proposers as followers.Its equilibrium trading strategies are also discussed to unravel the intricate dynamics of attention pricing.Moreover,utilizing the single-round Stackelberg game as an illustrative example,the existence of Nash equilibrium trading strategies is demonstrated.Finally,the impact of individualized HTR on trading strategies is investigated,and results suggest that it has a negative correlation with leaders’self-accessed prices and ownership duration,but its effect on their revenues varies under different conditions.This study is expected to provide valuable insights into leveraging attention resources to improve DAOs’governance and decision-making process.