基于局部编码和多头注意力模型的电力系统暂态稳定性评估

针对当前基于神经网络的暂态稳定性评估方法无法对暂态状态量测数据进行全局建模的问题,提出一种基于局部编码和多头注意力模型的暂态稳定性评估框架。利用局部RNN结构提取“三段式”暂态状态量测数据的局部特征;利用多头注意力模型对所有局部特征进行建模,计算各局部特征的长距离依赖关系,挖掘之间显著的关联特征表示。将该特征表示输入到全连接神经网络层和softmax层,输出暂态稳定性评估概率。在新英格兰10机39节点系统模拟仿真环境中的实验结果表明该方法切实可行,相较于次优结果,准确率提高3.05%,F1值提高3.04%,误报率降低39.44%。

基于多头自注意力模型的本体匹配方法

随着语义网的发展,本体数量不断增加,本体间的语义关系变得越来越复杂。因此,引入OWL2Vec*方法获取本体的语义嵌入表示。通常,匹配的类或属性具有相似的结构,因此利用了字符级和结构级的相似性度量。为高效融合多种相似度值,提出基于多头自注意力模型的本体匹配方法(Ontology Matching Method Based on Multi-Head Self-Attention, OM-MHSA)自主学习各相似度方法对匹配结果的贡献值。在国际本体对齐评测组织(Ontology Alignment Evaluation Initiative, OAEI)提供的Conference数据集上进行实验,结果表明,相对LSMatch和KGMatcher+方法,提出的模型准确率(Precision)提升了6%,召回率(Recall)和F1值(F1-measure)超过了ALIOn、TOMATO和Matcha等方法。可见,提出的模型能够提升匹配结果的效率。

一种基于情感计算与层次化多头注意力机制的负面新闻识别方法

网络负面新闻识别在网络舆情监测中具有重要的研究意义.针对当前海量数据下负面新闻难以检测的问题,提出了一种基于情感计算与层次化多头注意力机制相结合的负面新闻识别方法.首先,从新闻文本中采用TF-IDF(Term Frequeney-Inverse Document Frquency)和语义相似度算法构建负面新闻情感词库;其次,采用情感倾向计算方法计算负面新闻情感词的情感倾向度;最后,将词语和词语的情感倾向度进行向量化表示,并采用层次化多头注意力机制进行正负面新闻的判定.情感计算和多头注意力机制的引入,对于捕获文本中的情感词语提供了很大帮助.最终本文基于真实的网络新闻文本数据与现有的多种算法进行对比,证明了该模型具有较好的识别效果,相比于Han模型和LSTM模型分别提高了0.67%和3.29%.

基于多头概率稀疏自注意力模型的综合能源系统多元负荷短期预测

精准的多元负荷短期预测是综合能源系统调度和运行的基础。综合能源系统中的多种负荷之间存在较强的耦合作用,目前已有的单一负荷预测难以挖掘不同负荷之间复杂的内在联系。对此,提出一种基于多头概率稀疏自注意力模型的多元负荷短期预测方法。首先,采用皮尔逊相关系数分析多元负荷之间的相关性,并提取多元负荷之间的耦合特征;然后,使用改进位置编码的多头概率稀疏自注意力机制学习长序列输入的依赖关系,并且采用多元预测任务的参数软共享机制,通过不同子任务对共享特征的差异化选择,实现多元负荷的联合预测;最后,在亚利桑那州立大学Tempe校区的多元负荷数据集上对所提模型的性能进行验证,结果表明所提预测方法相较于其他预测模型能够有效提高预测精度。

视觉标签的语义三元组检测模型

本文提出了一种基于视频标签的语音三元组检测模型,目的是从人类语音中识别语义内容三元组,并传递给机器人进行操作.具体来说,本文设计了一个包含语音模块和视频模块的网络框架.在视频模块中,首先利用I3D和Mask R-CNN分别提取动作和物体.随后,两个XGBoost分类器被用于根据动作的类型识别主体物体和受体物体.在提取获得三元组之后,该三元组将被作为软标签用于训练语音模块.在语音模块中,本文引入了多头自注意力模型用于建模语音上下文的相互联系.为了验证方法的有效性,本文将所提出的方法在MPII Cooking 2数据集进行实验,实验结果表明模型能够使用视觉标签作为语音模块的训练标签,并且与其它语音方法相比取得了更优异的性能.最后,该模型被部署到了UR10e机器人上进行进一步执行验证.

基于小波分析的Arima-Transformer组合模型的比特币价格预测

金融商品价格作为一种经典的时间序列,其变化通常表现为非线性、非平稳性及高波动性,使用单一的模型较难实现对金融商品价格的准确预测。文章基于小波分析建立ARIMA-Transformer组合模型,从不同维度分析时间序列的随机波动、循环变化、周期变化等变化规律,对比特币的价格进行时间窗口滚动式预测,预测结果与实际的比特币价格走势大致相同,表明该模型可作为交易者的参考投资模型。