基于时空多头图注意力网络的交通流预测

针对当前路网交通流量预测方法中存在的挖掘复杂的动态时空特性和长距离的空间依赖性能力不足等问题,基于多头自注意力网络构建一种新型的交通流预测模型.考虑到交通流在不同周期尺度下呈现出的高度相似性,以及静态时空特征,引入日和周这2种周期尺度下的数据张量作为模型输入,来表达交通流数据的时间相似性,并通过输入数据的时空位置编码获取其静态时空特征.考虑到交通流的动态时空特性和长距离的空间依赖性,主体模型基于多头自注意力机制分别设计时间多头注意力模块和空间多头注意力模块.时间多头注意力模块利用一个图掩码矩阵获得局部注意力,并将其融合到一个多头自注意力中,以提取交通流的动态时间特征.空间多头注意力模块利用两个图掩码矩阵获得局部注意力和全局注意力,并将其融合到一个多头自注意力中,以提取路网节点的动态空间特征和长距离的空间依赖性.最后,设计一个门控融合模块自适应地融合交通流数据的时空相关性特征.在三个真实交通流基准数据集PEMS04,PEMS07和PEMS08上进行模型的有效性验证,结果表明,所建模型在3个数据集上的3个预测精度指标与其他精度最高模型相比,平均提高了4.437%,2.930%,4.275%.

基于多头注意力网络的无监督跨媒体哈希检索

跨媒体哈希检索将不同媒体数据编码到公共二值哈希空间中,从而可以有效地测量不同模态样本之间的相关性.为了进一步提高检索性能,提出基于多头注意力网络的无监督跨媒体哈希检索方法.首先,利用多头注意力网络生成哈希码矩阵,使图像和文本能获得更好的匹配.其次,构造一个辅助相似度矩阵,用以整合来自不同模态的原始邻域信息.通过辅助相似度矩阵与哈希码矩阵的协同学习,能够捕获不同模态之间和相同模态内部的潜在联系.此外,设计了两种损失函数训练网络模型,并使用批量归一化和更换哈希码生成函数的策略对模型进行优化,使模型的训练速度得到大幅提升.在3个数据集上的实验表明,本方法的平均性能比目前国际上先进的无监督方法有显著提升,充分证明了本方法的有效性和优越性.

基于图注意力网络的风电场汇集并网系统次同步振荡预警方法

大规模双馈风电场经串补并网系统易产生次同步振荡,若无法及时发现振荡现象并准确告警,将严重威胁系统安全稳定运行。次同步振荡预警是依据电力系统在线量测数据,判断系统振荡稳定性,为调度人员提供实时可靠的预警信息。针对现有次同步振荡在线监测无法实现事前预警的问题,提出一种基于图注意力网络(graph attention network,GAT)的次同步振荡预警方法。首先,分别从风电场侧和电网侧筛选次同步振荡关键影响因素,以减少输入特征信息的冗余;其次,基于多头注意力机制构建多头图注意力网络,考虑不同风电场间以及风电场与电网之间耦合影响的差异,实现不同风电场之间的次同步振荡特征聚合;最后,在搭建的多风电场汇集并网系统上进行次同步振荡稳定性预警,验证了所提方法的准确性和抗干扰性。

基于语义引导自注意力网络的换衣行人重识别模型

针对换衣行人重识别(ReID)任务中有效信息提取困难的问题,提出一种基于语义引导自注意力网络的换衣ReID模型。首先,利用语义信息将图像分割出无服装图像,和原始图像一起输入双分支多头自注意力网络进行计算,分别得到衣物无关特征和完整行人特征。其次,利用全局特征重建模块(GFR),重建两种全局特征,得到的新特征中服装区域包含换衣任务中鲁棒性更好的头部特征,使得全局特征中的显著性信息更突出;利用局部特征重组重建模块(LFRR),在完整图像特征和无服装图像特征中提取头部和鞋部局部特征,强调头部和鞋部特征的细节信息,并减少换鞋造成的干扰。最后,除了使用行人重识别中常用的身份损失和三元组损失,提出特征拉近损失(FPL),拉近局部与全局特征、完整图像特征与无服装图像特征之间的距离。在PRCC(Person ReID under moderate Clothing Change)和VC-Clothes(Virtually Changing-Clothes)数据集上,与基于衣物对抗损失(CAL)模型相比,所提模型的平均精确率均值(mAP)分别提升了4.6和0.9个百分点;在Celeb-reID和Celeb-reID-light数据集上,与联合损失胶囊网络(JLCN)模型相比,所提模型的mAP分别提升了0.2和5.0个百分点。实验结果表明,所提模型在换衣场景中突出有效信息表达方面具有一定优势。

基于信息调控和MATCN的超短期风电功率多步预测

对波动的风电功率进行有效预测,是电网供需平衡、系统稳定运行的重要保障。为此,提出一种基于信息调控和MATCN的超短期风电功率多步预测方法。利用现有数据衍生出高阶项与交互项,提升特征序列数量与有效特征占比。针对复杂的风电数据结构,使用变分模态分解(VMD)将其拆分,根据子序列相关性和方差贡献率的计算结果保留重要序列分量,其余分量进行聚合,降低计算负担,缩短训练时间。随后,引入注意力机制构造多头注意力时间卷积网络(MATCN),通过注意力得分调整网络内部卷积单元之间的传递信息,实现模型对各序列分量的预测。最后,重构序列分量预测值,得到最终的输出结果。在实例数据上对所提模型进行对比验证,结果表明,该模型在不同步幅下均具有较好的预测效果。

基于改进指针网络的卫星对地观测任务规划方法

针对卫星观测任务规划问题约束复杂、求解空间大和输入任务序列长度不固定的特点,使用深度强化学习(DRL)方法对卫星观测任务规划问题进行求解.综合考虑时间窗口约束、任务间转移机动时间和卫星电量、存储约束,对卫星观测任务规划问题进行建模.基于指针网络(PN)的运行机制建立序列决策算法模型,使用Mask向量来考虑卫星观测任务规划问题中的各类约束,并通过Actor Critic强化学习算法对模型进行训练,以获得最大的收益率.借鉴多头注意力(MHA)机制的思想对PN进行改进,提出多头注意力指针网络(MHA-PN)算法.根据实验结果可以看出,MHA-PN算法显著提高了模型的训练速度和泛化性能,训练好的MHA-PN算法模型可以直接对输入序列进行端到端的推理,避免传统启发式算法迭代求解的过程,具有较高的求解效率.

QA-KGNet:一种语言模型驱动的知识图谱问答模型

基于知识图谱的问答系统可以解析用户问题,已成为一种检索知识、自动回答所询问题的有效途径.知识图谱问答系统通常是利用神经程序归纳模型,将自然语言问题转化为逻辑形式,在知识图谱上执行该逻辑形式能够得到答案.然而,使用预训练语言模型和知识图谱的知识问答系统包含两个挑战:(1)给定问答(questionanswering, QA)上下文,需要从大型知识图谱(knowledge graph, KG)中识别相关知识;(2)对QA上下文和KG进行联合推理.基于此,提出一种语言模型驱动的知识图谱问答推理模型QA-KGNet,将QA上下文和KG连接起来形成一个工作图,使用语言模型计算给定QA上下文节点与KG节点的关联度,并使用多头图注意力网络更新节点表示.在Commonsense QA、OpenBookQA和Med QA-USMLE真实数据集上进行实验来评估QA-KGNet的性能,实验结果表明:QA-KGNet优于现有的基准模型,表现出优越的结构化推理能力.

基于深度强化学习的动态投资组合优化新模型

基于深度强化学习的动态投资组合优化模型存在很多具有挑战性的问题,例如高维的环境空间和动作空间,以及如何从高维状态空间和嘈杂的金融时间序列数据中提取有用信息。为了解决这些问题,我们提出了一种新的模型结构,称为自适应噪声的完整集合经验模态分解-多头注意力网络-强化学习模型。这种新模型结构集成了数据处理方法、深度学习模型和强化学习模型,以提高感知和决策能力。实证分析表明,我们提出的模型结构在动态投资组合优化方面具有一定的优势。此外,在实验对比的过程中,我们发现了另外一种稳健的投资策略。该策略为,投资组合中的每只股票给定相同资金,并将独立的结构分别作用于每只股票。

高速公路突发事件实体识别及事件分类联合模型研究

针对高速公路突发事件实体识别和事件分类任务中文本表征时存在的一词多义问题,提出使用层次多头注意力网络HMAN来学习文本字向量的高层次特征表示,结合经典的BiLSTM-CRF模型,构建一个称为HMAN-BiLSTMCRF的多任务联合学习模型。模型共享文本特征表示模块,使用CRF对共享表征进行解码获得最优实体标注序列,而全连接层则根据输入的文本特征预测事件类别。在FEIC数据集上的实验结果显示,本文所提出的HMAN-BiLSTM-CRF在突发事件实体识别和分类两项任务中都优于其他对比模型。

基于深度学习的金属离子-有机配体配位稳定常数的预测

金属离子-有机配体配合物的稳定性由金属离子种类、有机配体结构和实验条件三个因素决定。使用传统方法获得配合物的稳定常数耗时耗力,不利于特异性金属螯合剂的高通量筛选。因此,基于多头图注意力网络提出一种综合考虑多种影响因素的配合物稳定常数高通量预测模型。首先,对从数据库中提取的7127个配合物中涉及到的1371个有机分子生成分子属性图,其次利用多头图注意力网络对分子属性图进行特征提取,并将提取的分子特征拼接编码的金属离子和实验条件,最后送入全连接层进行配合物稳定常数的预测。模型在测试集上的R^(2)和RMSE分别为0.956和1.251,表明所构建模型具有良好的泛化能力。此外,将文献中基于密度泛函理论计算的螯合物稳定常数与模型预测值进行对比,结果表明模型更为可靠与高效。