A^(2)former模型在时间序列预测中的应用研究

时间序列预测在金融、医疗、交通和气象等领域发挥着重要作用。在长时间序列预测中,迫切需要提高预测的精度,解决内存不足等问题。近年来,Transformer模型在自然语言处理领域得以成功应用的同时,在预测研究领域也引起了学者们的广泛关注,Transformer变体Informer模型的研究在时间序列预测中取得了较大进展。本研究以Informer框架为基础,与加性注意力机制相结合,提出了A^(2)former模型。利用A^(2)former模型在ETT,WTH,ECL和PM2.5数据集上进行了长时间序列预测的实验,实验结果表明所提模型在长时间序列预测中表现出比基线方法(如Informer模型和LSTMa模型)更好的性能。A^(2)former模型不仅将计算时间复杂度降低到线性,而且可以实现更有效的序列建模。本研究的工作为时间序列预测提供了有益参考。

基于FPGA的移动机器人SNNs走廊场景分类器

神经形态芯片是类脑计算的重要研究内容之一,神经网络的硬件实现是神经形态芯片实现的基础。具有生物似真性的脉冲神经网络(Spiking Neural Networks, SNNs),通过尖脉冲(Spikes)传递时空信息,更适于用硬件实现,是实现类脑计算的主要工具之一。该文提出一种基于FPGA的移动机器人SNNs走廊场景分类器:将移动机器人超声传感器信息进行脉冲编码后输入到SNNs走廊场景分类器中,通过FPGA分类器的脉冲输出模式来判断机器人所处的走廊场景,从而提高机器人的环境感知能力和自主性。详细讨论了脉冲积分点火神经元模型的FPGA实现原理,以及基于此神经元模型的SNNs走廊场景分类器的硬件实现方案,仿真及实验结果证明了所提基于FPGA的移动机器人SNNs走廊场景分类器的有效性。所提走廊场景分类器不受光照条件的影响,需要的传感器测量信息少,FPGA硬件资源占有率低(LE的利用率仅10%),分类速度快、准确率高,适于实际应用。该研究不仅可以提高移动机器人的环境感知能力和自主性,而且为硬件实现SNNs提供了有益参考。

基于弯曲声线和测距修正的水下节点定位算法

针对由于水下声速变化及障碍物干扰引起的定位误差较大的问题,本文提出了一种抛物模型定位算法.首先基于到达角度提出了适用于弯曲声线的抛物模型测距法.然后基于到达时间提出了非理想路径测距识别方法和理想路径测距修正方法.最后利用投影法结合最小二乘法完成定位.仿真实验表明,该算法在弯曲声线、路径识别、测距优化三个方面均能有效地降低误差.

基于影响力的跨社交网络谣言扩散模型与抑制方法

传统在线社交网络谣言分析模型均考虑单一的社交网络,而当前谣言通常跨多个社交网络进行传播,传播速度极快,影响极大。针对这种情况,提出一种基于社交影响力的跨多个社交网络谣言传播模型,基于该模型给出贪婪谣言抑制方法。通过用户与其邻居的外部聚类系数决定社交网络的影响力节点,保留高影响力节点的谣言扩散连接,从而降低模型的复杂度,以贪婪算法为基础,预测传播能力强的种子节点,通过失活种子节点集对谣言进行快速抑制。实验结果表明,该模型能够较为准确地模拟谣言的传播趋势,同时算法能够快速抑制谣言的传播。

一种融合胶囊网络的分类方法

目前的ADMET分类方法在对具有多特征性和特征关联性的化合物数据进行ADMET分类时存在不足。而且,对ADMET分类结果不具备可解释性。针对上述问题,提出一种融合胶囊网络的分类模型(CapsMC)。CapsMC模型首先提出一种feature-to-image图像转换算法。使用该算法将特征之间的关联关系和依赖关系作为考量纳入到分类依据中,实现特征的多层次提取。其次,探索胶囊网络的高级应用,提出一种认知推理机制。使用该机制对特征进行认知推理,实现ADMET的可解释性分类。模型在五种ADMET数据集上的实验结果表明,CapsMC模型可以高效实现ADMET的可解释性分类。

一种具有连续跳数值的三维DV-Hop改进算法

设计精确的定位算法是无线传感器网络(Wireless Sensor Networks,WSNs)的研究热点.针对DV-Hop(Distance Vector-Hop)定位算法中节点间距离估计误差较大导致定位不精确的问题,提出了一种具有连续跳数值的三维DV-Hop改进算法.探究了邻居节点间的距离与相应节点位置和通信半径构成的相交球体体积之间的关系,提出了连续跳数值的定义,并通过参数修正给出了其计算方法.通过仿真实验探究了网络环境对参数的影响并确定了参数的取值,使用连续跳数值代替DV-Hop算法中的跳数来降低节点间距离估计误差.仿真实验表明,该算法在不增加算法复杂度以及额外硬件的情况下有效地降低了定位误差.

结合双流特征融合及对抗学习的图像显著性检测

为实现图像显著区域或目标的低级特征与语义信息有意义的结合,以获取结构更完整、边界更清晰的显著性检测结果,提出一种结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)算法.首先,以VGG-16和Res2Net-50为双流异构主干网络,实现自底向上、不同级别的特征提取;之后,分别针对每个流结构,将相同级别的特征图送入卷积塔模块,以增强级内特征图的多尺度信息;进一步,采用自顶向下、跨流特征图逐级侧向融合方式生成显著图;最后,在条件生成对抗网络的主体框架下,利用对抗学习提升显著性检测结果与显著目标的结构相似性.以P-R曲线、F-measure、平均绝对误差、S-measure为评价指标,在ECSSD,PASCAL-S,DUT-OMRON以及DUTS-test 4个公开数据集上与其他10种基于深度学习的显著性检测算法的对比实验表明,SaTSAL算法优于其他大部分算法.

基于依存关系的命名实体识别

现有的命名实体识别方法主要是将句子看作一个序列进行处理,忽略了句子中潜在的句法信息,存在长距离依赖问题。为此,该文提出一种基于依存关系的命名实体识别模型,通过在输入数据中增加依存树信息,改变双向长短时记忆网络的层间传播方式,以获得单词在依存树中的子节点和父节点信息,并通过注意力机制动态选择两者的特征,最后将特征输入到CRF层实现命名实体标注。实验表明,该方法较BiLSTM-CRF模型在性能上得到了提高,且在长实体识别上优势明显。在OntoNotes 5.0 English和OntoNotes 5.0 Chinese以及SemEval-2010 Task 1 Spanish上的F1值分别达到了88.94%、77.42%、84.38%。

基于耦合度量的多尺度聚类挖掘方法

为了能够更好地对非独立同分布的多尺度分类型数据集进行研究,基于无监督耦合度量相似性方法,提出针对非独立同分布的分类属性型数据集的多尺度聚类挖掘算法。首先,对基准尺度数据集进行基于耦合度量的基准尺度聚类;其次,提出基于单链的尺度上推和基于Lanczos核的尺度下推尺度转换算法;最后,利用公用数据集以及H省真实数据集进行实验验证。将耦合度量相似性(Couple metric similarity,CMS)、逆发生频率(Inverse occurrence frequency,IOF)、汉明距离(Hamming distance,HM)等方法与谱聚类结合作为对比算法,结果表明,尺度上推算法与对比算法相比,NMI值平均提高13.1%,MSE值平均减小0.827,F-score值平均提高12.8%;尺度下推算法NMI值平均提高19.2%,MSE值平均减小0.028,F-score值平均提高15.5%。实验结果表明,所提出的算法具有有效性和可行性。

基于统计特征的Quality Phrase挖掘方法

Quality Phrase挖掘是从文本语料库中提取有意义短语的过程,是文档摘要、信息检索等任务的基础。然而现有的无监督短语挖掘方法存在候选短语质量不高、Quality Phrase的特征权重平均分配的问题。本文提出基于统计特征的Quality Phrase挖掘方法,将频繁N-Gram挖掘、多词短语组合性约束及单词短语拼写检查相结合,保证了候选短语的质量;引入公共知识库对候选短语添加类别标签,实现了Quality Phrase特征权重的分配,并考虑特征之间相互影响设置惩罚因子调整权重比例;按照候选短语的特征加权函数得分排序,提取Quality Phrase。实验结果表明,基于统计特征的Quality Phrase挖掘方法明显提高了短语挖掘的精度,与最优的无监督短语挖掘方法相比,精确率、召回率及F1-Score分别提升了5.97%,1.77%和4.02%。

多尺度分类挖掘算法

多尺度分类挖掘多局限于空间数据,且对一般数据尺度特性进行分类的研究较少。针对上述问题,进行普适的多尺度分类方法研究,以扩大多尺度适用范围。从空间数据估计角度出发,结合层次理论和尺度特性,基于概率密度估计离散化方法,针对数据的多尺度特性进行分类挖掘。以非局部均值和三次卷积插值为理论基础,利用Q统计和不一致度量进行操作,提出多尺度分类尺度上推算法和多尺度分类尺度下推算法。采用UCI数据集和H省人口真实数据集进行实验,并与CFW、MSCSUA和MSCSDA等算法进行对比,结果表明,该算法可行有效。与其他算法相比,尺度上推算法正确率平均提高4.5%,F-score提高4.8%,NMI提高12.3%,尺度下推算法各个相应指标分别平均提高5.3%,6.6%和11.8%。

基于Transformer的网络安全态势预测

针对当下网络安全态势预测准确率低的问题,将Transformer用于网络安全态势预测.首先,引入门控循环单元(GRU)来降低样本特征的维度,维度的下降有利于减少训练Transformer的代价和缓解Transformer过拟合问题;然后,将降维后的特征输入Transformer层,通过编码器提取具有时序关系的特征;最后,使用全局平均池化处理提取的特征,以减少全连接层的参数量,减缓过拟合问题.在两个网络安全数据集上的实验表明:该方法可以降低训练时间,并且在准确率、精确率和F1值三个指标上的综合表现优于其他方法.

基于重引力搜索和深度学习的图像表情识别研究

传统表情识别技术采用单一类型的特征表示方法,由于每个特征类型对不同数据集的表示效果存在差异,导致传统技术对不同数据集的表情识别效果也存在较大的差异。设计一种多类型混合特征的选择方案,用以提高不同数据集的表情识别准确率。将面部不同区域、不同类型的特征集作为基础特征集,利用重引力搜索算法从基础特征集中选择优化的特征子集。将优化的特征子集输入深度信念网络进行训练和半监督学习,采用训练的网络模型对表情进行识别。实验结果表明,在不同数据集条件下,采用该方法均能够保持较高的识别准确率。

基于注意力网络特征的社区发现算法

现实世界中许多网络都是根据社区结构紧密组织起来的,发现社区对于了解复杂网络的结构及其关系有很大的帮助,文中提出了一种基于注意力网络特征的社区发现(community discovery algorithm based on attention network features,CANF)算法,利用标记节点频率和反示例节点频率度量初始网络标记特征,并且引入注意力机制,对示例节点的每个邻居节点更好地分配权重,将初始权重与分配权重相结合,使初始度量的网络特征获取更多与目标有关的细节信息。文中通过分配的注意力网络特征进行复杂网络预处理以及社区博弈归并,于真实网络中进行验证,实验结果表明,CANF算法在准确度、模块度以及运行时间方面优于其他社区发现算法。

基于标记注意力机制的社区发现算法

针对网络的聚类进行研究,提出了一种基于标记注意力机制的社区发现算法,网络特征通过标记节点频率及反示例节点频率联合度量,为使网络特征的度量更加关注于示例节点的细节信息,引入注意力机制来处理网络特征。社区划分由复杂网络预处理、网络节点的策略、社区博弈归并三个部分组成,其中网络节点的策略由无贡献节点归并、节点到社区的判断以及节点逻辑标记和的判断三个步骤组成。实验借助于真实网络进行验证,在归一化互信息、模块度、社区划分数量及运行时间四个方面,基于标记注意力机制的社区发现算法都优于其它社区发现算法。在实际生活中应用此算法,能够更加直观地显示网络内部之间存在的联系。