基于HTM-Attention的时序数据异常检测方法

针对现有工业时间序列数据异常检测算法并未充分考虑时序数据在时间相关性方面的研究问题,提出了一种改进的HTM(Hierarchical Temporal Memory)-Attention算法。该算法结合了HTM算法和Attention机制,能学习数据之间的时间依赖关系,并在单变量和多变量时序数据上得到验证。同时,通过引入Attention机制,算法可以关注输入数据中的重要部分,进一步提高了异常检测的效率和准确性。实验结果表明,该算法对不同类型的时间序列异常数据能进行有效地检测,并且比其他常用的无监督异常检测算法具有更高的准确率和更低的运行时间。该算法在工业时间序列数据异常检测的应用中具有较大的潜力。

基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法

针对现有大多数面向查询的多文档抽取式摘要方法通常是将句子的内容显著性及查询相关性分开计算的,且对向量表示的建模不充分的问题,提出一种基于层级BiGRU+Attention的面向查询的新闻多文档抽取式摘要方法.首先,通过训练层级BiGRU+Attention神经网络模型,获得具有丰富上下文语义信息的句子、文档向量表示;并在此过程中通过双线性变换注意力机制,使得文档向量表示不仅具有反映文档深层主旨信息的基本特性,还融入句子与用户查询的相关性信息,然后利用句向量与其进行相似度计算获得相应的句子重要性得分;其次,由句子重要性得分、句子中包含的关键词特征、句子的长度特征以及句子的时序权重系数加权组合得到最终的句子综合特征权重得分;最后,利用MMR算法来选择摘要句.实验结果表明,与其他方法相比本文提出的方法能在一定程度上提高面向查询的多文档抽取式摘要的质量,具有一定的有效性及优越性.

邻域信息分层感知的知识图谱补全方法

知识图谱补全(KGC)旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络(GCN)应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。

一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.

基于注意力机制与特征融合的网络钓鱼检测算法

网络钓鱼是攻击者实施网络诈骗犯罪的主要手段。随着国家反网络诈骗力度的不断加大,各类网络钓鱼活动的技术对抗性也日益增加,给网络钓鱼检测工作带来了较大压力。比如,网络钓鱼攻击通常会利用图像来代替文本,并对高权重的网站标志图像加以小尺度偏移或旋转等手段,来逃避传统的基于文本或图像特征的检测算法。针对网络钓鱼技术对抗性日益增加的问题,提出一种基于注意力机制与特征融合的网络钓鱼检测算法,建立包含两个阶段的融合域名、网页结构、网页文本和网页图标等特征的层级分类模型,可有效针对攻击者的各种技术对抗性策略。该算法在第一阶段利用机器学习模型的轻量特性,融合域名、文本、网页结构特征从海量域名中预召回可疑域名子集,在第二阶段基于候选子集,引入注意力机制加深样本与被仿冒对象之间的全局文本关联特征的提取,并增加样本与被仿冒对象图标间的对比特征,建立融合文本和图像特征的深度分类模型。并在实验环节对该算法的有效性进行了验证。这种分层检测方式有效避免了对海量待检测域名的图像数据抽取,在保证检测精度的前提下大大提升了检测效率。

基于知识子图与注意力机制的在线课程推荐模型

推荐系统可以帮助用户在海量的资源中筛选出满足其需求的项目,不断发展的推荐系统为在线教育提供了新的思路。在线课程资源推荐作为在线教育领域中的重要一环,目前存在课程资源过载和课程推荐结果缺乏可解释性的问题。对此,该文提出了一种基于知识子图与注意力机制的在线课程推荐模型,以利用知识子图进行推荐。有别于直接利用知识图谱进行推荐而忽略了知识表示不准确问题的模型,该模型首先采用Node2vec随机游走方法从知识图谱中提取连接用户-课程对的连通子图,然后通过分层注意网络对子图进行编码,以生成用于用户所需课程预测的子图嵌入,最后生成Top-N推荐课程列表,并给出模型的可解释性说明。为验证模型的有效性,以“中国大学MOOC(慕课)”上的数据为样本构建数据集,实验结果表明,相较于KGCN-PN、GAT、KGAT以及POCR模型,文中模型在NDCG、HR以及MRR评价指标上分别提升了10.6%,9.41%,13.7%。

融合对比学习和BERT的层级多标签文本分类模型

为有效解决现有文本分类模型难以建模标签语义关系的问题,提出一种融合对比学习和自注意力机制的层级多标签文本分类模型,命名为SampleHCT。设计一个标签特征提取模块,能有效提取标签的语义和层次结构特征。采用自注意力机制构建具有混合标签信息的阳性样本。使用对比学习训练文本编码器的标签意识。实验结果表明,SampleHCT相较于19个基准模型,取得了更高的分类分数,验证了其具有更有效的标签信息建模方式。

CMHICL:基于跨模态分层交互网络和对比学习的多模态讽刺检测

多模态讽刺检测的关键在于有效地对齐和融合不同模态的特征。然而,现有融合方法通常忽略多模态间组成结构的关系,并且在识别讽刺时也经常忽略多模态数据中与讽刺情感相关的共同特征的重要性。因此,提出一种基于跨模态分层交互网络和对比学习的模型。首先,跨模态分层交互网络采用了基于交叉注意力机制的最小单元对齐模块和基于图注意力网络的组成结构融合模块,从不同层面上识别文本和图像之间的不一致性,将低一致性的样本判定为含讽刺意味的样本。其次,该模型通过数据增强和类别增强两个对比学习任务,帮助学习讽刺相关的共同特征。实验结果表明,所提模型与基线模型相比,准确率提升了0.81%,F_(1)值提升了1.6%,验证了提出的分层交互网络和对比学习方法在多模态讽刺检测中的关键作用。

结合CNN与TCN神经网络的滚动轴承寿命预测

针对滚动轴承振动信号特征提取不充分、过于依赖人工特征提取及预测精度低等问题,提出了CNN-TCN-Attention网络模型预测方法。该方法选取滚动轴承振动信号作为输入通过增强顶帽算子(EAVGH)对信号进行特征增强,运用卷积神经网络(CNN)来提取信号中的深层特征,并构建TCN-Attention模型对滚动轴承剩余寿命进行预测。将注意力机制与时间卷积网络相结合可以有效的提高模型预测精度,通过轴承寿命实验数据进行验证,CNN-TCN-Attention预测模型能有效的提取滚动轴承振动信号中的深层特征,并且具有较高的预测精度。

基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用.基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足.针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程.此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别.在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征.实验结果表明,该方法在LIVE、TID2013和CSIQ 3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好.

基于双重注意力变换模型的分布式屋顶光伏变电站级日前功率预测

分布式屋顶光伏地理位置分散,受地理环境遮挡和多种气象因素影响,导致光伏出力特性存在差异,给变电站级分布式屋顶光伏日前功率预测造成挑战。针对上述问题,提出了一种基于双重注意力变换模型的分布式屋顶光伏变电站级日前功率预测方法。首先,基于动态时间规整算法计算分布式光伏用户出力特性间的相似度,并基于凝聚层次聚类法将其划分成若干类;然后,利用自主注意力网络学习各时间步间的时序关联特性,通道卷积注意力机制学习多特征变量间的相关性,构建日前功率预测模型;最后,将每一类日前预测结果相加,实现变电站级日前功率预测。算例结果表明所提方法在多种天气状况下,较Transformer、长短期记忆神经网络和时序卷积网络,预测精度显著提升。

学术论文学科领域层次标签分类方法

针对学术论文在学科领域内进行层次标签分类问题,提出了一种基于知识增强的语义表示与图注意力网络的文本层次标签分类(text hierarchical label classification based on enhanced representation through knowledge integration and graph attention networks, GETHLC)模型。首先,通过层次标签抽取模块提取学科领域下层次标签的结构特征,并通过预训练模型对学术论文的摘要、标题和抽取后的层次标签结构特征进行嵌入;然后,在分类阶段基于层次标签的结构分层构造层次分类器,将学术论文逐层分类至最符合的类别中。在大规模中文科学文献数据集CSL上进行的实验结果表明,与基准的ERNIE模型相比,GETHLC模型的准确率、召回率和F1值分别提升了5.78、4.31和5.02百分点。

全局跨层交互网络学习细粒度图像特征表示

细粒度图像分类中的关键任务是提取极具鉴别性的特征。在以往的模型中,往往采用双线性池化技术及其变种来解决这个问题。然而,大多数双线性池化及其变体会忽略层内或层间特征交互,这种不充分的交互易导致鉴别信息丢失或使鉴别信息包含过多冗余信息。针对上述问题,设计一种新的学习细粒度图像特征及特征表示的方法——全局跨层交互(GCI)网络。提出的分层双三次池化方法具有平衡提取鉴别信息和过滤冗余信息能力,并能同时建模层内和层间的特征交互。进一步分析层间交互计算结构,发现易于将交互计算结构与现有的通道注意力机制结合形成交互注意力机制,以提升骨干网络的关键特征提取能力。最后,将交互注意力机制构成的特征提取网络与双三次池化方法融合得到GCI,用来提取鲁棒的细粒度图像特征表示。在3个细粒度基准数据集上进行实验,实验结果表明分层双三次池化实现了分层交互池化框架中最优效果,即在CUB-200-2011、Stanford-Cars、FGVC-Aircraft上分别达到了87.4%、93.2%和92.1%的分类精度,将交互注意力机制融入后分类精度进一步提升至88.5%、95.1%和93.9%。

融合时间序列特征的群组推荐模型

针对传统的群组推荐预定义策略过于单一,忽视用户与项目之间的交互性,无法捕捉时间推移所造成的用户偏好迁移等问题,提出一种融合时间序列和注意力机制的群组推荐模型TAGR(time-attitation group rememdation)。首先通过层次聚类划分出高相似度群组,其次引入时间序列模型来捕捉用户偏好迁移过程,获取每个时刻用户行为的兴趣偏好,并聚合各时刻兴趣偏好作为用户偏好。最后结合注意力机制,获得用户权重进行偏好融合来表示群组偏好,最终作为推荐模型的输入。通过在Goodbook与MovieLens数据集上与NCF、AGREE等模型进行对比,TAGR在归一化折扣累计增益和命中率2个指标上都得到了显著提高。

基于改进YOLOv8s的玫瑰鲜切花分级方法

[目的/意义]针对当前玫瑰鲜切花分级仍依赖人工进行简单分级,造成效率低、准确率低等问题,提出一种新的模型Flower-YOLOv8s来实现玫瑰鲜切花的分级检测。[方法]以单一背景下单支玫瑰花的花头作为检测目标,将鲜切花分为A、B、C、D四个等级,对YOLOv8s(You Only Look Once version 8 small)模型进行了优化改进。首先,构建了一个全新的玫瑰鲜切花分级检测数据集。其次,在YOLOv8s的骨干网络分别添加CBAM(Con⁃volutional Block Attention Module)和SAM(Spatial Attion Module)两个注意力机制模块进行对比实验;选择SAM模块并对其进一步优化,针对模型轻量化需求,再结合深度可分离卷积模块一起添加到C2f结构中,形成Flower-YOLOv8s模型。[结果和讨论]从实验结果来看YOLOv8s添加SAM的模型具有更高的检测精度,mAP@0.5达到86.4%。Flower-YOLOv8s相较于基线模型精确率提高了2.1%,达到97.4%,平均精度均值(mAP)提高了0.7%,同时降低了模型参数和计算量,分别降低2.26 M和4.45 MB;最后使用相同的数据集和预处理方法与Fast-RCNN、Faster-RCNN、SSD、YOLOv3、YOLOv5s和YOLOv8s进行对比实验,证明所提出的实验方法综合强于其他经典YOLO模型。[结论]提出的基于改进YOLOv8s的玫瑰鲜切花分级方法研究能有效提升玫瑰鲜切花分级检测的精准度,为玫瑰鲜切花分级检测技术提供一定的参考价值。

基于BERT-Graphormer的中文专利文本分类模型研究

[目的/意义]随着专利申请量不断增长和专利分类类别的复杂化,针对提高专利分类工作效率、审查质量、节约人力资源的需求,构建中文专利文本分类模型。[方法/过程]通过微调Graphormer模型对专利标签的结构及信息进行建模,利用建模后的标签信息来增强BERT模型的文本表示。[结果/结论]相对于其他基线模型,该模型的Micro-F1与Macro-F1分数分别提升了1.6%与3.5%。实现了多标签专利的自动分类,通过对标签、文本的信息进行建模、融合,从而进一步提升模型的分类效果。

基于YOLOv4-tiny的安全帽检测算法研究

为了可以有效监管施工人员佩戴安全帽的情况,使用YOLOv4-tiny目标检测算法进行佩戴安全帽检测。YOLOv4-tiny模型在维持精确度的同时,计算量更少,检测速度更快,更适用于实时的安全帽佩戴检测。但是YOLOv4-tiny在复杂的工作场景中容易出现错检或漏检情况。为解决这一问题,在原模型的基础上添加CBAM、SE、ECA、CA注意力机制,将几种不同的注意力机制进行比较,解决模型检测效果差的问题,使用改进的YOLOv4-tiny算法可以更好地完成安全帽检测任务。

基于标签注意力的分层ICD自动编码方法

针对目前自动ICD(international classification of diseases)编码任务存在标签空间大、诊断代码分布不均衡与临床文本表征差的问题,提出一种融合Longformer与标签注意力的分层ICD自动编码模型。借助Clinical-Longformer预训练语言模型获得融合长文本语境的词向量表征。通过将标签的语义表示与注意力机制相结合,捕捉临床文本中与诊断代码相关的关键特征信息,获取更精准的文本表示。引入分层联合学习机制,建立分层预测层解码输出ICD编码。实验结果表明,该模型的准确率、召回率与F1值均高于现有模型,验证了该方法进行自动ICD编码的有效性,为实施疾病诊断相关分组提供高质量的数据支撑。

基于层级Transformer的高光谱图像分类方法

高光谱图像分类将每个像素分类至预设的地物类别,对环境测绘等各类地球科学任务有着至关重要的意义。近年来,学者们尝试利用深度学习框架进行高光谱图像分类,取得了令人满意的效果。然而这些方法在光谱特征的提取上仍存在一定缺陷。本文提出一个基于自注意力机制的层级融合高光谱图像分类框架(hierarchical self-attention network,HSAN)。首先,构建跳层自注意力模块进行特征学习,利用Transformer结构中的自注意力机制捕获上下文信息,增强有效信息贡献。然后,设计层级融合方式,进一步缓解特征学习过程中的有效信息损失,增强各层级特征联动。在Pavia University及Houston2013数据集上的试验表明,本文提出的框架相较于其他高光谱图像分类框架具有更好的分类性能。

基于加权层级注意力机制的疾病预测模型

近年来,针对电子病历文本的研究受到越来越多的关注,而相关疾病预测模型很少注意到病历文本中记录独立分布的半结构化形式以及语义关系复杂的特点,故该文提出了一种基于加权层级注意力机制的辅助诊断方法,设计加权累加法将普通句向量转换为结构弱关联句向量,并构成词、句、文档层级结构注意力机制来提高模型结构学习能力,此外,设计监督层用于缓解语义关系复杂造成的学习偏置问题,以辅助模型的训练效果。在真实数据集中进行验证表明,该文模型优于当前主流的深度学习模型,取得了较好效果。