基于空洞分层注意力胶囊网络的X射线焊缝缺陷识别方法

由于X射线焊缝图像的复杂多样性,使得很多传统基于X射线焊缝缺陷检测方法的准确性不高,泛化能力较差。提出一种基于空洞分层注意力胶囊网络(DHACNet)的X射线焊缝缺陷识别方法。DHACNet由卷积模块、空洞分层注意力和胶囊网络(CapsNet)组成。卷积模块用来提取图像的卷积特征,空洞分层注意力用来提取多尺度显著性特征,CapsNet利用胶囊层和动态路由算法替代卷积神经网络(CNN)中的池化操作和全连接操作。DHACNet具有强大多尺度特征提取能力,能够克服CNN只关注图像局部特征和池化操作导致图像部分信息丢失等不足。在构建的X射线焊缝缺陷图像集上进行识别试验,识别准确率为96%以上,与传统方法进行比较,结果表明,该方法有效可行,能够为X射线焊缝缺陷识别系统提供技术支持。

基于情感融合和层次注意力机制的情感分析

针对两个反义词在相似语境下转化成词向量后空间距离相近,容易造成情感信息丢失,循环神经网络等的特征提取方式容易导致网络依赖增强,难以充分提取局部性特征。针对第一个问题,本文提出情感嵌入模块,在词嵌入的过程中加入情感向量与语义信息作为网络的输入层;针对第二个问题,本文提出层次注意力机制,将融合后的词向量切片形成两个子序列,将单词的词向量输入到双向门控循环网络,利用注意力机制对隐藏层进行加权计算,获得子序列文本信息,通过多个网络层获得整个文本序列信息;最后,经过softmax函数输出文本情感极性。在NLPIR微博语料库和NLPCC2014的微博公开数据集进行实验,表明该情感分析模型在准确率上有所提高,证明了模型的有效性。

基于非平衡MD&A文本数据的财务欺诈识别

财务欺诈不仅会导致会计信息失真,还会危害经济的健康发展。因此,找到一种高效的智能化欺诈识别方法具有重要的现实意义。本文基于2020—2022年美国上市公司提交到EDGAR数据库的年度报告,聚焦于报告中管理层讨论与分析部分的文本信息(Management Discussion and Analysis,MD&A)并对其进行分析。考虑到现有数据中欺诈和非欺诈样本数据极度不平衡的特点,本文在分层注意力网络的基础上设计了一个更高效的财务欺诈识别模型,最终使得欺诈识别模型的F1分数和F2分数分别提高了4.1%和3.7%,所提出的算法框架能够有效提高非平衡MD&A文本数据集的分类正确率。研究结果为财务欺诈识别系统性能的提高以及其他领域长文本分类任务的预测提供了新的解决思路,并进一步验证了使用MD&A文本数据进行财务欺诈识别的有效性,为使用非平衡数据进行欺诈识别提供了直接的实证支持。

基于改进分层注意网络和TextCNN联合建模的暴力犯罪分级算法

为了科学、智能地对服刑人员的暴力倾向分级,将自然语言处理(NLP)中的文本分类方法引入犯罪心理学领域,提出一种基于改进分层注意网络(HAN)与TextCNN(Text Convolutional Neural Network)两通道联合建模的犯罪语义卷积分层注意网络(CCHA-Net),通过分别挖掘犯罪事实与服刑人员基本情况的语义信息,完成暴力犯罪气质分级。首先,采用Focal Loss同时替代两通道中的Cross-Entropy函数,优化样本数量不均衡问题。其次,在两通道输入层中,同时引入位置编码,改进对位置信息的感知能力;改进HAN通道,采用最大池化构建显著向量。最后,输出层都采用全局平均池化替代全连接方法,以避免过拟合。实验结果表明,与AC-BiLSTM(Attention-based Bidirectional Long Short-Term Memory with Convolution layer)、支持向量机(SVM)等17种相关基线模型相比,CCHA-Net各项指标均最优,微平均F1(Micro_F1)为99.57%,宏平均和微平均下的曲线下面积(AUC)分别为99.45%和99.89%,相较于次优的AC-BiLSTM提高了4.08、5.59和0.74个百分点,验证了CCHA-Net能有效胜任暴力犯罪气质分级任务。

邻域信息分层感知的知识图谱补全方法

知识图谱补全(KGC)旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络(GCN)应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。

基于双重注意力和分层感知表征的IQA方法

图像质量评价在图像处理领域有着广泛的应用.基于深度学习的方法以多通道特征的形式获取图像信息,但在特征下采样过程中会丢失局部空间细节,导致对于图像信息的表征能力不足.针对以上问题,本文基于人类视觉系统的分层感知机制,提出了一种全参考图像质量评价方法,采用Siamese结构的卷积神经网络实现非线性映射,从不同尺度和视觉复杂度表征图像信息,并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程.此方法在特征提取阶段引入空间注意力机制,对特征图的二维空间位置赋以权重,计算人在感知图像失真信息时对空间区域的注意力差别.在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系,对感知差异特征进行自适应的校准,使网络关注对于图像质量评价影响大的通道特征.实验结果表明,该方法在LIVE、TID2013和CSIQ 3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963,在应对复杂失真类型图像时的性能提升显著,与人类主观评价的一致性良好.

基于CNN-BiLSTM-HAN混合神经网络的高校图书馆社交网络平台细粒度情感分析

[目的/意义]从高校图书馆社交网络平台用户评论数据挖掘角度出发,对用户评论情感极性进行细粒度分析,为高校图书馆了解用户真实情感倾向并提升服务质量提供科学依据。[方法/过程]以国内高校图书馆社交网络平台用户中文评论数据为研究对象,通过Tensor Flow深度学习框架,利用Keras人工神经网络库,将卷积神经网络(Convolution Neural Network,CNN)和双向长短时记忆网络(Bidirectional Long Short Term Memory,BiLSTM)结合,并引入层次化注意力机制(Hierarchical Attention,HAN),构建基于CNN-BiLSTM-HAN混合神经网络的情感分析模型。[结果/结论]利用真实高校图书馆社交网络平台用户评论数据集进行实验,本文方法取得93.38%的准确率,结果表明本文模型的有效性。模型较为复杂,导致模型训练时间上较长,方法模型的普适性有待进一步检验,表情符号信息没有得到有效利用,参数设置尚需进一步研究。

全局跨层交互网络学习细粒度图像特征表示

细粒度图像分类中的关键任务是提取极具鉴别性的特征。在以往的模型中,往往采用双线性池化技术及其变种来解决这个问题。然而,大多数双线性池化及其变体会忽略层内或层间特征交互,这种不充分的交互易导致鉴别信息丢失或使鉴别信息包含过多冗余信息。针对上述问题,设计一种新的学习细粒度图像特征及特征表示的方法——全局跨层交互(GCI)网络。提出的分层双三次池化方法具有平衡提取鉴别信息和过滤冗余信息能力,并能同时建模层内和层间的特征交互。进一步分析层间交互计算结构,发现易于将交互计算结构与现有的通道注意力机制结合形成交互注意力机制,以提升骨干网络的关键特征提取能力。最后,将交互注意力机制构成的特征提取网络与双三次池化方法融合得到GCI,用来提取鲁棒的细粒度图像特征表示。在3个细粒度基准数据集上进行实验,实验结果表明分层双三次池化实现了分层交互池化框架中最优效果,即在CUB-200-2011、Stanford-Cars、FGVC-Aircraft上分别达到了87.4%、93.2%和92.1%的分类精度,将交互注意力机制融入后分类精度进一步提升至88.5%、95.1%和93.9%。

融合时间序列特征的群组推荐模型

针对传统的群组推荐预定义策略过于单一,忽视用户与项目之间的交互性,无法捕捉时间推移所造成的用户偏好迁移等问题,提出一种融合时间序列和注意力机制的群组推荐模型TAGR(time-attitation group rememdation)。首先通过层次聚类划分出高相似度群组,其次引入时间序列模型来捕捉用户偏好迁移过程,获取每个时刻用户行为的兴趣偏好,并聚合各时刻兴趣偏好作为用户偏好。最后结合注意力机制,获得用户权重进行偏好融合来表示群组偏好,最终作为推荐模型的输入。通过在Goodbook与MovieLens数据集上与NCF、AGREE等模型进行对比,TAGR在归一化折扣累计增益和命中率2个指标上都得到了显著提高。

基于双编码器表示学习的多模态情感分析

多模态情感分析旨在通过用户上传在社交平台上的视频来判断用户的情感.目前的多模态情感分析研究主要是设计复杂的多模态融合网络来学习模态之间的一致性信息,在一定程度上能够提升模型的性能,但它们大部分都忽略了模态之间的差异性信息所起到的互补作用,从而导致情感分析出现偏差.本文提出了一个基于双编码器表示学习的多模态情感分析模型DERL(dual encoder representation learning),该模型通过双编码器结构学习模态不变表征和模态特定表征.具体来说,我们利用基于层级注意力机制的跨模态交互编码器学习所有模态的模态不变表征,获取一致性信息;利用基于自注意力机制的模态内编码器学习模态私有的模态特定表征,获取差异性信息.此外,我们设计两个门控网络单元对编码后的特征进行增强和过滤,以更好地结合模态不变和模态特定表征,最后在融合时通过缩小不同多模态表示之间的L2距离以捕获它们之间潜在的相似情感用于情感预测.在两个公开的数据集CMU-MOSI和CMU-MOSEI上的实验结果表明该模型优于一系列基线模型.

基于HAN的双通道复合模型的文本情感分类

针对单一的神经网络模型结构简单、传统的注意力模型无法有效提取层次化的文本特征的问题,提出了一种基于HAN的双通道复合模型的文本情感分类。首先,在一个通道上使用双向门限循环(GRU)神经网络提取序列化信息,并引入层次化注意力网络(HAN)学习序列层次化文本信息。其次,在另一通道中借助分解卷积神经网络(CNN)获取局部文本特征,结合HAN学习深层次特征信息。最后,将两个通道进行融合,丰富特征向量,优化文本情感分类效果,提高模型的准确率。在3组中文数据集上进行多组对比实验,本文模型准确率分别达到92.06%,91.08%,92.71%,证明提出模型比单一通道模型表现更出色,使用层次化注意力网络比传统的注意力网络效果更好。

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足:一是不能较好地对文本特征进行提取;二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题,提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵,然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础,同时利用最大池化提取句子特定的目标向量,使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示,并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示,然后将其与文本的特征信息进行交互、融合,以减少原有特征损失,得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明,该模型的分类准确率明显优于其它主流基线模型的。

基于并行卷积网络信息融合的层级多标签文本分类算法

自然语言处理是人工智能与机器学习领域的重要方向,它的目标是利用计算机技术来分析、理解和处理自然语言。自然语言处理的一个重点研究方向是从文本内容中获取信息,并且按照一定的标签体系或标准将文本内容进行自动分类标记。相比于单一标签文本分类而言,多标签文本分类具有一条数据属于多个标签的特点,使得更难从文本信息中获得多类别的数据特征。层级多标签文本分类又是其中的一个特别的类别,它将文本中的信息对应划分到不同的类别标签体系中,各个类别标签体系又具有互相依赖的层级关系。因此,如何利用其内部标签体系中的层级关系更准确地将文本分类到对应的标签中,也就成了解决问题的关键。为此,提出了一种基于并行卷积网络信息融合的层级多标签文本分类算法。首先,该算法利用BERT模型对文本信息进行词嵌入,接着利用自注意力机制增强文本信息的语义特征,然后利用不同卷积核对文本数据特征进行抽取。通过使用阈值控制树形结构建立上下位的节点间关系,更有效地利用了文本的多方位语义信息实现层级多标签文本分类任务。在公开数据集Kanshan-Cup和CI企业信息数据集上的结果表明,该算法在宏准确率、宏召回率与微F1值3种评价指标上均优于主流的TextCNN,TextRNN,FastText等对比模型,具有较好的层级多标签文本分类效果。

基于注意力机制及类别层次结构的弱监督目标定位

弱监督目标定位是指仅利用图像级的类别标注信息来训练目标定位器,而不需要使用精确的目标位置标注信息来进行算法训练.当前的一些方法往往只能定位出目标对象中最具鉴别性的部分而无法准确地标识出完整的目标对象,或者易受背景无关信息干扰从而导致定位结果不精确.为了解决上述问题,提出一种基于注意力机制和类别层次结构的弱监督目标定位方法.该方法通过对卷积神经网络的注意力图进行均值分割提取更完整的目标区域.进一步,通过类别层次结构网络实现对背景区域注意力的削弱,从而提高对感兴趣目标的定位精度.基于多个网络结构和公共数据集上的大量实验结果表明,相比目前已有的弱监督定位方法,所提方法在多个评价指标下均能够获得更好的定位效果.

融合多层注意力机制与BiLSTM的知识图谱补全算法研究

【目的】针对目前大多数知识图谱补全算法无法兼顾局部与全局特征的问题,本文提出一种对实体间的关系路径进行层级划分,并利用双向长短期记忆网络和多层注意力机制进行特征提取的算法,以对知识图谱进行补全。【方法】首先,结合关系路径上的实体类型和关系得到关系路径序列的向量表示;然后,利用多层注意力机制和双向长短期记忆网络分层级提取序列关键信息;最终通过计算关系路径特征向量与候选关系向量间的相似度得出预测结果。【结果】在NELL-995和FB15k-237数据集上进行链路预测实验,结果表明,该算法与已有基于关系路径的知识图谱补全算法CNN-BiLSTM等相比,MAP值提高了1.8%,Hits@1指标提高了1.4%;在Kinship数据集上,其Hits@3值达到了0.988。【结论】本文通过实验证明了所提出的HAN-BiLSTM算法能有效提取关系路径的整体特征和局部特征,从而提高知识图谱补全效果。

基于分层联邦学习的无人机小基站RAN切片方法

针对多架无人机共同为地面用户提供差异化服务的场景,本文提出一种基于分层联邦学习的动态RAN(Radio Access Network)切片框架,目的是提升切片性能隔离效果、减少协同训练过程的通信代价.考虑到无人机动态部署和数据不足等特点,本文通过数据增广促进本地模型训练.为了使得距离地面基站较远的无人机有更多机会参与联邦学习并降低通信代价,本文根据位置和数据分布信息设计支持边缘模型聚合的无人机分簇策略.在此基础上,本文探索基于注意力机制的边缘和全局模型聚合方案,以增强全局模型的泛化能力.仿真结果表明,与联邦平均和分布式LSTM(Long Short-Term Memory)相比,所提方案在切片性能隔离的时长占比上分别有8.4%和16.5%的提升,并降低了无人机协同训练的通信代价.

统一分级图神经网络的协同显著性检测方法

协同显著性检测指从一组相关图像集中识别出共同出现且显著的物体,其难点是如何挖掘与利用图像帧内、帧间的显著性线索.文中提出一种统一分级图神经网络的协同显著性检测方法.首先利用超像素分割算法将图像分割,并提取图像帧内分级显著性特征构建图模型;然后挖掘图像帧间分级显著性图嵌入,形成统一的二维分级特征体系;最后充分利用图像帧内和图像帧间的线索,提出几何注意力模块.在iCoSeg数据集上的消融实验结果表明,所提出的统一分级图神经网络中各个模块均是有效的;所提方法基于iCoSeg数据集测试的最大F-measure、平均绝对误差以及S-measure分别为0.8486,0.1076和0.8134,可以媲美或优于其他9种对比方法,最终获得的显著性图的高亮一致性和边缘均得到明显的改善.

集成层级图注意力网络检测非均衡虚假评论

作为机器学习当前一大热点,图神经网络(GNN)模型近年来已逐渐开始结合用户评论应用于欺诈检测领域。但现实中汇总的用户评论涉及多个不同领域,可用信息复杂多样,海量的用户生成内容中欺诈信息通常也只占少数,基于GNN的相关检测方法对虚假评论的识别效果不甚理想。针对这种特征异构和数据分布不均衡的问题,将评论系统进行异构网络建模,提出一种新的集成层次图注意力网络(En-HGAN)识别方法。通过融合层次注意力结构,更加充分地利用异构网络中丰富的用户行为信息,为评论学习更加丰富的语义表征,并在集成学习Bagging框架下集成多个差异化的HGAN子模型,使用随机欠采样策略实现基学习器多样性聚合,从而减少有效信息丢失,增强对欺诈评论的检测能力。在YelpChi与Amazon真实数据集上的实验结果表明,En-HGAN方法具有良好的异常探测性能,和当前一些最新的方法相比,在数据类别倾斜分布的应用中显示En-HGAN方法对欺诈实体具有不错的鲁棒性。

基于语义特征提取与层次结构的问题生成方法

针对传统端到端模型在输入文本语义较复杂情况下生成的问题普遍存在语义不完整的情形,提出一种基于语义特征提取的文本编码器架构.首先构建双向长短时记忆网络获得基础的上下文信息,然后采用自注意力机制及双向卷积神经网络模型分别提取语义的全局特征和局部特征,最后设计一种层次结构,融合特征及输入自身信息得到最终的文本表示进行问题生成.在数据集SQuAD上的实验结果表明,基于语义特征提取与层次结构进行问题生成效果显著,结果明显优于已有方法,并且语义特征提取和层次结构在任务的各评价指标上均有提升.

利用多维评分进行在线评论的有用性预测

在线评论的有用性预测任务在当前的电子商务领域中发挥着重要的作用,该任务的目标是判断在线评论的有用性,进而重点展示对未来消费者更有帮助的评论,提高消费者获取信息的效率.在本文中,我们重点关注近年来在各大在线平台兴起的一种新的评分系统——多维评分系统,尝试研究用户在该系统中给出的方面评分对在线评论有用性的影响.本文提出了一个综合考虑了评论文本、用户总体评分和方面评分3种元素及其交互的多层次神经网络模型HORA来完成有用性预测任务.通过在两个真实世界的数据集上进行的实验结果表明,与当前的基线模型相比,HORA在MAE和RMSE两个指标上展示了更好的结果,同时在实验中也表现出了良好的鲁棒性,表明了方面评分对用户的在线评论有用性感知的重要意义.