基于空洞分层注意力胶囊网络的X射线焊缝缺陷识别方法

由于X射线焊缝图像的复杂多样性,使得很多传统基于X射线焊缝缺陷检测方法的准确性不高,泛化能力较差。提出一种基于空洞分层注意力胶囊网络(DHACNet)的X射线焊缝缺陷识别方法。DHACNet由卷积模块、空洞分层注意力和胶囊网络(CapsNet)组成。卷积模块用来提取图像的卷积特征,空洞分层注意力用来提取多尺度显著性特征,CapsNet利用胶囊层和动态路由算法替代卷积神经网络(CNN)中的池化操作和全连接操作。DHACNet具有强大多尺度特征提取能力,能够克服CNN只关注图像局部特征和池化操作导致图像部分信息丢失等不足。在构建的X射线焊缝缺陷图像集上进行识别试验,识别准确率为96%以上,与传统方法进行比较,结果表明,该方法有效可行,能够为X射线焊缝缺陷识别系统提供技术支持。

基于分层注意力特征融合的说话人识别

为缓解现有说话人识别模型提取的说话人特征可靠性不强,融合特征时不同尺度特征关联性不高的问题,研究一种基于分层注意力特征融合网络(hierarchical attention feature fusion network,HAFF-Net)的说话人识别算法。利用卷积和池化操作对经过预处理的语音特征进行下采样,降低特征的维度;将提取的特征输入到分层注意力特征融合模块(hiera-rchical attention feature fusion block,HAFFB)中,利用平均协调注意力(mean coordinate attention,MCA)增强说话人特征的可靠性,利用注意力特征融合模块(attention feature fusion,AFF)捕获多尺度互补特征;采用统计池化和全连接层提取说话人的嵌入特征,应用附加角裕度损失函数(AAM-Softmax)端到端优化模型。研究结果表明,所提算法可以有效增强特征表达的可靠性,成功捕获了多尺度特征之间的差异,提高了说话人识别的性能。

一种分层注意力机制与用户动态偏好融合的序列推荐算法

针对现有的序列推荐算法通常仅采用单一项目信息来捕获项目的潜在特征,以及循环神经网络存在时间依赖性随序列中位置单调变化的问题,提出一种分层注意力机制与用户动态偏好融合的序列推荐算法.首先,针对单一项目信息不足以学习项目准确表示的问题,提出一种分层注意力机制用于学习高质量的项目表示.其次,针对循环神经网络的时间依赖性严重损害了用户近期偏好建模的问题,引入文本卷积神经网络来提取循环隐藏状态之间的短期序列模式,并根据用户意图将用户长期偏好与近期偏好进行动态融合.此外,针对传统自注意力机制无法对序列中元素的相对位置信息进行建模的问题,对现有的自注意力机制进行了改进,充分捕获序列中元素的相对位置信息.并在公开数据集MovieLens-1M与Amazon-Book上与现有优秀算法作比较,实验结果证明了所提算法的有效性.

基于孪生分层注意力网络模型的轨迹用户链接预测

为进一步探究人类移动行为模式,提出一种基于孪生分层注意力的网络模型解决轨迹用户链接预测问题。该模型框架包括判别模块和检索模块,其中:判别模块对轨迹位置信息进行编码,采用改进的分层注意力网络捕获轨迹间的潜在相关性;检索模块利用判别模块计算已知用户轨迹与未知轨迹间的相似性得分,并将KNN作为分类器实现未知轨迹与用户的链接预测。在某城市的基于位置服务(LBS)的数据集上进行实验,结果表明该模型在不同用户数量中性能表现优越。

基于分层注意力图神经网络的点击率预测模型

点击率预测是推荐系统和在线广告中的一项基本任务,大多主流模型主要通过高阶特征和低阶特征交互建模以提高模型性能和泛化能力,然而很多模型只学习了每个特征的固定表示而没有考虑在不同上下文中每个特征的重要性。针对基线模型(Feature Refinement Network,FRNet)在不同上下文无法灵活处理重要特征选择,并且缺乏良好解释性的问题,提出了一种特征细化分层注意力图神经网络(Feature Refinement Graph Neural Network and Hierarchical Attention,FRGNN-HA)模型。首先,在基线模型中融合图神经网络结构,利用图神经网络聚合邻节点和自身节点特征以实现在非欧式空间新节点的表示向量的更新,从而提升在不同上下文的重要特征选择能力和良好的解释性。其次,在图神经网络的基础上设计分层注意力网络,让模型可以更好地自适应关注重要上下文信息,并且可以在噪声和复杂场景下依然保持较好的性能。最后,FRGNN-HA通过在Criteo、Frappe和MovieLens这3个数据集上对比实验结果表明,与基线FRNet模型相比,曲线下的面积(Area Under Curve,AUC,记为AUC)指标分别提升了0.07%、0.29%和0.06%,交叉熵损失函数Logloss(记为Lloss)分别降低了0.08%、0.81%和1.09%。

面向文本结构的混合分层注意力网络的话题归类

针对目前话题归类模型中文本逻辑结构特征与文本组织结构特征利用不充分的问题,该文提出一种面向文本结构的混合分层注意力网络的话题归类模型(TSOHHAN)。文本结构包括逻辑结构和组织结构,文本的逻辑结构包括标题和正文等信息;文本的组织结构包括字—词语—句层次。TSOHHAN模型采用竞争机制融合标题和正文以增强文本逻辑结构特征在话题归类中的作用;同时该模型采用字-词语-句层次的注意力机制增强文本组织结构特征在话题归类中的作用。在4个标准数据集上的实验结果表明,TSOHHAN模型能够提高话题归类任务的准确率。

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.

联合分层注意力网络和独立循环神经网络的地域欺凌识别

为提高对文本语境深层次信息的利用效率,提出了联合分层注意力网络(HAN)和独立循环神经网络(IndRNN)的地域欺凌文本识别模型——HACBI。首先,将手工标注的地域欺凌文本通过词嵌入技术映射到低维向量空间中;其次,借助卷积神经网络(CNN)和双向长短期记忆网络(BiLSTM)提取地域欺凌文本的局部及全局语义特征,并进一步利用HAN捕获文本的内部结构信息;最后,为避免文本层次结构信息丢失和解决梯度消失等问题,引入IndRNN以增强模型的描述能力,并实现信息流的整合。实验结果表明,该模型的准确率(Acc)、精确率(P)、召回率(R)、F1和AUC值分别为99.57%、98.54%、99.02%、98.78%和99.35%,相比支持向量机(SVM)、CNN等文本分类模型有显著提升。

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足:一是不能较好地对文本特征进行提取;二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题,提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵,然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础,同时利用最大池化提取句子特定的目标向量,使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示,并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示,然后将其与文本的特征信息进行交互、融合,以减少原有特征损失,得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明,该模型的分类准确率明显优于其它主流基线模型的。

基于分层注意力网络的社交媒体谣言检测

在社交媒体谣言检测问题上,现有的基于特征表示学习的研究工作大多数先把微博事件划分为若干个时间段,再对每个时间段提取文本向量表示、全局用户特征等,忽略了时间段内各微博间的时序信息,且未利用到在传统机器学习方法中已取得较好效果的文本潜在信息和局部用户信息,导致性能较低.因此,本文提出了一种基于分层注意力网络的社交媒体谣言检测方法.该方法首先将微博事件按照时间段进行分割,并输入带有注意力机制的双向GRU网络,获取时间段内微博序列的隐层表示,以刻画时间段内微博间的时序信息;然后将每个时间段内的微博视为一个整体,提取文本潜在特征和局部用户特征,并与微博序列的隐层表示相连接,以融入文本潜在信息和局部用户信息;最后通过带有注意力机制的双向GRU网络,得到时间段序列的隐层表示,进而对微博事件进行分类.实验采用了新浪微博数据集和Twitter数据集,实验结果表明,与目前最好的基准方法相比,该方法在新浪微博数据集和Twitter数据集上正确率分别提高了1.5%和1.4%,很好地验证了该方法在社交媒体谣言检测问题上的有效性.

邻域信息分层感知的知识图谱补全方法

知识图谱补全(KGC)旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络(GCN)应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。

基于联合注意力生成对抗网络的自动文摘模型

针对现有自动文摘方法难以准确捕捉高信息量单词的问题,提出一种基于联合注意力的生成对抗网络模型并应用于文本的自动摘要。利用联合注意力机制构建新的单词层注意力,得到文档的上下文向量表示。提出一种联合损失函数训练生成器,最终生成摘要。实验结果表明,该模型与几种主流模型相比,ROUGE-1和ROUGE-L值均有所提高,表明该模型可有效提高自动文摘的质量。

结合主题和分层注意混合网络的文本情感分析

文本情感分析一直以来都是自然语言处理的研究热点,近几年,深度神经网络在文本情感分析任务中取得了不错的效果。尽管取得了进展,但提出的模型没有利用整个语料库的统计信息,也没有将文档的体系结构的知识纳入到模型中。针对上述问题,本文提出了一种结合主题和分层注意混合网络的文本情感分析模型。首先,利用主题模型对数据集的主题进行提取,并结合文本的词嵌入和句子嵌入来丰富特征空间,以解决传统神经网络无法融入数据统计信息的问题;然后,采用卷积神经网络来降低特征空间的维度,同时,学习关键的主题信息;最后,使用带有主题感知的分层注意网络对模型进行训练,来关注文本中更重要的单词和句子。实验结果表明,提出的模型具有更好的分类性能,能够更好地揭示文本的情感。

利用自注意力机制的大规模网络文档情感分析

针对社交网络文档(推文)情感分类复杂且准确度低的问题,基于MapReduce平台,提出一种利用自注意力双向分层语义模型的大规模网络文档情感分析方法。通过相似度计算对所有待分析的推文进行预归类,利用自注意力双向分层语义模型进行语义分类,准确分辨推文中词汇的情感类别,利用Hadoop框架和Hadoop分布式文件系统(HDFS)以及MapReduce编程模型实现提出的推文情感分类方法。实验结果表明,提出方法能够准确对大规模推文和词汇语义进行辨识,具有较高的计算效率,提高了情感分析的求解速度和准确度。

基于非平衡MD&A文本数据的财务欺诈识别

财务欺诈不仅会导致会计信息失真,还会危害经济的健康发展。因此,找到一种高效的智能化欺诈识别方法具有重要的现实意义。本文基于2020—2022年美国上市公司提交到EDGAR数据库的年度报告,聚焦于报告中管理层讨论与分析部分的文本信息(Management Discussion and Analysis,MD&A)并对其进行分析。考虑到现有数据中欺诈和非欺诈样本数据极度不平衡的特点,本文在分层注意力网络的基础上设计了一个更高效的财务欺诈识别模型,最终使得欺诈识别模型的F1分数和F2分数分别提高了4.1%和3.7%,所提出的算法框架能够有效提高非平衡MD&A文本数据集的分类正确率。研究结果为财务欺诈识别系统性能的提高以及其他领域长文本分类任务的预测提供了新的解决思路,并进一步验证了使用MD&A文本数据进行财务欺诈识别的有效性,为使用非平衡数据进行欺诈识别提供了直接的实证支持。

基于分层Attention机制的Bi-GRU中文文本分类模型

针对基于神经网络的文本分类模型在训练过程中容易发生过拟合及忽略句子中的关键词的问题,提出了一种基于分层Attention机制的Bi-GRU中文文本分类模型。该模型引入了分层的思想,利用双向门控循环神经网络学习词层面和句子层面的文本表示,采用Self-Attention层次模型获取词和句子对于文本分类影响程度的信息;通过绑定共享嵌入层和softmax层之间的权重,在减少模型中参数的同时采用AMSBound优化方法快速有效地获取最优权重矩阵。对常用的两个中文数据集Fudan Set和THUCNews,本文模型对中文较长文本分类数据集Fudan Set进行实验,实验结果表明,本文模型在精度、召回率、F-score等指标上均优于Text-CNN模型、Attention-BiLSTM模型、Bi-GRU_CNN模型,精度、召回率、F-score指标分别提高了5.9%、5.8%、4.6%。

短文本新闻标题生成方法

当今新闻具有文本短、发布频繁、时效性强等特点,一个媒体账号一天内发布数十条新闻。为大量新闻制定适用且有吸引力的标题已经成为媒体工作者的一项主要工作内容。媒体工作者需要一个自动生成短文本标题的系统来缓解工作压力。为解决该问题,文中提出了一种短文本新闻标题生成模型。该模型采用序列到序列结构,在编码器和解码器分别应用预训练语言模型和分层自注意力解码器。为了使生成标题包含原始新闻的关键信息,提出一种基于LCSTS数据集和Weibo4数据集的分阶段训练方法,并使模型分别从这两个数据集学习提取关键新闻信息和构建风格化表达,使模型生成标题能够准确表达新闻的核心内容从而吸引读者。

基于动态标签的关系抽取方法

针对远程监督数据集的关系抽取研究方法存在着大量标签噪声的问题,提出了一种作用于分层注意力机制关系抽取模型的动态标签方法。首先,提出了一种根据关系类别相似性生成动态标签的概念。由于相同的关系标签包含相似的特征信息,计算特征信息的关系类别相似性有助于生成与特征信息相对应的动态标签。其次,利用动态标签方法的评分函数来评价远程监督标签是否为噪声,以决定是否需要生成新的标签代替远程监督标签,通过调整远程监督标签来抑制标签噪声对模型的影响。最后,根据动态标签来更新分层注意力机制以关注有效实例,重新学习每个有效实例的重要性,进一步抽取关键的关系特征信息。实验结果表明,相较于原始的分层注意力机制关系抽取模型,所提方法在Micro和Macro分数上分别有1.3个百分点和1.9个百分点的提升,实现了噪声标签的动态纠正,提升了模型的关系抽取能力。

基于生成式-判别式混合模型的可解释性文档分类

现有可解释性文档分类常忽略对文本信息的深度挖掘,未考虑单词与单词上下文、句子与句子上下文之间的语义关系.为此,文中提出基于生成式-判别式混合模型的可解释性文档分类方法,在文档编码器中引入分层注意力机制,获得富含上下文语义信息的文档表示,生成精确的分类结果及解释性信息,解决现有模型对文本信息挖掘不够充分的问题.在PCMag、Skytrax评论数据集上的实验表明,文中方法在文档分类上性能较优,生成较准确的解释性信息,提升方法的整体性能.

融合篇章表征的事件指代消解研究

事件指代消解任务比实体指代消解难度大,主要原因为事件描述在非结构化文本中分布稀疏,且不具备同指关系的单链占很大比例,同时事件自身承载的语义信息比实体更加丰富。为了准确地抽取文本中的同指事件,针对以上特点,提出一种融合篇章表征的事件指代消解模型。该模型通过CRF有效地区分非事件句、单链以及同指链,同时利用分层注意力机制捕捉句子级别和篇章级别的重要信息。在KBP2015和2016数据集上进行的事件指代消解实验验证了该模型的有效性,在CoNLL评测标准下F1值达到43.07%。