CINO-TextGCN:融合CINO与TextGCN的藏文文本分类模型研究

为提高藏文新闻文本分类准确性,文章提出一种融合少数民族语言预训练模型(Chinese Minority Pr-etrained Language Model,CINO)和图卷积神经网络模型(Text Graph Convolutional Networks,TextGCN)的方法,即CINO-TextGCN模型。为有效评测该模型对藏文文本的分类性能,自建了较大规模和较高质量的藏文新闻文本公开数据集TNEWS(https://github.com/LG2016/CINO-TextGCN),通过实验发现,CINO-Text-GCN在公开数据集TNCC上的准确率为74.20%,在TNEWS上为83.96%。因此,该融合模型能够较好地捕捉到藏文文本语义,提升藏文文本分类性能。

The Refinement Algorithm Consideration in Text Clustering Scheme Based on Multilevel Graph

To construct a high efficient text clustering algorithm the multilevel graph model and the refinement algorithm used in the uncoarsening phase is discussed. The model is applied to text clustering. The performance of clustering algorithm has to be improved with the refinement algorithm application. The experiment result demonstrated that the multilevel graph text clustering algorithm is available. Key words text clustering - multilevel coarsen graph model - refinement algorithm - high-dimensional clustering CLC number TP301 Foundation item: Supported by the National Natural Science Foundation of China (60173051)Biography: CHEN Jian-bin(1970-), male, Associate professor, Ph. D., research direction: data mining.

一种改进GraphRNN的多标签文本分类方法

多标签文本分类旨在为文本分配多个标签,其关键挑战在于如何利用标签之间的关联性.目前方法主要采用循环神经网络相比传统方法能更好地建模标签高阶关联,但存在难以确定标签顺序的问题,以及缺乏对标签关联程度进行建模.为此,论文提出一种基于改进图循环神经网络的多标签文本分类方法.首先,根据标签共现构建标签图数据,然后将多标签分类转换为标签图生成,最后通过广度优先搜索将生成的标签图转回为标签集,作为分类结果.相关实验表明,论文提出的模型在instance-F1和label-F1指标上优于基线模型,细粒度建模了标签关联,同时减少了模型对于标签顺序的依赖.

基于RoBERTa和图增强Transformer的序列推荐方法

自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著提升,相较于最优对比模型最高分别提升4.7%和5.3%。

基于知识图谱的冬奥赛事气象服务文本生成方法研究

气象服务文本是为赛事顺利举行及赛事期间的各项活动提供必要的气象保障,是组委会、裁判、各代表队的工作人员获取气象信息开展相关工作的载体。现有气象文本生产需要人工编写审核,效率不高。相比之下,全自动文本生成更加依赖于模板和固定的形式。针对以上问题,结合自然语言处理技术提出基于知识图谱的冬奥赛事气象服务文本生成方法。重点从历史赛事气象服务文本中进行内容分析和特征提取,利用气象数据和历史赛事信息构建高山滑雪赛事知识图谱。该方法根据实时气象数据和文稿模板生成天气描述文本,然后基于知识图谱查询推理技术得到赛事影响结果并生成相应文本。实验结果表明:气象服务文本的自动生成结果具有较好的准确性和可读性,有助于冬奥赛事的顺利推进,该文本生成方法面向特定领域也具有较好的应用前景。

高斯混合模型与文本图卷积网络结合的虚假评论识别算法

针对文本图卷积网络(Text GCN)窗口边权阈值策略不足的问题,为了更精准地挖掘相关的词关联结构、提高预测精度,提出一种高斯混合模型(GMM)与Text GCN结合的虚假评论识别算法F-Text GCN。首先,利用GMM分离噪声边权分布的特性,提高虚假评论在训练数据上相对正常评论数不足的边信号强度;然后,考虑到信源的多样性,综合文档、词汇和评论以及非文本特征构造邻接矩阵;最后,通过Text GCN的谱分解提取邻接矩阵的虚假评论关联结构实施预测。根据国内某大型电商平台采集的126086条实际中文评论数据开展实证研究,实验结果表明,F-Text GCN识别虚假评论的F1值达到82.92%,与预训练表征模型BERT和文本卷积神经网络相比分别提升了10.46%和11.60%,相较于只使用评论文本信源的Text GCN模型F1值提升了2.94%;研究了高仿虚假评论的预测错误率,在支持向量机(SVM)作用后难识别的评论样本上尝试二次识别,F-Text GCN整体预测准确率可达94.71%,相较于Text GCN和SVM,在识别准确率上分别提升了2.91%和14.54%。研究发现,虚假评论的二阶图邻居结构显示出较强的干预消费者决策的词汇,这表明所提算法特别适用于提取用于虚假评论检测的长程词语搭配结构和全局句子特征模式变化的场景。

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%~3.45%和6.97%~11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。

面向语法加权图文本的方面情感三元组抽取

方面情感三元组抽取包括方面抽取、意见抽取和方面情感分类3项任务,以管道方式解决该任务的研究方法无法利用元素之间的交互信息,同时也会造成错误传播和冗余训练。基于此,提出一种基于门控注意力和加权图文本的方面情感三元组抽取方法。采用双向长短时记忆网络学习句子的序列特征表示;利用门控注意力单元学习单词之间的线性联系;利用语法距离加权图卷积网络增强三元组元素之间的交互;利用网格标记推理策略预测三元组。在4个公开数据集上进行实验,结果表明:所提方法可以有效增强三元组元素之间的交互,提高三元组抽取的准确率;同时,所提方法的F1值分别为57.94%、70.54%、61.95%和67.66%,与基准模型相比均有所提高。

基于多元语义特征和图卷积神经网络的短文本分类模型

在互联网和社交媒体迅猛发展的背景下,网络中出现了大量的短文本数据,这些数据在舆情监控、情感分析和新闻分类等自然语言处理领域展现出了非常高的经济和学术价值.但短文本数据固有的特征给短文本分类带来了不小的挑战,如文本稀疏和缺乏丰富的上下文语义等.针对这些问题,提出了一种结合多元语义特征和图卷积神经网络(GCN)的短文本分类模型,该模型通过哈尔滨工业大学的语言技术平台获取短文本的多种语义特征,并将这些语义特征同短文本一起构建一个多元异构图,然后将其作为GCN的输入,利用GCN学习短文本更深层特征,最后通过Softmax函数获取每个类别的概率分布,进而实现短文本分类.试验结果表明,本模型在短文本分类的F1评分上比传统单一模型提高了4%.

基于图文多模态融合推理的产品创新方案设计方法研究

目的针对当前产品创新设计领域中对基于图像-文本多模态知识支撑创新设计方法研究不足的问题,提出了一套基于图文多模态的产品创新方案设计方法。方法首先,对设计师的设计草图与文本要求进行预处理,然后引入产品设计知识图谱来促进设计思维的发散和创新;其次,通过微调的生成式预训练变换器模型和扩散模型生成产品方案及其概念图;最后,利用深度多模态设计评估模型对产品设计方案的可行性和市场潜力进行评估。结果通过产品设计知识图谱,及深度多模态设计评估模型的引入,该设计流程可以生成富有创新性且具备可行性的产品方案。结论基于图文多模态的产品创新方案设计流程结合了最新的深度学习技术,不仅提高了设计的效率,还为设计师提供了更广阔的创新视角和灵感来源。

融合标签语义嵌入和图卷积的短文本特征扩展及分类方法

针对短文本长度过短、关键词偏少和标签信息利用不足造成的分类过程中面临特征稀疏和语义不明确的问题,提出了融合标签语义嵌入的图卷积网络模型。首先,在传统的术语频率和逆文档频率算法基础上,提出了融合单词所属文本的类间、类内分布关系的全局词频提取算法。其次,利用融合标签嵌入的方法,将每条训练文本与相对应的标签引入到同一个特征空间内,通过筛选聚合提取更能突显文本类别的近义词嵌入,作为文本图的文档节点的嵌入表示。最后,将文本图输入到图卷积神经网络学习后,获得的特征与预训练模型提取文本上下文的特征相融合,提升短文本的分类质量以及整个模型的泛化能力,在4个短文本数据集MR、web_snippets、R8和R52上对本文模型和14个基线算法进行了对比实验,结果表明本文提出的模型相比于对比模型具有更优的结果,在识别精度、召回率以及F_1值上有着更好的表现。

结合双曲图注意力网络与标签信息的短文本分类方法

针对现有方法在文本分类任务中没有综合考虑文本的层级结构和标签对于文本特征学习的重要性而导致的鲁棒性不足、表达能力不足等问题,提出了一种基于双曲图注意力网络的短文本分类算法L-HGAT。利用文本的复杂层级结构与双曲空间的树相似性特征的契合性,将文本嵌入到具有负常数曲率的双曲空间中,充分利用双曲流行表征的强大表达能力。设计双曲图注意力网络,融合节点特征与边特征,增强对文本中关键局部信息的聚合能力。使用基于双曲空间中的测地线距离的标签文本交互函数进一步引导文本特征学习,以此提升文本分类精度。实验结果表明,与基准模型相比,所提方法在基准数据集上显著优于现有研究方法,能够有效地提升模型性能,更好地完成文本分类任务。

融合领域知识图谱的跨境民族文本聚类方法

跨境民族文本聚类任务旨在建立跨境民族不同文本间的关联关系,为跨境民族文本检索、事件关联分析提供支撑。但是跨境民族间文化文本表达差异大,加上文化表达背景缺失,导致跨境民族文本聚类困难。基于此,该文提出了融合领域知识图谱的跨境民族文本聚类方法,首先融入跨境民族领域知识图谱,实现对跨境民族文本数据的文化背景知识补充及实体语义关联,从而获得文本的增强局部语义;同时考虑到跨境民族文本数据中全局语义信息的重要性,采用异构图注意力网络提取文本、主题、领域关键词之间的全局特征信息;最后利用变分自编码网络进行局部信息和全局信息的融合,并利用学习到的潜在特征表示进行聚类。实验表明,提出方法较基线方法Acc提升11.4%,NMI提升1%,ARI提升9.4%。

基于泛化图卷积神经网络的深度文档聚类模型

文本分类是自然语言处理中一项重要任务,基于图神经网络的文本分类因其可建模文本间的多种交互成为一种主流方法.但现有方法大都依赖标签,而真实标签难以获取.提出一个基于图泛化卷积神经网络的深度文档聚类模型(generalization graph convolutional neural network-deep document clustering, GGCN-DDC),同时实现文本表示学习和无监督文档分类.该模型首先将每个文档建模为文本图;然后采用泛化卷积层学习更有区分力的文档词特征表示和文档表示;最后通过文档聚类损失和文档图重建损失约束参数学习算法.在3个基准数据集上的实验表明,GGCN-DDC在多个指标上均优于其他基准算法.

基于组合优化的遥感图文检索轻量化

针对现有基于图网络的遥感图文检索模型存在的海量参数、模型时效性低、存储空间需求大等问题,提出一种基于组合优化的遥感图文检索轻量化方法。从模型架构角度,设计基于跨阶段融合的轻量化卷积模块精简图文检索模型的参数;从数值量化角度,设计图网络混合精度训练与量化推理策略提升模型推理速度。在多个遥感检索数据集上的实验结果表明,该方法在检索精度基本不下降的条件下,总参数量、浮点运算量相比于典型方法降低60%以上。

学术论文学科领域层次标签分类方法

针对学术论文在学科领域内进行层次标签分类问题,提出了一种基于知识增强的语义表示与图注意力网络的文本层次标签分类(text hierarchical label classification based on enhanced representation through knowledge integration and graph attention networks, GETHLC)模型。首先,通过层次标签抽取模块提取学科领域下层次标签的结构特征,并通过预训练模型对学术论文的摘要、标题和抽取后的层次标签结构特征进行嵌入;然后,在分类阶段基于层次标签的结构分层构造层次分类器,将学术论文逐层分类至最符合的类别中。在大规模中文科学文献数据集CSL上进行的实验结果表明,与基准的ERNIE模型相比,GETHLC模型的准确率、召回率和F1值分别提升了5.78、4.31和5.02百分点。

基于汉字拆分嵌入和二部图的残损碑文识别

古籍碑刻承载着丰富的历史文化信息,但是由于自然风化浸蚀和人为破坏使得碑石上的文字信息残缺不全。古碑文语义信息多样化且样例不足,使得学习行文语义补全识别残损文字变得十分困难。该文试图从字形空间语义建模解决补全残损汉字进行识别理解这一挑战性任务。该文在层级拆分嵌入(HDE)编码方法的基础上使用动态图修补嵌入(DynamicGrape),对待识别汉字的图像进行特征映射并判别是否残损。如未残损直接转化为层级拆分编码,输入二部图推理字节点到部件节点的边权重,比对字库编码识别理解;如残损需要在字库里检索可能字和部件,对汉字编码的特征维度进行选择,输入二部图推理预测可能的汉字结果。在自建的数据集以及中文自然文本(CTW)数据集中进行验证,结果表明二部图网络可以有效迁移和推理出残损文字字形信息,该文方法可以有效对残损汉字进行识别理解,为残损结构信息处理开拓出了新的思路和途径。

多尺度特征与知识图谱融合的景区手写诗词识别

针对景区手写诗词存在背景纹理复杂、字体尺寸及风格多样等特点导致景区游客难以识别手写诗词的问题,首先,分析研究景区手写诗词的识别场景,设计景区诗词检测网络(detection of poetry in scenic areas-network,DPSA-Net)以提取景区手写诗词不同尺度的特征,并结合手写诗词字符间的链接依赖关系实现景区手写诗词检测;其次,设计了卷积循环聚合网络(convolution recurrent aggregation network,CRA-Net)以对景区手写诗词进行识别,结合卷积神经网络(convolutional neural networks,CNN)和双向长短期记忆网络提取手写诗词图像的序列特征,并通过聚合交叉熵(aggregation cross-entropy,ACE)实现特征向文本的转换;最后,结合景区知识图谱对CRA-Net的输出进行校正,进而提高景区手写诗词的识别准确率。实验结果表明,通过景区手写诗词矫正技术对CRA-Net的识别结果矫正后,识别准确率达到了79.04%,同时,该技术具有较好的抗干扰能力和良好的应用前景。

基于不变图卷积神经网络的文本分类

文本分类是自然语言处理中一个基本而又重要的任务,近年来,图神经网络被越来越多地应用于文本分类中。然而,使用图神经网络的图表示学习在涉及文本分类的任务中不能很好地满足新词的归纳学习,其一般假设训练和测试数据来自相同的分布,但现实中这个假设经常不成立。为了克服这些问题,文中提出了Invariant-GCN,用于通过GCN进行归纳文本分类。首先为每个文档构建单个图,使用GCN根据其局部结构学习细粒度的单词表示,这可以有效地为新文档中没见过的单词生成嵌入进而将单词节点作为文档嵌入合并;然后提取最大限度地保留不变类内信息的期望子图,使用这些子图进行学习不受分布变化的影响;最后通过图分类方法完成文本分类。在4个基准数据集上与5种分类方法进行了比较,实验结果表明Invariant-GCN具有良好的文本分类效果。

基于知识增强的文本语义匹配模型研究

文本语义匹配模型在信息检索、文本挖掘等领域已经获得了广泛应用。为解决现有模型主要从文本自身角度判断文本之间的语义关系而忽略对外部知识有效利用的问题,本文提出一种新的基于知识增强的文本语义匹配模型,以知识图谱实体作为外部知识,有效建模文本的外部知识信息,并自适应地过滤外部知识中存在的噪声。针对自然语言推理和释义识别两个文本语义匹配任务,与基线方法相比,本文模型在大多数指标上取得了最优效果。研究结果表明,本文模型有助于揭示知识图谱在文本语义匹配任务中的作用,为将知识图谱应用到智能信息服务领域提供了参考。