面向泛娱乐文本的层次多标签分类方法

针对泛娱乐领域文本情报预测类别标签具备有向无环图(DAG)结构的特点,提出一种考虑标签层次结构的基于最优路径层次多标签分类方法。根据现有标签构建DAG结构并将其转化为较易处理的树形结构;采用局部策略为树形结构中每个节点分别训练基分类器,同时为每个节点设置贡献值,贡献值由分类器输出概率与层次权重组合而成,贡献值大于阈值时该节点设置为1,否则为0;对树形结构进行深度优先遍历生成路径,计算各路径得分,选择满足层次约束并得分最高的路径作为最终预测集合。在泛娱乐公开文本信息数据集上进行了4组实验,结果表明该方法相较于分类器链、二元分析、SVM多标签分类和MLKNN算法,分类效果更优。

科技资源文本层次多标签分类方法

科技资源文本层次多标签分类(hierarchical multi-label text classification,HMTC)用于将科技资源文本分配到一个具有层级结构的标签体系中。提出基于注意力机制的科技资源文本层次多标签分类算法(academic resource text hierarchical multi-label classification based on attention,AHMCA)。通过整合文本、关键词、层次结构等特征构造注意力机制层,对HMCN-F(hierarchical multi-label classification network-feed-forward)网络进行改进,将科技资源文档逐级分类到最相关的类别中。细节上,主要利用word2vec与BiLSTM来获得文本、关键词、层次结构的嵌入向量和隐向量表示;利用层次注意力机制捕获关键词、标签层次结构与文本词向量之间的关联关系来强化重点词向量的权重,从而生成特定于层级的文档嵌入向量,替代HMCN-F中原始的文本嵌入。实验结果验证了AHMCA方法的有效性。

基于路径选择的层次多标签分类

多标签分类为每一个实例分配多个标签,当这些标签存在一种预定义的层次化结构时,该机器学习任务称为层次多标签分类(HMC)。传统的分类问题(二分类和多标签分类)往往会忽略各标签之间的结构关系,而层次多标签分类充分考虑标签集之间的层次结构关系,并以此来提高分类的效果。层次多标签分类是输出结构化预测结果的分类任务,其中类标签被组织成某种预定义(树形或者有向无环图)的结构,并且一个实例可以属于多个类。在HMC中有基于全局标签集的分类方法和基于单个标签的局部分类方法。全局方法将整个问题作为一个整体来处理,但往往会随着数据集的增长而出现性能瓶颈,而局部方法将问题分解为基于单个标签的二分类方法,但未充分考虑层次结构信息,并且无法处理预测节点终止于层次标签树内节点的分类问题。在分类阶段,修剪掉概率较低的分支,达到预测标签不一定到达叶子节点的目的。基于路径选择的层次多标签分类充分考虑修剪后的层次标签树从根节点出发的所有可能路径,结合各节点的预测概率值和节点所在的层次来选出得分最高的标签路径。该方法和现有的层次多标签分类方法在三种不同的数据集上进行实验对比,结果表明该方法在处理层次较深且叶子节点稠密的层次结构时获得了较好的结果。

基于Bert的层次多标签文本分类

层次多标签文本分类(Hierarchical Multi-label Text Classification, HMTC)是自然语言处理领域(Natural Language Processing, NLP)一项重要的任务。在其由浅至深的标签层次结构中,深层标签更能精确地代表文本所属的标签类别。然而,深层标签的样本实例较少且彼此之间语义接近,导致其难以被正确分类。针对上述的问题,文章提出了基于Bert的层次多标签文本分类方法,先利用Bert构建优越的文本表示,再以自上而下逐层的方式利用浅层级的标签信息引导深层级标签的分类,有效地提升了分类精度。实验结果表明所提模型与其它基线模型相比具有更好的分类性能。

一种基于增量式超网络的多标签分类方法

在层次多标签分类问题中,一个样本同时被赋予多个类别标签,并且这些类别标签被组织成一定的层次结构。层次多标签分类问题的主要挑战在于:①分类方法的输出必须符合标签的层次结构约束;②层次深的节点所代表的标签往往只有很少的样本与之相关,造成标签不平衡的问题。提出一种用于层次多标签分类问题的增量式超网络学习方法(hierarchical multi-label classification using incremental hypernetwork,HMC-IMLHN),通过将超网络的超边组织成相应的层次结构,使输出的预测标签能够满足标签的层次约束。此外,超网络学习方法可以利用标签之间的关联减少标签不平衡问题对分类性能的影响。实验结果表明,与其他层次多标签分类方法相比,提出的增量式超网络方法能够取得较好的分类准确性。

基于矩阵分解和注意力多任务学习的客服投诉工单分类

投诉工单自动分类是通信运营商客服数字化、智能化发展的要求。客服投诉工单的类别有多层,每一层有多个标签,层级之间有所关联,属于典型的层次多标签文本分类问题,现有解决方法大多数基于分类器同时处理所有的分类标签,或者对每一层级分别使用多个分类器进行处理,忽略了层次结构之间的依赖。提出了一种基于矩阵分解和注意力的多任务学习的方法(MF-AMLA),处理层次多标签文本分类任务。在通信运营商客服场景真实投诉工单分类数据下,与该场景常用的机器学习算法和深度学习算法的Top1F1值相比分别最大提高了21.1%和5.7%。已在某移动运营商客服系统上线,模型输出的正确率97%以上,对客服坐席单位时间的处理效率提升22.1%。

基于知识推荐的校园百科平台研究

2018年中国科学技术大学推出“校园百科”项目,旨在利用智能化技术实现校园文化积累与推广的新途径.“校园百科”的推出是以建设校园文化积累的知识库和校园文化分享平台为目的,用于鼓励师生积极参与校园文化建设,并为师生提供文化信息智能化检索和个性推荐的服务.为此以中国科学技术大学校园百科建设为背景,重点介绍了校园百科平台建设中所涉及的关键技术(层次多标签分类、智能搜索和协同过滤标签推荐),并展示了校园百科平台的设计架构和主要功能,最后简要介绍了我校校园百科的使用评估.