融合特征投影和负监督的文本分类

用于分类的文本往往存在语义模糊、特征稀疏的问题,并且句中的某些词语含义会与文本真实标签所代表的语义不一致,这都会导致分类错误。针对上述问题,提出一种融合特征投影和负监督的多任务文本分类模型,主任务利用特征投影网络提取类别特征明显的纯化向量并进行分类;辅助任务给予模型负监督,以扩大不同类别文本的向量差别,消除个别词语的负面影响。此外,使用RoBERTa和BiL-STM同时对正、负样本进行特征提取,捕捉丰富的语义信息。在THUCNews新闻标题分类和微粒贷语义相似度分析数据集上进行了实验,结果表明本文模型相比现有模型具有更好的效果。

相关反馈中基于负例监督的特征过滤策略

相关反馈是提高检索精度和消除"语义鸿沟"的一种非常有效的方法。提出了一种新的特征过滤策略,该策略通过负例监督的方法构造一个特征过滤器,来选取正例样本独有的特征,然后采用一种基于最近邻分类思想的相似性度量方法对去除了不相关特征分量的候选图像进行排序。通过与传统相关反馈方法的比较,表明了该算法的高效性。

自监督对称非负矩阵在GDP聚类分析中的应用

传统的对称非负矩阵分解(Symmetric Nonnegative Matrix Factorization,NMF)不但能够利用线性可分数据,对非线性数据也具有良好的可分性,但对矩阵的初始化值比较敏感,为了提高模型的鲁棒性,自监督对称非负矩阵(Self-supervised Nonnegative Matrix Factorization,S3NMF)利用集成的思想,将不同初始化得到的分解矩阵构造成一个判别能力更强的相似矩阵,同时考虑监督信息进行矩阵分解,克服了对称非负矩阵对初始化值敏感的问题。对我国31省份GDP数据,利用Kmeans对S^(3)NMF分解产生的结果进行聚类,将S^(3)NMF应用到我国GDP聚类,结合现实数据,同时将S^(3)NMF聚类结果与函数型聚类分析结果对比,得出S3NMF的分解矩阵,利用Kmeans进行聚类能够产生较好的聚类划分。

一种融合节点变化信息的动态社区发现方法

动态社区发现旨在检测动态复杂网络中蕴含的社区结构,对于揭示网络的功能及演化模式具有重要研究价值.由于相邻时刻网络的社区结构具有平滑性,前一时刻网络的社区划分信息可以用于监督当前时刻网络的社区划分过程,但已有方法均难以有效提取这些信息来提高动态社区发现性能.针对该问题,提出一种融合节点变化信息的动态社区发现方法(Semi-supervised Nonnegative Matrix Factorization combining Node Change Information,NCI-SeNMF).NCI-SeNMF首先采用k-core分析方法提取前一时刻社区网络的degeneracy-core,并选取degeneracy-core中的节点构造社区隶属先验信息,然后对相邻时刻网络的节点局部拓扑结构变化程度进行量化,并将其用于进一步修正社区隶属先验信息,最后通过半监督非负矩阵分解模型集成社区隶属先验信息进行动态社区发现.在多个人工合成动态网络和真实世界动态网络上进行大量对比实验,结果表明,NCI-SeNMF比现有动态社区发现方法在主要评价指标上至少提升了4.8%.

完善和创新公民监督权行使的条件和机制

公民监督权是一项具有“人民主权”性质的权力,它构成了一个国家监督体系的基础。我国现行监督体系效能不佳的基本原因在于缺乏公民监督的动力源泉。强化公民监督权,必须完善和创新公民监督权行使的条件和机制。其中,提高公民监督权行使的组织化程度;适时引入公益诉讼制,充分发挥公民诉权监督的作用;强化公民监督同人大监督的结合,建立人大监督专员制度等,对于公民监督权的实现具有特殊之意义。

融合后验概率校准训练的文本分类算法

用于文本表示的预训练语言模型在各种文本分类任务上实现了较高的准确率,但仍然存在以下问题:一方面,预训练语言模型在计算出所有类别的后验概率后选择后验概率最大的类别作为其最终分类结果,然而在很多场景下,后验概率的质量能比分类结果提供更多的可靠信息;另一方面,预训练语言模型的分类器在为语义相似的文本分配不同标签时会出现性能下降的情况。针对上述两个问题,提出一种后验概率校准结合负例监督的模型PosCalnegative。该模型端到端地在训练过程中动态地对预测概率和经验后验概率之间的差异进行惩罚,并在训练过程中利用带有不同标签的文本来实现对编码器的负例监督,从而为每个类别生成不同的特征向量表示。实验结果表明:PosCal-negative模型在两个中文母婴护理文本分类数据集MATINF-C-AGE和MATINF-C-TOPIC的分类准确率分别达到了91.55%和69.19%,相比ERNIE模型分别提高了1.13个百分点和2.53个百分点。