基于信息熵-切分概率模型的新词发现方法

新词发现是中文自然语言处理的基本任务,对于提升各种下游任务的性能至关重要。文中提出了一种基于信息熵-切分概率模型的新词发现方法,该方法首先基于信息熵从待处理文本中生成候选词集,然后对候选词集进行切分概率计算,从而筛选出真正的新词。针对有无待处理文本相关的标注语料,提出了两种不同的模型。在缺少待处理文本相关标注语料的情况下,使用通用的分词基准数据集训练了多标签Transformer-CRF模型;在具有专业标注语料的情况下,则引入了基于键值的记忆神经网络,以充分融合词语成词信息。实验结果表明,多标签Transformer-CRF模型在Top900词中法律相关词的MAP高达54.00%,较无监督方法生成的候选词集提升了2.15%;在对法律专业语料提取新词时,键值记忆神经网络的表现进一步超过了多标签Transformer-CRF模型,达到了3.43%的效果提升。

基于邻域量化容差关系粗糙集模型的特征选择算法

数值型不完备信息系统的特征选择方法大多是以容差关系为基础,但是这种处理方式存在数据相似性刻画过于宽松的缺陷.文中提出邻域量化容差关系的粗糙集模型,在该模型的基础上定义邻域量化容差条件熵,分析相关性质,根据邻域量化容差条件熵的单调性构造相应的特征选择算法.实验表明,文中算法在特征选择结果、运行时间和分类精度方面具有优越性.

基于样本学习的广义粗糙集知识约简

由于条件属性在各样本的分布特性和所反映的主观特性的不同,每一个样本对应于真实情况的局部映射。建立了粗糙集理论中样本知识与信息之间的对应表示关系,给出了由属性约简求约简决策表的方法。基于后离散化策略处理连续属性,实现离散效率和信息损失之间的动态折衷。提出相对值条件互信息的概念衡量单一样本中各条件属性的相关性,可以充分利用现有数据处理不完备信息系统。即使在先验知识不足的情况下,也能通过主动学习构造新的规则补充进知识库中。拓广了粗糙集理论的应用范围,在UCI机器学习数据集上的实验结果和样例分析证明了该算法的合理性和有效性。

不完备区间值信息系统中基于相容-相似关系的模糊粗糙集方法

区间值信息系统是单值信息系统的推广模型.区间值是描述影响观测对象值的一种表示方法.然而,在实际应用中,由于遗漏、测量误差、数据传输、介质噪声等多种因素的影响,区间值往往会出现缺失值.如果忽略或丢弃包含缺失值的数据,则必须丢弃大量信息.主要针对不完备区间值信息系统,提出一种基于相容-相似关系的模糊粗糙集方法.在此基础上,推广了模糊近似算子的定义,研究了不确定性度量问题.