基于局部条件区分能力的高效属性约简算法

基于区分矩阵的传统属性约简方法具有直观易理解的优点,但时间和空间复杂度都很高,当数据规模较大或条件属性较多时,会无法快速得到约简结果。为解决该问题,在区分关系的基础上构造了条件区分能力来进行属性选择,提出一种基于条件区分能力的属性约简算法。而为了进一步加快属性重要性的计算、提高约简效率,依据大数定律中频率的稳定性,通过采样的方式将条件区分能力扩展为局部条件区分能力,提出基于局部条件区分能力的属性约简算法。理论证明了条件区分能力在属性的选择上比正区域更严格,并将该算法与基于区分度的高效前向属性约简算法(FAR-DV)、基于k近邻属性重要度和相关系数的属性约简算法(K2NCRS)及基于正区域排序升序决策表的快速正区域约简算法(FPRA)进行了对比。实验结果显示,该算法在属性选择顺序、约简率和分类精度上与FARDV基本一致,在约简效率上比上述三种算法提高了10倍以上;且随着数据规模的增大或条件属性的增多,在约简效率上的提升越明显。可以看出,所提算法具有更低的时空复杂度,适用于海量数据属性约简。

基于区分能力的HU差别矩阵属性约简算法

将决策表属性区分能力大小与HU差别矩阵结合起来,建立起属性区别能力与该属性在HU差别矩阵中出现次数之间的关系.提出与HU差别矩阵属性约简相适应,只依赖于等价类基数计算的属性区分能力计算公式,得到HU差别矩阵约简的属性区分能力判定定理.定义了以属性区分能力为基础的属性相对重要性概念,提出以相对重要性为启发式信息的HU属性约简算法.由于该算法不必构造差别矩阵,只依赖于等价类基数的计算,从而大大提高了算法效率.数值算例和实验结果表明,该算法更有利于最优或次优约简结果的搜索.

基于粒计算与区分能力的属性约简算法

传统的属性约简方法将整个数据集一次性装入内存,很难适应大数据背景下的数据分析.为此文中提出基于粒计算与区分能力的属性约简算法.该算法运用统计学中的分层抽样技术,拆分原始大数据集为多个样本子集(粒),在每个粒上运用属性的区分能力进行属性约简,最后将各粒约简结果进行加权融合,得到原始大数据集的属性约简结果.实验表明该算法对海量数据集进行属性约简的可行性和高效性.

基于属性区分能力和AP聚类的属性粒化方法

提出了一种基于属性区分能力和AP聚类的属性粒化方法(Attribute Granulation based on attribute discernibility and AP algorithm,AGAP)。该方法首先依据属性依赖度计算属性的区分能力;然后将所有属性作为潜在的聚类中心,使用AP算法聚类,得到若干个属性簇类;最后采取选用代表属性的方法得到较粗的属性粒子,从而达到属性粗粒化的要求。对高维数据的特征降维,这种算法比传统的属性约简算法大大提高了运算效率,在属性粒化精度要求不是很严格的情况下,所提算法优势明显。

基于核与改进的条件区分能力的反向删除属性约简算法

粗糙集理论的布尔矩阵表示形式具有直观、易于理解的优点,它的引入为研究粗糙集的理论提供了一个新的思路。在对布尔矩阵性质研究的基础上,针对已有的基于布尔矩阵算法没有考虑到核属性在浓缩布尔矩阵时的重要性的不足,将属性重要性与改进的条件区分能力相结合,提出基于核与改进的条件区分能力的属性约简算法,借助反向删除确保约简集的完备性。实例表明改进后的算法在条件区分能力上更加准确,并且使约简结果更具有较强的完备性。

面向学术资源的术语区分能力的测度方法研究

改进索引术语质量的衡量方法可以有效提高IR系统的检索效率,但术语的固有属性易受文档长度影响,难以全面衡量术语质量。对此,本文从术语内在的区分性出发,借鉴词袋模型的基本思想,提出了术语区分能力(term discriminative capacity,TDC)这一理论及3种不同的计算方法。本文还采集了Web of Science的3个子数据库中包含4个著录项的900条记录作为实验数据,来实现TDC的大规模计算,并观察3种算法在实践中的差异。经过实验分析得出,计算术语区分能力的最佳方法为TDC-T,该算法在多个方面表现稳定,且不受DF值的影响,可以作为衡量术语质量的全新指标,记为TDC。但是本研究所选取的A&HCI数据库的记录较少,这或许会造成另两个领域计算结果的失衡。

两类高区分能力的Vague集之间的相似度量

提出两类高区能力的Vague集之间的相似度量公式,应用实例表明它们是实用的。

神经元的区分能力与置信水平(英文)

当神经元接受两种不同的刺激时,利用发放率分布考虑神经元的区分能力与置信水平,对其分布分别服从相同和不同方差的高斯分布情形,给出了度量两种可能分布的分开程度的量―区分能力,和度量这种区分可靠性的量―置信水平,刻画了区分能力与其置信水平之间的关系,并给出了最优阈值的选择以及执行最优区分任务的解码过程.

决策表的区分能力属性约简算法研究

属性约简是粗糙集理论的一个核心内容,现有的基于区分能力属性约简算法的时间复杂度较高,为此,提出改进的基于区分能力约简算法.针对决策表,引入相对知识量的概念对条件属性的区分能力进行量化,利用等价类基数递归计算相对知识量,并简化其计算过程,最后利用相对知识量作为启发信息进行属性约简.文中提出两种基于区分能力的属性约简启发式算法,一种是以决策表的相对知识量作为结束条件,另一种是以动态约简集的相对知识量改变与否作为结束条件.数值算例和实验结果表明,本文提出的两种算法是正确的、高效的.

一种基于区分能力的多类不平衡文本分类特征选择方法

文本分类中的不平衡数据问题在现实应用中比较普遍。传统的特征选择方法在不平衡问题上倾向于多数类而忽略稀有类。针对这种倾向性该文提出了一种主导性分析量化方法,并基于对该方法的优化提出了一种基于类别区分能力的特征选择方法,即DA(Discriminative Ability)方法,该方法使用文档概率的最小绝对值差作为评分标准,一定程度上保证了特征选择在稀有类与多数类上的公平性。实验表明,DA优于CHI、IG、DFICF,尤其在F1宏平均指标上,DA在不平衡问题上能够取得更好的降维效果。

基于中文术语区分能力的期刊差异性分析研究

[目的/意义]针对中文期刊趋于同质化而缺乏特色的现状,在以内容为主的知识创新背景下,文章提出了术语区分能力(TDC)测度并应用于期刊的内容差异性度量,分析原因并对期刊发展提出建议。[方法/过程]以图书情报学、计算机科学、历史学的核心期刊为实验对象,采用TDC测度、方差分析和聚类分析分别从期刊、时间和学科维度比较期刊的术语区分能力,从而对期刊进行差异性分析。[结果/结论]实验结果表明:TDC在一定程度上能够反映期刊的内容差异性,随着时间跨度的增大差异性表现得更稳定;期刊的TDC在固定时间范围内呈现出一定的发展规律和学科差异;这三个学科的期刊在TDC上的表现:历史学>图书情报学≈计算机科学,由于情报学是交叉领域,其期刊的差异性最弱,未来在图书情报学内外都需要加强自身特色和竞争力。[局限]实验数据抽取自题名、关键词和摘要,没有考虑来自引文的术语,存在一定的局限性。

学科交叉视角下的学科区分能力测度方法及分析研究

学科交叉融合的不断发展使学科自身独特性逐渐被弱化,而独特性是体现学科本质和内涵的重要特征,这对于学科守正拓展创新具有重要意义。本研究提出一种新的指标学科区分能力来对学科内容的差异性进行测度,以分析学科的独特性和交叉性特征。以人文社会学科为例,采用2019年23个学科的题录数据对学科区分能力进行测度,并结合基于PCA (principal component analysis)和ADV (angle-distance based visualization)的空间可视化对学科之间的差异性进行分析。基于此,对比分析学科区分能力与交叉指标的优劣性及相关性,并采用学科互引网络对其区分能力进行验证,探讨学科交叉程度对区分能力的影响。本研究表明,学科区分能力能够很好地测度学科内容差异性;所提出的ADV可视化方法能够准确刻画学科差异性特征;学科区分能力与交叉指标具有相关性,可以互为补充;学科交叉程度对学科区分能力具有消极影响,交叉程度越深,其区分能力就越弱,反之越强。

中国人文社科中术语区分能力差异的比较分析研究

[目的/意义]索引词的质量是信息检索系统评估重要影响因素之一,且术语质量很大程度上决定了索引词的质量。[方法/过程]文章提出一种术语质量评价指标:术语区分能力(Term Discriminative Capability,TDC),探索中国人文社科中的汉语术语质量差异。以中国社会科学引文索引(Chinese Social Sciences Citation Index,CSSCI)数据库的学术论文为实验对象,比较不同学科和不同字段的术语TDC并分析各因素间的相互作用。[结果/结论]实验结果表明,来自不同学科的术语在区分能力中有显著差异,考古学(Archaeology,AC)术语水平最高,马克思主义(Marxism,MX)术语质量最低;不同字段间的术语也有显著的差异,总体上题名(Title,TI)术语质量水平最高,摘要(Abstract,AB)其次,而关键词(Keyword,KW)和附加关键词(Keyword Plus,KP)则由于汉语短语术语的特性未能有较好的表现;另外学科和字段之间有一定的相互作用。

基于区分能力大小的启发式约简算法

属性约简的有效性计算问题是粗糙集理论研究的重要内容之一。对现有决策表的属性约简算法作比较研究,以此为基础给出了一个计算相对知识量的公式和具体的算法,优化了相对知识量的求解,以相对知识量作为启发函数设计了一个高效的属性约简算法。实验结果表明,该算法是正确且高效的。

面向二类区分能力的干扰熵特征选择方法

针对现有的特征选择方法对衡量不同类别数据重叠/分离能力的不足,提出了一种用于评价特征的二类区分能力的干扰熵方法(IET-CD)。对于包含两个类别(正类和负类)样本的特征,首先,计算正类数据范围内的负类样本的混合条件概率,以及负类样本归属于正类的概率;然后,由混合条件概率和归属概率计算混淆概率,再利用混淆概率计算正类干扰熵,同理,计算负类干扰熵;最后,将正、负类干扰熵之和作为该特征的二类干扰熵。干扰熵用于评价特征对二类样本的区分能力,该特征的干扰熵值小,表明该特征的二类区分能力强,反之则弱。在3个UCI数据集和1个模拟基因表达数据集上,每个方法挑选出5个最优特征,并对比了这些特征的二类区分能力,由此比较这些方法的性能。实验结果表明:所提方法与NEFS方法相比,二类区分能力相当或更好;与单索引近邻熵特征选择(SNEFS)方法、相关性最大冗余性最小特征选择(MRMR)算法、联合互信息(JMI)方法、Relief方法相比,绝大多数情况都是所提方法获胜。IET-CD方法能有效地选择二类区分能力更好的特征。

分类算法的区分能力和泛化能力

区分能力和泛化能力是分类算法极其重要的两个方面。区分能力是指分类器很好的将不同类的样本区分开来。泛化能力是指从训练样本数据得到的模型也能够很好的适应测试样本数据。本文简要介绍目前的各种分类算法,并从这两个方面对各个分类器进行了比较。

假想伙伴对5～6岁儿童想象和现实区分能力的影响

【目的】为了比较5～6岁儿童中,有假想伙伴的儿童与没有假想伙伴的儿童在想象和现实的区分能力上是否有区别。【方法】随机选取了34名5～6岁的被试儿童。首先采用了"双向访谈法"确定哪些儿童存在假想伙伴,随后对所有被试进行了想象和现实区分任务的施测。【结果】在34名被试儿童中,有14名存在假想伙伴的心理现象,且有假想伙伴的儿童在想象和现实区分任务的表现上,要明显好于没有假想伙伴的儿童,其想象和现实区分能力更强。【结论】假想伙伴有可能是促进儿童想象和现实区分能力发展的重要因素。

EAID指数改进及其区分能力评价

EAID指数是一个高选择性的拓扑指数,具有广泛的应用前景,例如数据库中的化合物结构检索,但是该指数不能区分某些含2个非氢原子的分子。为了克服此弱点,在本文中改进了EAID指数。经检验,改进的EAID指数成功地解决了前述问题。进一步采用了2个大数据集验证改进的EAID指数的区分能力:1)由1-22个碳原子组成的饱和非环烷烃的所有同分异构体,共3,807,434个分子;2)含8个非氢原子的化合物,包括C8,C7N,C7O和C6NO的所有同分异构体,共416,249个分子。原EAID指数和改进的EAID指数在这2个数据集中均未发生简并。这些结果说明改进的EAID指数与原EAID指数具备相似的区分能力。

中文术语粒度对其区分能力测度的影响分析

【目的】比较中文术语粒度对不同字段的术语区分能力(Term Discriminative Capacity,TDC)测度的影响。【方法】将术语区分能力测度应用于题名、关键词、摘要和附加关键词的术语质量评估,在对照组和实验组中使用方差分析对不同学科、字段及术语粒度的TDC进行差异检测。【结果】当关键词和附加关键词未经处理时,在TDC上的表现为:题名>摘要>附加关键词>关键词;当术语粒度为词时,附加关键词的表现提升,题名>附加关键词>摘要>关键词。【局限】实验数据仅包含5个人文社会科学学科,样本代表性可能存在不足。【结论】中文术语粒度和字段在术语区分能力测度上相互作用,各字段的术语粒度统一为词可降低字段因素的影响。