基于χ~2统计量的kNN文本分类算法

随着Internet上文档信息的迅猛发展,文本分类成为处理和组织大量文档数据的关键技术.由于χ2统计量能很好地体现词和类别之间的相关性,因此成为特征选择中常用的评估函数.本文分析了χ2统计量在特征选择和分类决策阶段的性质,提出了一种新的基于χ2统计量的相似度定义,并结合基于两次类别判定的快速搜索算法,改进了传统的kNN算法.实验结果显示基于χ2统计量的改进kNN文本分类算法能大大减少kNN算法的分类时间,并提高了kNN算法的准确率和召回率.

基于χ~2统计量的不良文本过滤特征选择方法

针对现有以χ^2统计量为基础的特征选择方法在不良文本过滤过程中效果欠佳的问题,利用双层分类对特征选择方法进行改良,提出一种不良文本过滤特征选择方法。首先通过改良逆文档频率来区分特征项在所属类别类内与其他类别之间的分布差别;其次,引入逆类别频率弥补抑制强度;最后,加入逆上层类别频率,清晰划分具有较高相似度的某两类二层类别。所改良的特征选择方法能够弥补现有χ^2统计量在类内/类间特征项分布情况判别能力的缺陷,将其应用于不良文本过滤过程,能够充分贴合不良文本过滤过程的特征选择需求。通过对比评估指标的结果,表明所提方法在不良文本过滤领域具有更好的效果。

应用χ~2统计量分析保险数据

本文就乌鲁木齐市不同民族,不同职业的居民对保险产品的认同水平运用χ2统计量[1]及关系矩阵进行齐一性假设检验,并对结果进行分析,得出了合乎情理的结论。根据居民职业的不同我们可以将文卫科、企管、工人、农牧、服务业、其他职业归为一类,而"公务员"、"金融"、"个体"各为一类。不同民族的居民对保险的认同水平同样差异显著:回族、维族与其它民族的差异性很小;回族与汉族有差异不大;而维族与汉族之间差异最大。

χ^2-拟合检验及其计算机实现

本文介绍了 χ2 -拟合检验的理论和应用 ,并给出了用著名统计软件SAS来解决这一统计分析问题的方法及相应的程序。

基于模糊决策树的文本分类规则抽取

提出一种合并分枝的模糊决策树文本分类方法对相似文本类进行分类,并可抽取出分类精度较高的模糊分类规则。首先研究改进了的χ2统计量,并根据改进的χ2统计量对文本的特征词条进行聚合,有效地降低了文本向量空间的维数。然后使用一种合并分枝的模糊决策树进行分类,大大减少了抽取的规则数量。从而既保证了决策树分类的精度和速度,又可抽取出可理解的模糊分类规则。

碳硫分析仪长期稳定性测量方法研究

碳硫分析仪一般使用标准样品绘制校准曲线后直接测定未知样品中碳、硫元素含量,通过标准样品或控制样品的实时核查实现对仪器及校准曲线的长时间监控使用,因此,测量出仪器的长期稳定性时间上限(T_(MAX))十分必要。长期稳定性测量即是监控测量结果的准确度,包括精密度和正确度。针对本实验室内的碳硫分析仪设计长期稳定性试验,利用相关标准中的重复性及实验室内再现性精密度数据以及χ~2统计量,对测量数据进行各时段内精密度、各时段内正确度、时段内重复性、时段间总精密度以及总均值正确度的检验,给出了碳硫分析仪的长期稳定性时间上限7h。在此时间内,仪器无需任何校正,节省了时间和成本。

电感耦合等离子体质谱仪长期稳定性的测定

使用微合金钢及高温合金两种不同基体的有证标准物质,利用检测标准GB/T32548—2016中的重复性和实验室内再现性精密度数据及χ^2统计量,对电感耦合等离子体质谱仪(ICP-MS)测量Sn、Sb、Pb和Bi的长期稳定性进行了测定。测定结果表明,电感耦合等离子体质谱仪在测量不同基体样品中不同元素时,长期稳定性不完全相同。在本实验条件下,Sn、Sb和Bi在连续11.5h的测量时间内,Pb在连续6.0h的测量时间内,各时段内精密度、正确度,时段内重复性,时段间总精密度,总平均值正确度均满足检测标准和统计要求,由此确定了本实验条件下电感耦合等离子体质谱仪的长期稳定性时间上限为6.0h。当不测量Pb元素时,电感耦合等离子体质谱仪的长期稳定性时间上限可延长至11.5h。在长期稳定性时间上限时间内,仪器无需再次进行校准曲线的测量和校正,节约了测量时间和成本。

一种基于χ~2统计的特征分类选择方法研究

【目的】针对传统χ~2统计无法保证各类别之间信息的均衡性从而影响分类效果的问题,改进χ~2统计以提高其应用效果。【方法】通过分析传统χ~2统计的特征选择过程及其局限,提出一种基于χ~2统计的特征分类选择方法,根据特征词与每一类的关联度分类别选取特征词。【结果】以SVM为分类模型,通过实验对比改进前后的方法对文本分类效果的影响,结果表明基于χ~2统计的特征分类选择方法在准确率、平均分类准确率、最低分类准确率、稳定性和系统运行时间等方面得到显著改善。【局限】特征词选取数量较少时,改进前后差异不明显。【结论】基于χ~2统计的特征分类选择方法,有效改善了分类模型的稳定性与泛化性能,使分类准确率的波动幅度减小,分类过程的效率显著提高。

特征抽取方法在网页分类中的应用

随着Internet的日益剧增,如何有效地对浩如烟海、形态各异的网页进行有效分类,以便人们能快速准确地获取所需的信息,已成为网络应用的一个重要的研究领域。本文在分析总结网页分类特征的基础上,提出了一种改进的基于特征选择的网页分类方法。该方法能够改善网页分类的精度,对此通过实验进行了验证。

动态平行数据模型中固定效应模型的模型设定问题

将数据生成过程为一阶自回归的时间序列yt=α＋ρyt-1＋εt, εt～i·i·d（0,σ^2）,t=1,2,...T的大样本性质推广到动态平行数据模型中,在固定效应模型中构造并证明了模型设定的χ^2统计量,并解决了动态平行数据模型中固定效应模型的模型设定问题.

非正态假定下贝叶斯动态线性模型的监控研究(英文)

对非正态假定下贝叶斯动态模型,特别是非线性的模型的监控,一直是个难题.本文通过构建基于样本点的统计量,实现了对非正态假定下贝叶斯动态线性模型的监控.该方法也适用于非线性的贝叶斯动态模型.

概率视角下席位公平分配方法及其评价

通过χ^(2)统计量建立了概率视角下的席位公平分配问题模型,给出了模型的计算方法与求解步骤.以χ^(2)统计值及亚当斯公平性理论为相对公平性评价标准,通过几个典型的案例仿真实验与多种分配方法进行了比较,结果显示了该分配模型的合理性和可操作性,提出的统计模型可用于多种不可分割资源的合理分配问题.