基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法。本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少。在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义。实验结果表明,该算法能构造出比ID3算法更优的决策树。

决策树分类算法的预剪枝与优化

决策树分类算法是1种直观、有效的分类算法。针对影响决策树算法分类效果的2个重要因素———属性选择度量及预剪枝参数,对算法进行优化。以澳大利亚某地降水预测为实例,搭建迭代二叉树3代(ID3)及分类与回归树(CART)模型并对其进行优化。通过数据预处理及预剪枝操作,改进了算法,有效防止了过拟合,提高了决策树的分类性能。基于交叉检验方法优化了2种模型的参数,提高了预测精度。性能对比结果表明,基于基尼指数构建的决策树精度更高。针对该决策树,在优化后的参数附近构建三维网络搜索最优参数,达到了更高的预测准确率。

GP-YOLOX:无预训练的轻量级红外目标检测模型

YOLOX是YOLO系列最新目标检测算法,不仅实现了超越YOLOV3、YOLOv4和YOLOv5的检测精度,而且取得了极具竞争力的端到端推理速度。然而YOLOX在嵌入式设备上部署时仍存在模型体积大、浮点数运算量高、实时性不佳等问题,为了解决以上问题,同时避免模型预训练带来的不必要能耗,提出了一种无需预训练的GP-YOLOX算法。该算法首先利用轻量级的Ghost模块重构YOLOX目标检测网络,初步压缩模型体积,减少运算量;随后对重构后的网络进行无预训练剪枝,选择合适的稀疏比例,在保留精度的前提下,最大化压缩模型体积,减少模型计算量,缩短模型的前向推理时间。首先在FLIR ADAS和KAIST红外数据集上,对YOLOX四种规模的模型进行了实验,最终在保持原有精度的前提下,参数量和浮点数运算量均减小了约75%,同时前向推理时间缩短了约60%;随后用轻量级网络MobileNetv3代替YOLOX的骨干网络DarkNet,与GP-YOLOX进行了对比,该方法在同等数量级的参数量和计算量下,明显优于MobileNetv3。

决策树简化(剪切)方法综述

树的简化是决策树归纳学习中关键的部分。论文是决策树简化方法的一个综述,包括预剪枝、后剪枝和其它方法。文中叙述了多种著名的剪枝方法,各种方法的优缺点及对其的改进和变型。

极小碰集求解中候选解极小性判定方法

极小碰集问题是人工智能中的重要问题,应用广泛.碰集极小性判定,作为极小碰集求解过程中的关键步骤,效率的高低会对极小碰集求解算法的耗时产生直接影响.现有的极小碰集求解算法主要使用子集检测方法进行碰集极小性判定.针对子集检测方法在极小碰集簇规模较大时效率较低的问题,提出了基于元素独立覆盖度检测的碰集极小性判定方法——ICC方法,剥离了碰集极小性判定耗时与极小碰集簇大小的相关性;通过深入分析增量求解过程中非极小碰集的产生原因,给出了ICC方法的增量判定形式IICC方法,使其可以尽早发现并丢弃非极小候选解,为使用其增量极小碰集求解算法带来额外的剪枝效果,进一步提升算法的效率.实验结果表明:该方法易于实现,可扩展性强,对于当前效率较高的Boolean算法,使用IICC方法后,算法可求解问题的规模和整体效率均有明显提升,效率提升最高达4个数量级以上.

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题,提出了基于Rough集的决策树算法.采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式,该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力,并且比信息增益和信息增益率的计算更为简单采取了一种新的剪枝方法——预剪枝,即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式, 以更有效地消除噪音数据对选择属性和生成叶节点的影响.采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法,从而使算法对相容和不相容数据都能进行有效处理.对UCI机器学习数据库中几个数据集的挖掘结果表明,该算法生成的决策树较ID3算法小,与用信息增益率作为启发式的决策树算法生成的决策树规模相当.算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则,并易于利用数据库技术实现,适合大数据集.

基于VPRS的决策树算法中处理噪音数据的新方法

噪音数据是影响决策树训练效率和结果集质量的重要因素。目前的树剪枝方法不能消除噪音数据对选择决策树测试节点属性的影响。为改变这种状况,基于变精度Rough集(VPRS)模型,提出了一个在决策树算法中处理噪音数据的新方法———预剪枝法,该方法在进行选择属性的计算之前基于变精度正区域求取属性修正的分类模式,来消除噪音数据的对选择属性以及生成叶节点的影响。利用该方法对基本ID3决策树算法进行了改进。分析和实验表明,与先剪枝方法相比,该方法能进一步减小决策树的规模和训练时间。

改进的决策树算法在手写体汉字识别中的应用

介绍脱机手写体汉字识别的基本流程,以传统决策树ID3模型为基础,对决策属性挑选策略进行改进.该方法基于信息增益的计算标准,通过引入属性间相关性关系对传统ID3算法"多值偏向性"的缺陷进行补偿,提出节点协调度的预剪枝策略.从分类精确度方面对改进的ID3算法和传统ID3算法进行比较和分析.将改进的ID3算法应用于手写体汉字识别中,试验结果表明,改进的ID3算法可以减少训练时间,并提高识别率.

变样本量学习最小二乘支持向量机算法

为增加最小二乘支持向量机(LS-SVM)算法解的稀疏性,提高其运算效率,提出一种变样本量学习LSSVM算法。从训练集中随机抽取部分样本作为初始工作集,在学习阶段将样本训练过程分为样本增量和样本减量2个阶段。在样本增量阶段,按KKT条件选取特定样本加入工作集并进行训练,在样本减量阶段,采用负松弛变量剪枝策略与基于对偶目标函数差的剪枝策略实现剪枝。在此基础上,采用工作集中的剩余样本构造学习分类器。实验结果表明,相对SMO、SMO-new、ISLS-SVM算法,该算法具有稀疏性高、运算速度快、无精度损失等优点。

Apriori算法的改进及其在睡眠辅助医疗中的应用

针对睡眠呼吸暂停低通气综合征结合沈阳市某医院的数据对睡眠呼吸暂停低通气综合征的相关诊断指标及潜在病因进行频繁项集的挖掘.常用的Apriori算法实用性较强但效率不高且有局限性.本文针对Apriori算法的缺陷结合已有的优化算法提出了一个新的优化算法,并在此基础上建立了睡眠呼吸暂停低通气综合征辅助医疗的模型.该算法效率更高、速度更快、适用性更广,并且将结果与医学临床表现进行对比,符合临床表现,可信度较高.

基于决策树理论的数据挖掘模型

提出了一个基于决策树理论的数据挖掘模型，该模型是数据挖掘中对样本进行分类的一种有效方法，它通过采用分级的形式，可以使复杂的分类问题逐步得到解决。在应用模型进行决策分析时,用给定的训练集构造一棵性能良好的决策树，然后选取合适的决策原则得出结论。在本文的最后给出了模型应用于交通领域的一个例子，说明如何在实际中运用该数据挖掘模型。