基于MLP-Bagging集成分类模型的在线学习行为分析

针对教育者难以对学习者多样化的在线学习行为进行监测和研判等问题,提出一种带嵌入层的MLP-Bagging集成分类模型对学习者的在线学习行为进行分析与判别.考虑到学习者的在线学习行为以及个体特性,从学习准备行为、知识获取行为、交互学习行为、学习巩固行为和辅助特征5个方面构建在线学习行为模型,并采用MLP-Bagging集成分类模型对学习者进行分类判别.实验结果表明,所构建的学习模型可对在线学习者的学习行为进行符合实际的建模,加入辅助特征有利于对各类学习者的在线学习行为进行深入的分析与指导,并且在分类模型中加入嵌入层可以有效克服标签编码带来的数据冗余和误差缺陷,从而获得更好的分类效果.与其他分类模型相比,融合多个MLP分类器的Bagging集成模型可以减少单个MLP分类器的方差,其分类准确率达到98.72%,具有较好的实际应用价值.

增强Fisher判决的Bagging集成分类方法

提出了一种样本间的相似性度量方法,并将这种相似性度量信息附加到Fisher线性判别的类内、类间离散度矩阵,使得Fisher判决准则在使类内距离达最小、类间距离达最大的同时,也使类内相似度达最小、类间相似度达最大,获得比原始Fisher判别更好的投影矩阵。实验证明,与Bagging集成的Fisherface比较,该方法显示出更好的识别率。

基于Bagging集成的高维不平衡数据特征选择方法

随着大数据的发展,很多应用领域样本都以高维形式呈现,而数据集的高维特性会削减不平衡学习的分类效果。针对高维不平衡数据的分类问题,文章提出了一种基于SVM-RFE与Bagging集成的自适应特征选择方法WAFS,该算法结合嵌入式与包装式的特征选择方法,能够自适应地选择最优特征构成特征空间。在5个不同维度(100~5000)的高维不平衡公开数据集上与基于过滤式的CSFS特征选择算法和基于嵌入式的ASG特征选择算法进行了对比分析,并探究了适合不同数据集的最佳采样方式以及不同维度数据集的最优特征空间率。以AUC、Acc、Recall、F1-score和G-mean为评估指标,实验结果表明,WAFS算法在不同维度数据集上都有比较好的表现,尤其是在分类高维小样本的不平衡数据集上具有巨大优势,在保证了准确率的前提下,该模型也有很强的稳定性和泛化性。

基于Bagging的概率神经网络集成分类算法

目前的神经网络较多集中在以BP算法为基础的BP神经网络上。针对BP神经网络的不足,在分析研究概率神经网络和机器学习的基础上,结合集成学习的思想,提出了基于Bagging的概率神经网络集成分类算法。理论分析和实验结果都表明,提出的算法能够有效地降低分类误差,提高分类准确率,具有较好的泛化能力以及较快的执行速度,能够取得比传统的BP神经网络分类方法更好和更稳定的分类结果。

基于Bagging集成学习算法的地震事件性质识别分类

地震台网在监测地震的同时记录到的非天然震动事件会对后续的科研和预报工作造成较大的影响,因此快速准确的对天然震动事件与非天然震动事件加以区分就显得尤为重要.本文针对传统人工方法识别地震事件性质的不足之处,采用Bagging机器学习算法对地震事件性质进行区分.首先选取震中距范围在80～200km内的地震数据,之后采用AIC算法自动识别P波到时,进而用处理后的数据训练模型,最后使用测试数据对模型进行评估,准确率可达85%以上.因此,本文提出的方法可以有效地对天然震动事件与非天然震动事件加以区分.

基于不平衡分类的Bagging集成污水处理故障诊断

在污水处理过程故障会导致出水水质下降、运行费用增高甚至造成环境的二次污染,而污水处理故障诊断数据的典型不平衡特性,严重影响了故障诊断的效果,尤其会导致故障分类的正确率偏低.针对此问题,文中提出了一种基于加权极限学习机的改进Bagging集成污水处理故障诊断建模方法;以加权极限学习机为基分类器,以Bagging集成框架建立集成分类器;定义可调整的过采样倍率公式,通过虚拟少数过采样算法(SMOTE)对少数类样本进行过采样,以保证基分类器间的多样性;以不平衡分类性能指标G-mean值为基础,定义新的基分类器输出权值更新公式,以提高故障类别识别率.仿真实验表明,该污水处理故障诊断模型的性能优于其他对比算法,可有效提高G-mean值和整体分类正确率,特别是提高了故障类别的识别正确率.

一种基于特征集构建的Bagging集成方法及其在流量分类中的应用

Bagging是一种经典的分类器集成方法,其有效性依赖于基分类器之间的差异度。通过遗传算法为每个基分类器构建独立的特征集,目的是获得基分类器之间更好的差异性。同时,根据不同基分类器的分类性能进行优化加权集成,获得更好的泛化能力。最后,采用Softmax回归作为基分类器,将改进的Bagging集成方法应用到互联网流量分类,实验结果表明,改进方法相比经典Bagging方法在分类准确率上有显著提高,与利用决策树集成的随机森林相比也有较好的性能提升。

不平衡数据流的集成分类方法综述

现实世界的场景中,从数据流中学习会面临着类不平衡的问题,学习算法由于缺少训练数据而无法有效识别少数类样本。为了介绍不平衡数据流集成分类的研究现状和面临的挑战,依据近年来的不平衡数据流集成分类领域文献,从基于加权、选择和投票的决策规则和基于代价敏感学习、主动学习和增量学习的学习方式的角度详细分析和总结了不平衡数据流的集成方法,并比较了使用相同数据集的算法的性能。针对处理不同类型复杂数据流中的不平问题,从概念漂移、多类、噪声和类重叠四个方面对其集成分类算法进行总结,分析了经典算法的时间复杂度。对动态数据流、缺失信息的数据流、多标签数据流和不确定数据流中不平衡问题的分类挑战提出了下一步的集成策略研究。

集成分类对比:Bagging NB & Boosting NB

Bagging和Boosting是两种重要的投票分类算法,前者并行生成多个分类器,后者通过调整样本权重,串行生成多个分类器.将Bagging与Boosting算法与朴素贝叶斯算法相集成,构建了Bagging NB和AdaBoosting NB算法.以UCI数据集为基础,进行实验对比,结果表明,Bagging NB算法较为稳定,可以产生优于NB算法的分类结果,而Boosting算法受到数据分布中的奇异值影响较大,部分数据集上与NB算法的基础效果较差.

Bagging选择性集成演化硬件DNA微阵列数据分类方法

为了提高演化硬件(EHW)分类系统的泛化能力和减少硬件代价,提出了一种用于DNA微阵列数据分类的演化硬件多分类器选择性集成学习方法。重点讨论了基于Bagging的选择性集成学习策略和基于虚拟可重构结构的演化硬件分类系统构架。通过对原始数据训练集的随机重采样生成训练子集完成对演化硬件基分类器的训练,并选择其中识别率较高的基分类器进行集成以获得更高的分类性能。演化硬件分类系统对DNA微阵列数据的学习与分类均在Xilinx Virtex xcv2000E FPGA硬件平台上实现。通过对急性白血病和肺癌数据集的对比实验表明:相对于传统演化硬件集成学习方法,这种方法在保证较高识别率的基础上有效降低了硬件代价,且具有更短的学习时间和较强的泛化能力。

基于熵权与集成学习的半监督小样本树种分类研究

针对传统半监督自训练分类方法易导致数据集混乱,影响后续小样本树种分类精度这一问题,基于熵权法(en-tropy weight,EW)与集成学习(ensemble learning,EL)提出EW-EL的半监督小样本树种分类方法。EW-EL在传统半监督自训练分类方法的理论上引入EL的思想,以熵权法作为基础理论设计按基分类器当前训练周期下的F1分数计算的信息熵作为计算权重因子,再依信息熵越大基分类器越不稳定思想设计权重,使集成分类器分类概率更集中,减少集成分类器偏向性。结果显示,EW-EL较传统半监督自训练方法能更有效地均衡数据分布,使新加入数据的伪标签样本类别更准确。EW-EL所得到的小样本树种分类总精度(OA)为0.97、召回率(Recall)为0.96及Kappa系数为0.97,3种指标均优于监督分类、传统半监督自训练方法及利用传统EL机制所构建的半监督自训练方法。其中,EW-EL方法较融合软投票机制的半监督自训练方法,OA与Recall均提升了1%。EW-EL联合简单线性迭代聚类所制成的树种图在所选测试区内达到了94%。此外,进一步分析证明,EW-EL能通过集成诸多分类器,来实现更佳的小样本树种分类结果,更适用于低成本下的相关部门进行林业资源统计的工作。

基于集成单分类学习的异常检测技术研究

单分类方法适用于难以获取异常数据的实际情况,具有广阔的应用前景。深度支持向量数据是目前最新的表现较好的单分类算法之一,然而深度支持向量数据描述存在单次映射随机性较大、鲁棒性不足等问题,为提高其性能,研究一种基于集成单分类学习的异常检测技术,集成多个神经网络进行训练,取映射得到的球心平均值作为超球体的球心。最后实验结果证明了提出算法的有效性和稳健优越的性能。

基于Bagging-SVM集成分类器的网页作弊检测

网页作弊不仅造成信息检索质量下降,而且给互联网的安全也带来了极大的挑战。提出了一种基于Bagging-SVM集成分类器的网页作弊检测方法。在预处理阶段,首先采用K-means方法解决数据集的不平衡问题,然后采用CFS特征选择方法筛选出最优特征子集,最后对特征子集进行信息熵离散化处理。在分类器训练阶段,通过Bagging方法构建多个训练集并分别对每个训练集进行SVM学习来产生弱分类器。在检测阶段,通过多个弱分类器投票决定测试样本所属类别。在数据集WEBSPAM-UK2006上的实验结果表明,在使用特征数量较少的情况下,本检测方法可以获得非常好的检测效果。

Bagging算法在中文文本分类中的应用

Bagging算法是目前一种流行的集成学习算法,采用一种改进的Bagging算法Attribute Bagging作为分类算法,通过属性重取样获取多个训练集,以kNN为弱分类器设计一种中文文本分类器。实验结果表明Attribute Bagging算法较Bagging算法有更好的分类精度。

一种基于Bagging和混淆矩阵的自适应选择性集成

为了平衡集成学习中差异性和准确性的关系并提高学习系统的泛化性能,提出一种基于Bagging和混淆矩阵的选择性集成方法.基本思想是通过扰动训练集和特征空间生成基分类器,根据每一个基分类器的混淆矩阵构造一个基分类器间相关性的度量矩阵;然后基于相关性度量矩阵对基分类器集合进行子集划分,在每个划分中选择一个基分类器参与集成;最后用多数投票法融合所选基分类器的决策结果,并通过仿真实验验证该方法的有效性.

基于Bagging集成学习的字符识别方法

针对字符识别对象的多样性,提出了一种基于Bagging集成的字符识别模型,解决了识别模型对部分字符识别的偏好现象。采用Bagging采样策略形成不同的数据子集,在此基础上用决策树算法训练形成多个基分类器,用多数投票机制对基分类器预测结果集成输出。理论分析与仿真实验结果表明,所提模型相比其他分类方法具有更好的分类能力。

基于Bagging支持向量机集成的入侵检测研究

对大数据集来说,支持向量机的时空耗费非常大,本文采用bagging技术对支持向量机进行集成。首先用bootstrap技术对训练样本集进行可重复采样,使所得到的新子样本集有较大差异,然后用多个支持向量机对各子样本集进行学习,并将学习后的结果用多数投票法集成最终的结论。实验表明,支持向量机集成对入侵检测数据有比单个支持向量机更好的分类性能。

一种基于特征选择的SVM Bagging集成方法

针对传统支持向量机(Support Vector Machine,SVM)集成学习(Ensemble Learning,EL)方法不能够解决高维复杂数据且子学习器差异性小集成效果不明显的问题,提出一种基于多种特征选择方法进行Bagging集成的支持向量机学习(Support Vector M achine Based on M ultiple Feature Selection Bagging,M FSB_SVM)方法.该方法首先采用不同的特征选择方法构建子学习器,以增加不同子学习器间的差异性,并直接从训练数据中对样本特征的重要性进行评估,而无需学习算法的反馈.实验表明,本文提出的MFSB_SVM方法既可以有效解决高维数据问题,也可避免传统SVM集成方法效果不明显的缺点,从而进一步提高学习模型的泛化性能.

Bagging中文文本分类器的改进方法研究

在文本分类研究中,集成学习是一种提高分类器性能的有效方法.Bagging算法是目前流行的一种集成学习算法.针对Bagging算法弱分类器具有相同权重问题,提出一种改进的Bagging算法.该方法通过对弱分类器分类结果进行可信度计算得到投票权重,应用于Attribute Bagging算法设计了一个中文文本自动分类器.采用kNN作为弱分类器基本模型对Sogou实验室提供的新闻集进行分类.实验表明该算法比Attribute Bagging有更好的分类精度.

基于特征选择的Bagging分类算法研究

为了提高数据的分类性能,提出了一种基于特征选择的Bagging分类算法。通过Fisher准则和互信息的方法给定一种能够直接评价特征区分度和与类别相关性的评价方法,重新构造了计算特征区分度和与类别相关性的计算公式。并将该方法应用到Bagging分类算法当中。实现了算法迭代过程中的特征选择,使得每个基分类器都是由不同的特征子集训练所得,保证了基分类器的独立性,降低了训练误差。通过理论分析和大量的实验,对文中的方法与经典特征选择方法进行了比较,实验结果显示文中的方法能够得到更高的预测精准度。