基于贝叶斯最优化的Xgboost算法的改进及应用

在使用Xgboost框架时,经常涉及各种参数的调整,并且参数组合的选取对模型的分类性能影响较大.传统的参数寻优方法,通常先导出一个惩罚函数,然后运用经验或者穷举法调整参数值来最大化或最小化这个惩罚函数,但是经常会遇到某个模型没有一个显式的表达式情况.这类模型的参数寻优就非常麻烦,同时又会给算法带来一定的不确定性和随机性.本文基于高斯法(GP)的贝叶斯最优化算法对Xgboost框架进行参数寻优,提出了一种新的算法GP_Xgboost,并通过多组数值进行实验.结果表明本文改进的算法分类效果要优于人工调优和穷举法,从而证明了该算法的可行性和有效性.

MOEA/D聚合函数的二次泛化及其优化性能分析

基于分解的多目标进化算法(Multi-objective Evolutionary Algorithm Based on Decomposition,MOEA/D)是多目标优化算法的一个重要分支,多目标优化的关键问题是如何在算法的收敛性和散布性之间达到良好的平衡.目前主流算法的聚合函数存在着不同的优缺点,尤其是当使用切比雪夫方法选择个体时,经常出现个体偏离权重现象,个体和权重间得不到很好的粘合.本文基于此提出了一种新的聚合函数方法,提高了MOEA/D的性能.该聚合函数的函数形式为二次函数,种群个体在该函数下的等高线是一条二次曲线(本文称双曲线函数方法,Hyperbola Function Method,HYB),是对目前存在的聚合函数的一种泛化形式.该HYB方法相比PBI(Penalty-based Boundary Intersection)方法更强调收敛性,能更容易地在收敛性散布性之间达到平衡.本文测试了MOKP问题及DTLZ系列等测试函数,并与其他算法进行了实验对比,结果显示HYB方法更稳定有效且种群在收敛速度上有一定的提高.

基于互信息的组合特征选择算法

对候选特征进行降维在机器学习领域,如分类、聚类问题中占有很重要的地位.现有的方法大多数是基于单一特征对目标T的依赖性或特征与特征之间对Y影响的关联性,互补性和冗余性进行特征选择.然而这些方法几乎都没有考虑到组合特征,如属性A,B仅包含Y中的极少量信息,甚至与Y完全独立,但A&B能提供关于Y的大量信息,甚至完全决定Y.基于此,提出了一种能够从特征集合中挖掘到组合特征与单一特征的特征选择算法,首先对不显著特征进行组合并按照条件概率分布表生成新的候选特征;然后,对单一特征和组合特征利用基于最大相关性和最小冗余度的准则进行选择.最后分别在虚拟和真实数据集上进行实验,实验结果表明该特征选择算法能够较好的挖掘数据集的组合特征信息,一定程度上提高了相应的机器学习算法的准确率.