基于高维复杂数据的变量选择方法研究

针对目前大多数基于信息论的线性累加特征选择算法的缺点和不足,将类别变量的信息,引入到对待选特征与已选特征子集的冗余性度量之中,考虑到特征与类别变量之间的对称不确定度,提出了一种新的以信息论为基础的,基于最大相关最小冗余原则的过滤式特征选择方法,并在11个公开的标准数据集上进行了验证,通过与6种其他基于信息论的特征选择方法的结果进行对比,验证了所提出的算法的有效性。

基于大数据挖掘的保险反欺诈工作存在的问题及改进建议

随着新时期保险行业的迅猛发展,保险欺诈的案例数目也随之快速增长。为保障保险公司的正常运营,提升其反欺诈的能力,保险反欺诈领域亟需引入能够处理高维、高频、多尺度保险数据的大数据挖掘技术,从而保障保险业的正常发展,切实发挥保险制度社会功效的作用。本文从现有保险反欺诈工作的现状和存在的问题入手,介绍目前最新的基于大数据挖掘技术的保险反欺诈方法的成效及不足,并提出建立健全保险数据的规范机制、挖掘区别保险欺诈的关键性因子、建立保险数据共享机制等建议。

主成分回归和偏最小二乘法在高炉冶炼中的应用

以邯郸钢铁公司2000 m3高炉采集的数据为样本,采用主成分回归(PCR)方法研究了各运行参数对高炉铁水含硅量的贡献,实现了高维复杂数据的降维.考虑到偏最小二乘法(PLS)在处理多重共线性数据中的优势,利用PLS对高炉铁水含硅量进行预测.结果表明,主成分回归和偏最小二乘法在对高炉冶炼过程中产生的大量数据的处理具有其独到的优势,取得了显著的效果.