基于粒化-融合的海量高维数据特征选择算法

基于粒计算视角,提出粒化-融合框架下的海量高维数据特征选择算法.运用BLB(Bag of Little Bootstrap)的思想,首先将原始海量数据集粒化为小规模数据子集(粒),然后在每个粒上构建多个自助子集的套索模型,实现粒特征选择,最后,各粒特征选择结果按权重融合、排序,得到原始数据集的有序特征选择结果.人工数据集和真实数据集上的实验表明文中算法对海量高维数据集进行特征选择的可行性和有效性.

基于改进随机森林的海量高维数据最近邻检索

针对高维大样本数据分类的不足,导致传统海量高维数据最近邻检索存在的召回率低和开销大的问题,提出基于改进随机森林的海量高维数据最近邻检索。收集高维数据并利用局部线性嵌入法对数据进行降维处理。创建最近邻检索索引,利用改进随机森林算法确定高维数据类型,实现海量高维数据最近邻检索。为了测试设计最近邻检索的功能,设计对比实验,经过与传统检索方法的对比得出结论:设计的最近邻检索平均召回率提升了1.2%,内存开销和时间开销均有所降低。

高维数据自适应分类研究

利用高维海量数据点的自身特性和所属类别的唯一性,提出一种改进的无监督分类算法。计算高维点间的互相似度,利用相似性图像处理技术,在每次迭代计算中对数据集进行分割与分类,对数量较少的孤立点进行重分类。实验结果表明,该算法可在没有人工干预的情况下实现高维数据的自适应分类,相比K-means和Isodata算法,所需的计算迭代次数与计算时间较少。

大规模数据环境下用电量预测算法研究

提出了在海量数据下的分布式局部线性回归算法,并通过在大规模用电记录数据集上进行详细地实验,证明了该算法在保证预测效果的前提下,能有显著地缩短模型训练时间,并具有很好的可扩展性。