基于局部线性加权的离群点检测方法

为了提高高堆数据集合离群数据挖掘效率,在分析了传统的离群数据挖掘算法优点和缺点的基础上,提出了一种基于局部线性加权的离群点检测算法。该算法利用LLE算法的思想寻找样本数据的内在嵌入分布,并通过距离公式和离群点权值判别式进行权值数据判定,根据权值的大小标识出数据集中的离群点。仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点。与此同时,该算法具有参数估计简单、参数影响不大等优点。该算法为离群点检测问题的机器学习提供了一条新的途径。

一种适用于高维非线性特征数据的聚类算法及应用

针对高维数据聚类分析中数据之间具有多种非线性特征关系,导致数据分布不均、传统相似性度量失效及结果类中心难以精准表征等问题,提出了一种基于核主元分析(KPCA)与密度聚类(DBSCAN)的高维非线性特征数据聚类分析技术。首先,为有效提取高维数据的非线性特征,利用KPCA理论将原始数据映射到更高维数据空间,利用主元分析获得数据变化的方向集合,并进行降维分析;然后,通过重新定义数据样本在主元空间的相似性距离对传统DBSCAN聚类方法进行改进,并利用3δ统计理论对各簇中心的进行表征,从而实现高维数据的精确分类与类中心知识表达。以实际高血压患者群体聚类问题为例对方法进行了有效性验证,实验表明,所提方法可以有效获取原始数据的非线性特征,实现患者个体特征群体的有效划分及簇类中心知识的表达,解决传统DBSCAN聚类方法对高维数据不适用的问题。

LLE算法及其应用

LLE算法针对非线性降维问题,利用线性重构的局部对称性找出高维数据空间中的非线性结构。并在保持各数据点临近位置关系情况下,把高维空间数据点映射为低维空间对应的数据点。其计算步骤包括:计算、寻找数据点或邻居数据点、构造数据点及计算权值矩阵,并通过权值矩阵计算低维向量。

高维化工数据共轭粒子群算法处理

针对化工数据多为高维数据,而粒子群算法对求解高维优化问题易陷局部极值,提出将共轭方向法与粒子群算法相结合处理高维数据。当粒子群算法迭代了一定步数而陷入局部极值并得局部最优解时,以为初值,用共轭方向法对其求解,利用粒子群算法对低维优化问题的有效性,将得新的更优的当前最优解,从而使算法跳出局部极值;在新极值的条件下,又用粒子群算法对原问题求解,如此反复直至结束。通过经典的测试函数对其测试,结果表明这一尝试是有效的。最后将算法用于SO2催化氧化反应动力学模型的非线性参数估计,获得满意效果。

改进的偏最小二乘回归模型及应用

对样本量小于特征数量的高维数据进行拟合时,偏最小二乘回归模型(PLS)因自身优点对线性关系的拟合效果较好。为解决PLS模型对非线性关系拟合效果较差并控制模型计算量两方面问题,提出基于stacking集成非线性偏最小二乘模型(stacking-plsr)。从模型鲁棒性、敏感性和拟合精度三个方面对stacking-plsr模型进行实证检验。结果表明,stacking-plsr模型的拟合效果对训练集样本数量和超参数degree的取值并不敏感,在测试集上预测值的MSE和ARE两项指标相较于传统PLS模型分别降低68.26%和34.44%。

基于大数据技术的本地差分隐私高维数据收集算法

现有的本地差分隐私高维数据收集算法,存在着收集数据准确性较低的缺陷,为了解决上述问题,提出基于大数据技术的本地差分隐私高维数据收集算法.描述本地差分隐私高维数据收集问题,以此为基础,搭建本地差分隐私高维数据收集架构,通过大数据技术处理高维数据,得到高维数据聚类结果,以得到的高维数据聚类结果为依据,利用分布式网络收集高维数据,实现了基于大数据技术的本地差分隐私高维数据的收集.仿真对比实验结果表明,与现有的本地差分隐私高维数据收集算法相比较,提出的本地差分隐私高维数据收集算法极大地提升了收集数据的准确性,充分说明提出的本地差分隐私高维数据收集算法具备更好的收集效果.

非线性降维技术与可视化应用

基于非线性降维技术有助于发现高维数据内在结构与几何分布的理论基础,根据特征保留形式将目前非线性降维技术分为3类,并对其中具有代表性的算法进行分析。通过与经典线性降维技术进行对比,证明了非线性降维技术在数据可视化应用中的优势。针对传统非线性降维技术存在的时间复杂度过高及适用范围有限的问题,系统性地总结了目前该领域的最新改进方式。

基于再生核希尔伯特空间映射的高维数据特征选择优化算法

现有过滤型特征选择算法并未考虑非线性数据的内在结构,从而分类准确率远远低于封装型算法,对此提出一种基于再生核希尔伯特空间映射的高维数据特征选择算法。首先基于分支定界法建立搜索树,并对其进行搜索;然后基于再生核希尔伯特空间映射分析非线性数据的内部结构;最后根据数据集的内部结构选择最优的距离计算方法。对比仿真实验结果表明,该方法与封装型特征选择算法具有接近的分类准确率,同时在计算效率上具有明显的优势,适用于大数据分析。