密度敏感的谱聚类

谱聚类是近来出现的一种性能极具竞争力的聚类方法,它的成功很大程度依赖于相似性度量的选择.本文通过分析这一性质并结合数据聚类特性,提出一种数据依赖的相似性度量——密度敏感的相似性度量.该相似性度量可以有效描述数据的实际聚类分布.将其引入谱聚类得到密度敏感的谱聚类算法.与原有的谱聚类算法相比,新算法不仅能够处理多尺度聚类问题,而且对参数选择相对不敏感.算法有效性分析以及实验验证了所提算法的有效性和可行性.

密度敏感的半监督谱聚类

聚类通常被认为是一种无监督的数据分析方法,然而在实际问题中可以很容易地获得有限的样本先验信息,如样本的成对限制信息.大量研究表明,在聚类搜索过程中充分利用先验信息会显著提高聚类算法的性能.首先分析了在聚类过程中仅利用成对限制信息存在的不足,尝试探索数据集本身固有的先验信息——空间一致性先验信息,并提出利用这类先验信息的具体方法.接着,将两类先验信息同时引入经典的谱聚类算法中,提出一种密度敏感的半监督谱聚类算法(density-sensitivesemi-supervisedspectralclusteringalgorithm,简称DS-SSC).两类先验信息在指导聚类搜索的过程中能够起到相辅相成的作用,这使得DS-SSC算法相对于仅利用成对限制信息的聚类算法在聚类性能上有了显著的提高.在UCI基准数据集、USPS手写体数字集以及TREC的文本数据集上的实验结果验证了这一点.

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机(LSHSSVMs).同隐空间支持向量机(HSSVMs)一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围.由于采用了最小二乘损失函数,最小二乘隐空间支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解.仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势.

克隆规划-交叉验证参数优化的LSSVM及惯性器件预测

为改善最小二乘支持向量机的泛化性能,将克隆规划、交叉验证相结合的优化算法用于最小二乘支持向量机的参数优化.克隆规划算法是具有局部、全局搜索能力的优化算法,能有效避免陷入局部极值;交叉验证算法的无偏估计性抑制了训练过程中“过拟合”和“欠拟合”.在该优化算法中,用交叉验证误差构造抗体抗原亲合度,用克隆规划算法寻找最小二乘支持向量机的最优参数.用优化的最小二乘支持向量机回归模型建立了惯性器件时间序列预测模型.实验结果验证了算法的有效性及预测模型的泛化性能.预测模型为动态补偿、故障预测提供了依据.

稀疏隐空间支持向量机

利用L1范数放宽函数集的VC维上界,构造出基于L1范数的结构风险.在隐空间中,利用这一结构风险,提出了稀疏隐空间支持向量机.由于L1范数具有诱导稀疏性的本质,使得稀疏隐空间支持向量机获得了良好的稀疏性.同隐空间支持向量机一样,稀疏隐空间支持向量机对核函数没有Mercer条件的限制,扩大了核函数的选择范围.在人工和基准数据集上的分类和回归实验表明,所提算法具有同支持向量机相当的推广能力,并且其稀疏性优于支持向量机,从而使得函数评价速度大大加快.