针对Mapreduce机制下算法通信时间占用比过高,实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通信管理方法,采用成员管理协议方式实现成员管理与Mapreduc...针对Mapreduce机制下算法通信时间占用比过高,实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通信管理方法,采用成员管理协议方式实现成员管理与Mapreduce降低操作的同步化;其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法;最后,通过第一阶段的缓冲进一步降低第二阶段Mapreduce操作的数据量,尽可能降低大数据带来的对算法负面影响。在此基础上,利用人造大数据测试集和KDD CUP 99入侵测试集进行仿真,实验结果表明,该算法既能保证聚类精度要求又可有效加快算法运行效率。展开更多
针对传统近邻传播聚类算法以数据点对之间的相似度作为输入度量,由于需要预设偏向参数p和阻尼系数λ,算法精度无法精确控制的问题,提出了一种跳跃跟踪麻雀搜索算法优化的交叉迭代近邻传播聚类方法.首先,针对麻雀搜索算法中发现者和加入...针对传统近邻传播聚类算法以数据点对之间的相似度作为输入度量,由于需要预设偏向参数p和阻尼系数λ,算法精度无法精确控制的问题,提出了一种跳跃跟踪麻雀搜索算法优化的交叉迭代近邻传播聚类方法.首先,针对麻雀搜索算法中发现者和加入者位置更新不足的问题,设计了一种跳跃跟踪优化策略,通过考虑偏好阻尼因子的跳跃策略设计大步长更新发现者,增加麻雀搜索算法的全局勘探能力和寻优速度,加入者设计动态小步长跟踪领头雀更新位置,同时,利用自适应种群划分机制更新发现者和加入者的比重,增加算法的后期局部开发能力和寻优速度;其次,设计基于扰动因子的Tent映射,在此基础上增加3个参数,使映射分布范围增大,并避免了陷入小周期点和不稳周期点;最后,引入轮廓系数作为评价函数,跳跃跟踪麻雀搜索算法自动寻找较优的p和λ,代替手动输入参数,并融合基于扰动因子的Tent映射优化近邻传播算法,交叉迭代确定最优簇数.使用多种算法聚类University of California Irvine数据集的10种公共数据集,仿真结果表明,本文提出的聚类算法与经典近邻传播算法、基于差分改进的仿射传播聚类算法、基于麻雀搜索算法优化的近邻传播聚类算法和进化近邻传播算法相比具有更优的搜索效率以及聚类精度.对国家信息数据进行了聚类分析,提出的方法更加准确有效合理,具有较好的应用价值.展开更多
函数型聚类分析在统计学领域被广泛关注,其分析过程通常在降维目标实现后进行。为了有效解决函数型主成分聚类问题,文章结合局部线性嵌入算法(Locally Linear Embedding,LLE)在非线性空间下的适用性,提出了一种局部线性下的函数型主成...函数型聚类分析在统计学领域被广泛关注,其分析过程通常在降维目标实现后进行。为了有效解决函数型主成分聚类问题,文章结合局部线性嵌入算法(Locally Linear Embedding,LLE)在非线性空间下的适用性,提出了一种局部线性下的函数型主成分分析模型(LLE Function Principle Component Analysis,LFPCA)。首先,采用函数型主成分分析法作为降维目标方法,改进了FPCA的算法模型,通过将LLE算法的权重系数矩阵与函数型主成分定义相结合,构建出一个适用于非线性空间下的聚类算法;其次,在求解算法的过程中定义了函数型主成分得分,并结合EM算法构建出GMM模型来近似函数型算法的概率密度函数,使模型更高效且适用性更强;最后,通过随机模拟实验及应用分析验证了LFPCA算法模型在真实数据集上具有良好的聚类效能。展开更多
针对基于深度学习轴承故障诊断模型由于工况因素导致诊断效果不佳的问题,提出了一种用聚类与插值(Clustering and interpolation,CAI)改进深度学习算法实现变工况轴承故障诊断的方法。首先,采用有限元法仿真多工况、多故障类型的轴承振...针对基于深度学习轴承故障诊断模型由于工况因素导致诊断效果不佳的问题,提出了一种用聚类与插值(Clustering and interpolation,CAI)改进深度学习算法实现变工况轴承故障诊断的方法。首先,采用有限元法仿真多工况、多故障类型的轴承振动信号数据,获取足够样本;然后,完成宽卷积核深度卷积神经网络(Deepconvolutionalneuralnetworks with widekernel,WDCNN)模型构建,并利用任一工况下的数据完成模型训练;最后,利用CAI算法统一其余工况数据的转速信息,调用WDCNN模型完成对其余工况样本的故障诊断。结果显示,WDCNN模型对训练数据所属工况故障诊断准确率达99.9%,对经过CAI算法处理其他工况数据故障诊断识别率分别为98.7%、99.2%,是一种简单、准确有效、泛化能力强的故障诊断方法。展开更多
文摘针对Mapreduce机制下算法通信时间占用比过高,实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通信管理方法,采用成员管理协议方式实现成员管理与Mapreduce降低操作的同步化;其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法;最后,通过第一阶段的缓冲进一步降低第二阶段Mapreduce操作的数据量,尽可能降低大数据带来的对算法负面影响。在此基础上,利用人造大数据测试集和KDD CUP 99入侵测试集进行仿真,实验结果表明,该算法既能保证聚类精度要求又可有效加快算法运行效率。
文摘针对传统近邻传播聚类算法以数据点对之间的相似度作为输入度量,由于需要预设偏向参数p和阻尼系数λ,算法精度无法精确控制的问题,提出了一种跳跃跟踪麻雀搜索算法优化的交叉迭代近邻传播聚类方法.首先,针对麻雀搜索算法中发现者和加入者位置更新不足的问题,设计了一种跳跃跟踪优化策略,通过考虑偏好阻尼因子的跳跃策略设计大步长更新发现者,增加麻雀搜索算法的全局勘探能力和寻优速度,加入者设计动态小步长跟踪领头雀更新位置,同时,利用自适应种群划分机制更新发现者和加入者的比重,增加算法的后期局部开发能力和寻优速度;其次,设计基于扰动因子的Tent映射,在此基础上增加3个参数,使映射分布范围增大,并避免了陷入小周期点和不稳周期点;最后,引入轮廓系数作为评价函数,跳跃跟踪麻雀搜索算法自动寻找较优的p和λ,代替手动输入参数,并融合基于扰动因子的Tent映射优化近邻传播算法,交叉迭代确定最优簇数.使用多种算法聚类University of California Irvine数据集的10种公共数据集,仿真结果表明,本文提出的聚类算法与经典近邻传播算法、基于差分改进的仿射传播聚类算法、基于麻雀搜索算法优化的近邻传播聚类算法和进化近邻传播算法相比具有更优的搜索效率以及聚类精度.对国家信息数据进行了聚类分析,提出的方法更加准确有效合理,具有较好的应用价值.
文摘函数型聚类分析在统计学领域被广泛关注,其分析过程通常在降维目标实现后进行。为了有效解决函数型主成分聚类问题,文章结合局部线性嵌入算法(Locally Linear Embedding,LLE)在非线性空间下的适用性,提出了一种局部线性下的函数型主成分分析模型(LLE Function Principle Component Analysis,LFPCA)。首先,采用函数型主成分分析法作为降维目标方法,改进了FPCA的算法模型,通过将LLE算法的权重系数矩阵与函数型主成分定义相结合,构建出一个适用于非线性空间下的聚类算法;其次,在求解算法的过程中定义了函数型主成分得分,并结合EM算法构建出GMM模型来近似函数型算法的概率密度函数,使模型更高效且适用性更强;最后,通过随机模拟实验及应用分析验证了LFPCA算法模型在真实数据集上具有良好的聚类效能。
文摘针对基于深度学习轴承故障诊断模型由于工况因素导致诊断效果不佳的问题,提出了一种用聚类与插值(Clustering and interpolation,CAI)改进深度学习算法实现变工况轴承故障诊断的方法。首先,采用有限元法仿真多工况、多故障类型的轴承振动信号数据,获取足够样本;然后,完成宽卷积核深度卷积神经网络(Deepconvolutionalneuralnetworks with widekernel,WDCNN)模型构建,并利用任一工况下的数据完成模型训练;最后,利用CAI算法统一其余工况数据的转速信息,调用WDCNN模型完成对其余工况样本的故障诊断。结果显示,WDCNN模型对训练数据所属工况故障诊断准确率达99.9%,对经过CAI算法处理其他工况数据故障诊断识别率分别为98.7%、99.2%,是一种简单、准确有效、泛化能力强的故障诊断方法。
