融合AP聚类算法和宽度学习系统的分布外硬盘故障预测

硬盘是云数据中心最主要的存储设备,硬盘故障预测是保障数据安全的重要手段。但是,硬盘的故障与健康样本之间存在着极端的数量不平衡问题,这会导致模型偏差;此外,不同型号的硬盘数据分布存在一定的差异,在特定硬盘数据上训练的模型往往不适用于其他硬盘。对于这两个问题,文中提出了一种融合AP聚类算法和宽度学习系统的分布外硬盘故障预测方法。针对样本不平衡问题,文中使用AP聚类算法对硬盘故障出现前一阶段的样本集进行聚类,将与故障样本处于同一聚类簇的样本扩充为故障样本。针对不同型号硬盘分布存在差异的问题,文中结合流形正则化框架和宽度学习系统来学习硬盘数据的低维结构,提高模型对未知分布数据的泛化能力。实验结果表明,在AP聚类算法重采样的样本集上,相较于用于对比的重采样方法得到的样本集,多种故障预测方法的F1_Score取得了平均0.2的提升。此外,在分布外硬盘故障预测任务上,所提模型的F1_Score相比对比方法提升了0.1~0.2。

基于AP聚类算法的联邦学习聚合算法

在传统的联邦学习中,多个客户端的本地模型由其隐私数据独立训练,中心服务器通过聚合本地模型生成共享的全局模型。然而,由于非独立同分布(Non-IID)数据等统计异质性,一个全局模型往往无法适应每个客户端。为了解决这个问题,本文提出一种针对Non-IID数据的基于AP聚类算法的联邦学习聚合算法(APFL)。在APFL中,服务器会根据客户端的数据特征,计算出每个客户端之间的相似度矩阵,再利用AP聚类算法对客户端划分不同的集群,构建多中心框架,为每个客户端计算出适合的个性化模型权重。将本文算法在FMINST数据集和CIFAR10数据集上进行实验,与传统联邦学习FedAvg相比,APFL在FMNIST数据集上提升了1.88个百分点,在CIFAR10数据集上提升了6.08个百分点。实验结果表明,本文所提出的APFL在Non-IID数据上可以提高联邦学习的精度性能。

基于AP聚类-跳转持续MC的风电出力时间序列模拟生成方法研究

模拟生成概率等效条件下的风电出力时间序列对分析未来场景下风电出力不确定性以及提高风电消纳水平具有重要意义。针对传统马尔科夫链存在的问题,文中提出一种基于AP聚类-跳转持续马尔科夫链(Affinity Propagation Clustering-Transition and Persistence Markov Chain,AP-TP MC)的风电出力时间序列模拟生成方法。首先,对历史风电出力数据进行AP聚类,并对每一聚类类别下的风电序列建立相应的状态跳转矩阵;其次,依据马尔科夫链模型,结合风电出力状态持续时间特性,抽样并叠加符合混合高斯分布的波动分量,形成某一聚类类别下的风电出力时间序列;然后,依托类间转移矩阵,模拟生成风电出力时间序列;最后,通过对比传统马尔科夫链法与文中方法生成的风电出力时间序列与历史序列之间的统计指标、概率分布指标及自相关性指标,验证所提方法的有效性和准确性。

结合特征金字塔网络的半监督AP聚类算法

为使AP算法对图像进行聚类时充分考虑不同尺度的特征及有效利用未标记数据的特征,提出了结合特征金字塔网络的半监督AP聚类算法(Semi-supervised AP clustering Based on Feature Pyramid Networks, FPNSAP)。FPNSAP算法使用改进的特征金字塔网络来获得图像不同尺度的特征图,对不同大小的特征图进行融合,获得图像的高级语义特征,识别不同大小、不同实例的目标;k近邻标记更新策略可以动态增加标记数据集样本数量,充分利用未标记数据的特征,提高AP算法的聚类性能。FPNSAP算法与四个经典算法(FCH、SAP、DCN和DFCM)在Fashion-MNIST、YaleB和CIFAR-10数据集上进行实验对比,结果表明,FPNSAP算法具有较高的聚类性能,同时算法的鲁棒性更好。

基于AP聚类和鲁棒优化的电网规划灵活性评估

高比例可再生能源的并网,给电力系统规划的灵活性带来了挑战。本文考虑源-荷双端的不确定性,提出了一种基于AP(affinity propagation)聚类和两阶段鲁棒优化的电网规划灵活性评估方法。首先,本文提出了基于AP聚类的远景年典型日负荷建模方法。其次,以区间的形式考虑可再生能源出力的不确定性,构建基于鲁棒优化的电力系统规划方案灵活性评估模型。最后,在整个周期的角度和各时间断面的角度提出了一组电网规划灵活性评估指标。本文利用IEEE RTS-24算例验证所提出方法的合理性。

基于LMD基本尺度熵的AP聚类滚动轴承故障诊断

针对滚动轴承聚类故障聚类模式识别方法中需要预先设定聚类数目问题,提出了一种基于局部均值分解(local mean decompoeiton,LMD)与基本尺度熵(base scale entropy,BSE)的相邻传播(affinity propagation,AP)滚动轴承聚类故障诊断方法。该方法首先使用LMD模型将滚动轴承的不同状态振动信号分解为若干乘积函数(production function,PF);其次使用BSE计算前三个PF的熵值(BSE1-BSE3),并将其作为AP的输入进行滚动轴承的故障模式识别。最后实验结果表明,在不需要划分聚类中心个数的前提条件下AP聚类模型对滚动轴承的故障划分效果较好。

基于优化SAX和带权负荷特性指标的AP聚类用户用电行为分析

智能电表的推广和安装,使用户侧累积了海量用电数据。特征提取和聚类分析作为有效的数据处理手段,有助于挖掘用电数据中隐藏的宝贵信息,提取用户的用电行为特性。为提取有效直观的负荷特性,本文提出利用优化SAX和带权负荷指标的AP聚类算法,对负荷曲线进行聚类。针对AP聚类复杂度较高的问题,首先利用SAX算法对负荷曲线进行降维并提取特征,利用基于模拟退火粒子群算法,优化确定合理的字符数和状态数;然后结合负荷特性指标,运用改进AP聚类算法,对负荷曲线进行聚类,聚类过程中采用熵权法对负荷特性指标进行客观赋权,避免指标设置的主观性。基于聚类结果,对各类用户的用电行为以及需求响应潜力进行分析。案例分析验证了该算法的高效性和有效性,并可应用于电网公司决策,如负荷预测、异常检测和提供差异化服务等。

基于AP聚类算法的跳汰机床层松散度软测量建模

松散度是跳汰分选过程的重要影响因素,针对其难以用仪器在线检测的问题,提出采用最小二乘支持向量机(LS-SVM)的软测量建模方法。在充分考虑分选过程高度非线性及强耦合性的基础上,为避免单模型建模回归精度差和泛化能力弱的问题,提出采用基于仿射传播(AP)聚类的LS-SVM多模型建模算法进行床层松散度软测量建模。首先采用AP算法对样本数据进行聚类划分,再用LS-SVM的方法对子类样本分别建立子模型,最后通过子模型切换策略得到系统输出。仿真实验表明,基于AP聚类算法的LS-SVM软测量建模算法能够更好地预测跳汰机床层松散度。

基于核主成分分析和AP聚类算法的电力系统态势感知技术

随着可再生能源渗透水平的不断提高,现代电力系统面临着更多不可避免的不确定性,这些不确定性可能导致系统的弱阻尼振荡问题。对于可再生能源渗透率很高的电力系统,检测同步发电机之间的相干性是态势感知的关键环节。为此,文中提出了一种基于广域测量系统(Based Area Measurement System,WAMS)的相干检测算法,该方法采用了核主成分分析(Kernel Principal Component Analysis,KPCA)和聚类(Affinity Propagation,AP)分析法可应用于可再生能源广泛渗透的电力系统。文中提出了几种轨迹相似度指标,用于确定惯性中心(Center of Inertia,COI)坐标中任意两个发电机轨迹之间的相似性;提出了一种基于KPCA方法的集成轨迹相似度指标,以解决多个指标之间的相干性问题;随后采用AP聚类分析方法检测同步发电机之间的相干性,可无需预先指定聚类的数量;利用高可再生能源发电渗透率的华南电力系统和包括张北风电场的华北电力系统的一部分进行仿真分析,结果证明了所提方法的适用性和实用性。

基于EEMD的样本熵的滚动轴承AP聚类故障诊断

针对滚动轴承聚类故障诊断需要事先确定聚类数目问题,提出了一种基于总体均值经验模式分解(EEMD)样本熵(SE)的相似近邻传播(AP)聚类故障诊断模型,该模型首先用EEMD方法将滚动轴承振动信号分解为一系列的内禀模式函数(IMFs),其次使用相关系数法确定IMF个数,然后使用SE计算其熵值,最后选择第1~3个IMF-SE值作为AP聚类算法的输入。实验结果表明:在没有预先划分聚类数目的情况下,AP聚类方法对滚动轴承的故障诊断效果较好。

GMAP:一种基于AP聚类的共词分析方法

文献计量学领域中的共词分析方法主要分为三个阶段:术语收集阶段、共现频率统计阶段以及聚类分析阶段,传统共词分析方法在以上三个阶段存在主观性过强、信息量不足,聚类不稳定、成员划分不合理、类团解释缺少语义分析等问题,导致了领域主题发现容易存在偏差。本文针对传统共词分析方法存在的缺陷提出了一种新的共词分析方法——GMAP共词分析方法,即将g指数、互信息概念以及AP聚类算法融入共词分析方法中。首先,使用g指数确定高频关键词的个数;其次,使用互信息概念对共现矩阵进行包容化处理;最后,使用AP算法进行聚类得出领域主题。为了验证GMAP的可行性和有效性,对中国古村落(传统村落)领域文献进行数值实验,结果显示GMAP共词分析法优于传统共词分析方法,为改进共词分析方法提供了一个新的研究思路。

基于AP聚类的支持向量机公交站点短时客流预测

公交站点短时客流预测是公交调度决策的基础,文中设计了一种基于AP聚类算法的支持向量机用于公交短时客流预测.该方法利用AP聚类算法将客流调查数据划分为若干个聚类子集,对每一子集建立支持向量机预测模型,并采用遗传算法对预测模型的参数进行优化选择.该方法在兰州市快速公交站点客流数据统计的基础上进行实例分析,结果表明:设计的遗传算法可以有效解决支持向量机模型中的参数优选问题,使用AP聚类算法对客流数据进行分类可以提高支持向量机的预测精度,该预测方法可有效的对公交车站客流进行短时预测.

时空深度特征AP聚类的稀疏表示视频异常检测算法

针对异常行为检测问题,提出基于时空深度特征的AP聚类稀疏表示视频异常检测方法。由于视频序列中大量背景信息及有效信息分布不均匀的情况,首先利用光流结合非均匀的细胞分割对视频的运动目标进行提取并得到空间尺寸大小不同的时空兴趣块。其次利用三维卷积神经网络提取不同时空兴趣块的时空深度特征从而对原始视频序列进行三维描述。然后在字典学习时,采用AP聚类方法,将训练样本中具有代表性的特征作为字典,极大降低字典维度以及稀疏表示方法对计算内存的要求。本文将测试样本进行AP聚类后仅对具有代表性的聚类中心进行检测,在减少实验时间的同时削减了阈值对检测效果的敏感度。实验结果表明,与现有的检测方法相比本文方法具有优越性。

基于LDA模型和AP聚类的主题演化分析

随着互联网的高速发展,网络信息呈现爆炸性增长态势,主题演化分析能够帮助人们从海量的互联网数据中获取更有价值的信息。分析主题的演化发展轨迹有利于人们了解主题事件发生的前因后果,并对主题事件发展趋势进行更好地预测,进而辅助管控。针对单个主题演化分析方法中阈值设定和主题漂移的问题,提出一种LDA-AP主题演化模型。该方法利用LDA模型对不同时间窗口内的新闻文本分别进行建模,得到相应的主题。利用AP聚类算法对不同时间窗口内的多个主题进行聚类,其中计算主题相似度采用加入时间衰减因子的JS散度来度量。最后对多个主题内容进行演化分析。通过相关的实验分析和对比,结果表明该方法可以改善主题演化的性能,并能较好地分析多个新闻主题事件随时间的演化趋势。

AP聚类算法的分析与应用

Affinity propagation(AP)聚类算法是通过消息传递实现聚类的,不需要事先指定聚类数目.对于规模较大的数据集,AP聚类是一种快速、有效的聚类方法,这是其他传统聚类方法所不能及的,如K-centers方法.研究了AP算法的原理和步骤,通过实验,证明了AP聚类算法的实用性和有效性.

Harris角点检测与AP聚类结合的车牌定位方法

在车牌识别系统中,车牌的准确定位是关键,针对车牌区域包含有比较丰富的角点,提出了harris角点检测与AP聚类相结合的车牌定位方法.该方法先采用Harris算法检测出车牌区域的角点,然后对角点进行AP聚类并剔除包含角点数较少的类以及远离类中心的离群点,最后进行区域合并,根据车牌区域宽高比识别车牌区域.实验证明该方法能够快速、准确定位出车牌区域.

基于属性区分能力和AP聚类的属性粒化方法

提出了一种基于属性区分能力和AP聚类的属性粒化方法(Attribute Granulation based on attribute discernibility and AP algorithm,AGAP)。该方法首先依据属性依赖度计算属性的区分能力;然后将所有属性作为潜在的聚类中心,使用AP算法聚类,得到若干个属性簇类;最后采取选用代表属性的方法得到较粗的属性粒子,从而达到属性粗粒化的要求。对高维数据的特征降维,这种算法比传统的属性约简算法大大提高了运算效率,在属性粒化精度要求不是很严格的情况下,所提算法优势明显。

基于AP聚类和互信息的弱标记特征选择方法

特征选择是多标记学习中重要的预处理过程.针对现有多标记分类方法没有考虑标记占比对特征和标记相关性的影响,以及不能有效处理弱标记数据等问题,提出一种基于仿射传播(affinity propagation,AP)聚类和互信息的弱标记特征选择方法.首先,在AP聚类的基础上,结合剩余标记信息和样本相似性,构建概率填补公式,预测缺失标记值,有效补齐缺失标记;然后,使用先验概率定义标记占比,结合互信息构建相关性度量,评估特征与标记集之间的相关程度;最后,设计一种弱标记特征选择算法,有效提高弱标记数据的分类性能.在6个多标记数据集上进行仿真实验,结果表明,该算法在多个指标上获得了良好的分类性能,优于当前多种相关的多标记特征选择算法,有效验证了所提算法的有效性.

改进的AP聚类算法研究

AP聚类算法是Frey和Dueck在2007年提出的一个先进的聚类方法.该算法具有较传统聚类算法更好的聚类性能,已被成功地应用于计算机科学的研究领域.为了获得高质量的聚类集,原始AP算法的迭代是在全部数据点之间交流信息,直到收敛.由于这种算法在计算数据时需要占用二次CPU时间,不适用于大规模的数据集,因此,本文在AP算法的基础上提出了一种有效的聚类算法.该算法在迭代时可修剪不必要的信息,且在计算消息收敛的同时确定迭代集群,并对算法进行了实验,证明算法是有效的.

基于类内和类间距离的粗粒度并行AP聚类算法

近邻传播(Affinity Propagation,AP)聚类是基于数据点间消息传递的算法,主要通过数据间的相似度实现聚类.与传统的聚类方法相比,AP聚类无需事先给定聚类数目就可实现聚类,因此具有快速高效的优点,然而在处理高维复杂数据集时存在随着聚类效率提升而准确度不高的问题.为改善AP聚类算法的效率和精度,提出基于类内和类间距离的粗粒度并行AP聚类算法——IOCAP.首先引入粒度思想将初始数据集划分成多个子集;其次对各子集结合类内和类间距离进行相似度矩阵的改进计算,最后基于MapReduce模型实现改进后的并行AP聚类.在真实数据集上的实验表明,IOCAP算法在大数据集上有较好的适应性,能在保持AP聚类效果的同时有效地提升算法精度.