基于大数据聚类的通信网络安全态势预测技术

传统通信网络安全态势预测技术缺乏大数据支撑,难以对发生的攻击进行详细分类和追踪,导致在进行长时间的态势预测中收敛过慢,准确度降低.提出一种基于大数据聚类的通信网络安全态势预测技术.分析通信网络的属性以及特点,选择安全态势描述一级指标,将数据标准化处理之后,细分出二级指标;优化大数据聚类算法,计算最优聚类数量、确定聚类中心,建立关联规则库并优化预测流程,完成基于大数据聚类的通信网络安全态势预测技术的设计.通过实验结果表明,与两种传统的安全态势预测技术相比,设计的技术收敛速度更快,全体数据点没有出现残差扩散的现象,并且数据完整度较高.

基于一致性图的权重自适应多视角谱聚类算法

随着移动设备和互联网的普及,多视角数据的采集和分享变得更加容易,其可以从多个视角更准确地描述数据。目前,一些多视角聚类算法忽略了不同视角间的一致性潜在知识和不同视角的重要性。针对该问题,提出一种平衡视角间一致性信息的多视角聚类算法。首先通过调节视角权重学习视角间一致的共享相似度矩阵,提升共享矩阵的一致性,其中相关性强的视角具有的一致性信息更多,视角权重越大,在一致性学习中发挥的作用越大,而差异性大的视角其权重越小,在学习中发挥的作用越小。其次学习视角间的一致性样本嵌入以及不同视角的特征嵌入,并将特征嵌入中包含的多样性特征信息迁移到样本嵌入中,以此促进样本嵌入的一致性表达。在不同视角特征中包含多样性信息,可补充上述共享相似度矩阵学习中单一样本关系的不足。因此,采用二部图协同聚类,通过建立样本数据、样本嵌入和特征嵌入的关系图,学习样本的特征嵌入,并将其迁移到样本嵌入中。最后将图学习、谱聚类和特征嵌入学习整合到统一的框架中进行联合优化,得到最优的样本嵌入。实验结果表明,通过对样本嵌入进行K-means聚类,将该算法运行于5个真实数据集并与7种聚类算法对比,其中在3-Sources、Yale、MRSCV1数据集上的正确率均高于对比算法5%以上,验证了该算法的有效性。

跳跃跟踪SSA交叉迭代AP聚类算法

针对传统近邻传播聚类算法以数据点对之间的相似度作为输入度量,由于需要预设偏向参数p和阻尼系数λ,算法精度无法精确控制的问题,提出了一种跳跃跟踪麻雀搜索算法优化的交叉迭代近邻传播聚类方法.首先,针对麻雀搜索算法中发现者和加入者位置更新不足的问题,设计了一种跳跃跟踪优化策略,通过考虑偏好阻尼因子的跳跃策略设计大步长更新发现者,增加麻雀搜索算法的全局勘探能力和寻优速度,加入者设计动态小步长跟踪领头雀更新位置,同时,利用自适应种群划分机制更新发现者和加入者的比重,增加算法的后期局部开发能力和寻优速度;其次,设计基于扰动因子的Tent映射,在此基础上增加3个参数,使映射分布范围增大,并避免了陷入小周期点和不稳周期点;最后,引入轮廓系数作为评价函数,跳跃跟踪麻雀搜索算法自动寻找较优的p和λ,代替手动输入参数,并融合基于扰动因子的Tent映射优化近邻传播算法,交叉迭代确定最优簇数.使用多种算法聚类University of California Irvine数据集的10种公共数据集,仿真结果表明,本文提出的聚类算法与经典近邻传播算法、基于差分改进的仿射传播聚类算法、基于麻雀搜索算法优化的近邻传播聚类算法和进化近邻传播算法相比具有更优的搜索效率以及聚类精度.对国家信息数据进行了聚类分析,提出的方法更加准确有效合理,具有较好的应用价值.

基于机器学习的茶树DNA聚类算法

为了研究茶树基因序列的聚类问题,设计一种基于累计方差贡献率进行改进的核主成分分析(KPCA)与k均值(k-means)++聚类算法相结合的降维聚类算法(KPCA-k-means++)。将基因库数据集筛选分组后,利用k-mers算法提取基因数据的数据特征,根据累计方差贡献率的占比大于85%的标准确定降维主元个数对KPCA进行降维改进并采用k-means++算法对降维后数据聚类,通过CH(Calinski-Harabaze Index)指标和响应时间分析聚类结果。结果表明:在单独聚类、KPCA聚类、改进PCA聚类、改进KPCA聚类4种处理方式中,改进KPCA-k-means++算法在不同处理方式和不同样本数的对比下,CH指标均为最高,与未改进时相比平均高出33%。在响应时间方面,改进KPCA-k-means++算法与同样改进PCA-k-means++算法在不同聚类数和样本数的对比下响应时间均较短。改进KPCA-k-means++算法能够保证对于茶树的基因序列的聚类准确率和聚类速度,表现出极好的聚类稳定性。

基于LMDI和系统聚类的电力行业碳排放影响因素分析

电力行业作为直接使用一次能源的最大部门,是落实我国碳减排目标的重点行业。为厘清电力行业碳排放的主要驱动或抑制来源,论文构建了LMDI模型,从国家及省域两个层面对2006—2020年电力行业碳排放的影响因素进行了分解。研究结果表明,从国家及省域两个层面来看,经济发展效应均为电力碳排放的主要促进因素,火电燃料转化效应和产业结构效应均为电力碳排放的抑制因素,电源结构效应、工业电耗强度效应在全国层面为电力碳排放的抑制因素,但在各省份中的影响效果及程度各有不同。论文以主要抑制因素为变量,利用系统聚类法将30个省份划分为六大区域,针对各区域影响因素的作用效果提出了因地制宜的减排政策。

农业机器人采摘目标识别技术研究——基于FCM模糊聚类算法

介绍了FCM(Fuzzy C-Means)模糊聚类算法的原理,采用权重分配的方法对该算法进行了改进,通过建立模糊的相似矩阵,对目标对象的特征聚类图进行分析,并引入隶属度矩阵对FCM算法进行优化,以加快算法的迭代速度。实验结果表明:农业机器人采用该方法对农作物轮廓分割识别度较高,算法计算效率较快,验证了其可靠性,该方法可用于目标农作物的分割和目标识别。

结合聚类边界采样的主动学习

主动学习是一种机器学习方法,需要选择最有价值的样本进行标注。目前,主动学习在应用时面临着一些挑战,其依赖分类器的先验假设,这容易导致分类器性能意外下降,同时需要一定规模的样本作为启动条件。聚类可以降低问题规模,是主动学习的一种有效手段。为此,结合密度聚类边界采样,开展主动学习方法的研究。针对容易产生分类错误的聚类边界区域,通过计算样本密度,提出一种密度峰值聚类边界点采样方法;在此基础上,给出密度熵的定义,并利用密度熵对聚类边界区域进行启发式搜索,提出一种基于聚类边界采样的主动学习方法。试验结果表明,与文献中的5种主动学习算法相比,该算法能够以更少标记量获得同等甚至更高的分类性能,是一种有效的主动学习算法;在标记不足,无标签样本总量20%的情况下,算法在Accuracy、F-score等指标上取得较好的结果。

基于大数据聚类的搬运机器人抓取末端控制系统设计

为提高搬运机器人抓取效率,避免损伤货物,设计了基于大数据聚类的搬运机器人抓取末端控制系统。利用主控制器和驱动控制器平稳控制机器人运行,通过在末端执行器内安装红外扫描装置、集成锁相环路解码器LM567,判断货物是否处于抓取末端内部。使用FRS-402敏感电阻,降低力敏感电阻值,提高抓取的稳定性,完成系统硬件设计。基于大数据聚类拟合控制信号,降低数据维度并提取特征向量。通过匀速抓取、反馈减速以及应力松弛3步,实现搬运机器人抓取末端控制系统设计。实验结果表明,所设计系统能够有效减小抓取位置误差,提高搬运效率,降低货物损失。

基于组合相似度动态聚类和词熵的网络话题在线检测

[研究目的]为实现网络热点话题的在线检测,提升增量式聚类算法的聚类效果,提出了基于组合相似度的动态聚类算法,同时通过计算词熵实现主题词提取和演化跟踪。[研究方法]通过CIFG-BiLSTM-CRF模型实现文本的命名实体识别,计算文本与话题的实体相似度,再取文本词向量与话题中心余弦相似度的最大值作为词向量相似度,二者结合判断文本所属话题。在聚类过程中利用时间窗口策略实现话题中心和成员文本的动态更新。同时,计算文本词熵,生成话题的词熵和列表,实现话题主题词提取和演化跟踪。实验以新冠疫情新闻为数据实现话题在线检测,并展示了话题主题词的演化和跟踪过程。[研究结论]实验表明,与传统相似度计算方法相比,组合相似度能够获得更好的聚类效果,聚类过程中提取出的话题主题词也正确地反映了原始数据的热点话题内容。

基于K-means聚类和特征空间增强的噪声标签深度学习算法

深度学习中神经网络的性能依赖于高质量的样本,然而噪声标签会降低网络的分类准确率。为降低噪声标签对网络性能的影响,噪声标签学习算法被提出。该算法首先将训练样本集划分成干净样本集和噪声样本集,然后使用半监督学习算法对噪声样本集赋予伪标签。然而,错误的伪标签以及训练样本数量不足的问题仍然限制着噪声标签学习算法性能的提升。为解决上述问题,提出基于K-means聚类和特征空间增强的噪声标签深度学习算法。首先,该算法利用K-means聚类算法对干净样本集进行标签聚类,并根据噪声样本集与聚类中心的距离大小筛选出难以分类的噪声样本,以提高训练样本的质量;其次,使用mixup算法扩充干净样本集和噪声样本集,以增加训练样本的数量;最后,采用特征空间增强算法抑制mixup算法新生成的噪声样本,从而提高网络的分类准确率。并在CIFAR10、CIFAR100、MNIST和ANIMAL-10共4个数据集上试验验证了该算法的有效性。

基于广义Curvelet变换和相空间特征聚类的VSP波场分离方法

垂直地震剖面(Vertical Seismic Profiling,VSP)蕴含大量的地层地质信息,是连接地震反射数据与测井资料之间的桥梁.VSP数据分辨率高,资料丰富,包括上行波、下行波、转换波等多种类型的波场,常被用于地层反射界面标定、介质衰减参数反演等.其中,如何有效地分离波场是将VSP资料应用于油气勘探的关键之一.广义Curvelet变换是一种具有多尺度、多角度的相空间变换,能够进行相空间域波场特性的提取.本文聚焦于VSP波场的上下行波分离问题,提出一种基于广义Curvelet变换和相空间特征聚类方法.首先,采用广义Curvelet变换对VSP波场进行特征提取,构造融入相空间角度信息的特征数据集;然后,利用K-means聚类算法在相空间对波场特征进行分类;最后,对分类结果进行反变换,完成VSP上下行波波场的自适应分离.为了验证方法的有效性,本文将所提出的方法用于合成数据和实际VSP数据的波场分离,并与常用的基于F-K变换的波场分离方法进行对比.处理结果表明,本文方法角度分辨率高、抗噪能力强,波场分离结果的保真保幅性好,这为后续的成像与地层的特征分析提供了重要基础资料.

采用混合策略联合优化的模糊C-均值聚类信息熵点云简化算法

针对传统聚类算法处理点云简化问题时精度低、耗时长且易丢失特征信息等问题,提出了一种基于动态精英自适应混合策略的鹈鹕算法(DEAMPOA)与加权熵法联合优化的模糊C-均值聚类(FCM)信息熵点云简化算法。采用动态自适应种群混合策略,同时融合了精英反向化思路,显著提升了鹈鹕优化算法(POA)的收敛趋势和全局寻优能力,提高了寻找FCM最优聚类中心的成功率;利用DEAMPOA结合加权熵法对FCM进行优化,提高鲁棒性的同时增强了搜索精度,得到较好的聚类结果;在8种UCI标准数据集上与4种算法对比进行聚类性能评估实验,验证了所提方法综合性能优越;将所提方法与信息熵融合,并应用在三维点云KITTI数据集简化中。实验结果表明:与包围框简化法、随机采样简化法和特征选择简化法对比,所提方法全局误差简化前后点集之间平均欧式距离(MED)指标分别降低了2.25%、6.93%、5.74%,点云简化效果最优且运行速度满足要求。

基于双层聚类信息的极光亚暴自动检测

极光亚暴与太阳风和地球磁场的耦合过程有着紧密的联系,对其发生和发展机制的研究,有助于深入地分析行星际磁场、地球磁层和地球电离层的相互作用,了解太阳风携带的大量能量在地球空间的输运过程,对地球空间环境预警具有重要的意义。Polar卫星搭载的紫外极光图像成像仪能够全天候地获取紫外极光图像,在紫外极光图像中可以完整地展示出极区极光的亮度和尺度变化,尤其是可以清晰地展示出亚暴膨胀相的极光点亮和亮斑膨胀现象。现有的极光亚暴事件检测方法通常需要人工设计特征和相关规则库,耗时耗力。本文利用紫外极光图像提出了基于双层聚类信息的亚暴事件检测方法,实现了紫外极光图像数据中的亚暴事件自动检测。同时,针对极光亚暴事件检测依赖手工设计特征,设计了子空间聚类指导的三维卷积特征自动提取网络;针对极光图像帧间存在成像角度差异,利用地磁纬度和磁地方时信息对极光序列中图像的空间位置进行校正;针对卫星成像位置变化导致的成像噪声,利用极光图像级聚类保留极光亮斑区域和剔除未成像或噪声区域。主观和客观实验结果表明,本算法提升了亚暴事件检测的查全率。

基于聚类和深度学习的车联网轨迹隐私保护机制

针对车联网轨迹发布中用户面临的隐私泄露问题,提出基于聚类和深度学习的轨迹隐私保护机制(PPCDL).考虑轨迹中的时间因素,通过时间戳将轨迹空间划分为多个区域,获取区域中的轨迹分布点.对每个区域进行改进稳定隶属度多峰值聚类,根据区域轨迹密度进行隐私预算矩阵的预分配.利用时间图卷积网络模型提取轨迹数据的时空特征,对隐私预算预分配矩阵进行训练和预测.根据预测结果添加相应的拉普拉斯噪声,在轨迹数据发布前进行扰动.理论分析和实验结果表明,PPCDL相较于对比机制,时间开销更少,能够更精确地预测隐私预算.利用PPCDL可以合理地在轨迹数据中添加拉普拉斯噪声,有效地提高了轨迹数据的可用性.

噪声鉴别C均值聚类的滁菊花茶品质等级鉴别研究

近红外光谱检测技术可以通过探测近红外区域的光谱特征,反映所测样品内部有机物化学成分和结构信息。在分析物质成分时,近红外光谱通常会涉及到大量的波长数据,因此其维数往往比较高。同时,光谱会出现重叠和冗余等现象,会影响模型的性能。提出一种噪声鉴别C均值聚类(NDCM)算法。NDCM将一种快速广义噪声聚类(FGNC)和模糊线性判别分析(FLDA)相结合,可实现模糊聚类过程中进行数据鉴别信息的提取和数据空间维度的压缩,以达到更高的聚类准确率。对滁菊花茶近红外光谱数据进行模糊C均值聚类(FCM)得到的模糊隶属度和聚类中心作为噪声鉴别C均值聚类(NDCM)的初始模糊隶属度和初始聚类中心,使NDCM具有聚类速度快,准确率高等优点。FCM算法对光谱噪声数据敏感,而NDCM算法在处理含噪声的光谱数据时能够表现出较好的性能。该研究选取特级滁菊、一级滁菊、二级滁菊三种品质等级的滁菊花茶作为实验样本,共计240个样本。实验使用便携式近红外光谱仪(NIR-M-F1-C)采集滁菊花茶的近红外光谱数据。用Savitzky-Golay滤波和多元散射校正(MSC)对滁菊花茶近红外光谱进行预处理,以减少光谱中掺杂的噪声和重叠信息。通过主成分分析(PCA)对采集到的400维光谱数据进行维度压缩降至6维。该研究使用线性判别分析(LDA)提取滁菊花茶光谱数据中的鉴别信息,并将数据空间维度进一步转换为2维。分别用FCM,FGNC和NDCM三种算法对处理后的数据进行聚类分析,以实现对滁菊花茶的准确分类。实验结果显示:当权重指数m=2.5时,FCM,FGNC,NDCM的聚类准确率分别为92.42%,98.48%,100%。NDCM聚类时间略长于FGNC。FCM算法需要进行27次迭代才能收敛,而FGNC算法和NDCM算法分别只需要13次和10次迭代就能达到收敛。采用近红外光谱技术结合MSC、Savitzky-Golay滤波、PCA、LDA和NDCM算法,建立了一种精准鉴别滁菊花茶品质等级的聚类模型。

基于超像素快速模糊聚类的印刷品图像分割方法

针对当前彩色印刷品色差检测过程中效率低、复杂性高等问题,提出了一种基于超像素快速模糊聚类的印刷品图像分割方法(SFFCM)。先用简单线性迭代聚类(SLIC)算法将图像分割为紧密相邻的超像素区域。每个超像素区域被视为一个独立的聚类单元。随后,将模糊C均值聚类(FCM)算法应用于超像素的归属关系计算中,即引入隶属度值,允许超像素归属于多个聚类中心,并通过权衡归属度值来实现模糊聚类。实验结果表明,相对于其他算法,本文方法在保持良好实时性的同时,实现了较好的分割效果,有效平衡了算法复杂度与分割效果之间的关系。

基于相似度加速的自适应聚类联邦学习

为了解决联邦学习过程中数据异质性导致模型性能下降的问题,考虑对联邦模型个性化,提出了一种新的基于相似度加速的自适应聚类联邦学习(ACFL)算法,基于客户端本地更新的几何特性和客户端联邦时的正向反馈实现自适应加速聚类,将客户端划分到不同任务簇,同簇中数据分布相似的客户端协同实现聚类联邦学习(CFL),从而提升模型性能。该算法不需要先验确定类簇数量和迭代划分客户端,在避免现有基于聚类的联邦算法计算成本过高、收敛速度慢等问题的同时保证了模型性能。在常用数据集上使用深度卷积神经网络验证了ACFL的有效性。结果表明,所提算法性能与聚类联邦学习算法相当,优于传统的迭代联邦聚类算法(IFCA),且具有更快的收敛速度。

基于自适应模糊C-均值算法的退役锂离子电池快速聚类

梯次利用处理退役锂离子电池具有巨大的经济和环境价值,而如何高效、准确地对退役电池进行分选重组是梯次利用中突出的技术挑战。首先,为准确反映退役电池的一致性,提取最大可用容量(MAC)、放电欧姆内阻(DOIR)和容量增量曲线的弗雷歇距离(FD)3个因素共同作为聚类因子。然后3个聚类因子结合自适应模糊C-均值(AFCM)算法构建退役电池聚类方法。结果表明:AFCM算法聚类簇内MAC的最大误差为79 mA·h,DOIR小于45 mΩ;三因素的聚类方法成组的电池一致性较好;并且在117颗电池聚类时,AFCM算法聚类耗费的时间最短。

基于系统聚类法的含新能源电力系统分区策略

为实现含新能源电力系统的惯量分布特性的有效评估,提出一种基于系统聚类法的含新能源电力系统分区策略。首先分析新能源机组惯量与同步机组惯量之间的差异;其次构建节点惯量响应模型,分析节点惯量相关因素的特性;然后通过主成分分析对影响节点惯量的主导变量进行降维,将降维后的变量应用系统聚类法对节点进行聚类分区;最后通过系统辨识得到区域惯量,评判出整个系统惯量的空间分布。在仿真软件中搭建改进的IEEE 10机39节点模型验证了分区策略的合理性。

基于特征聚类的轨道不平顺潜在病害辨识

研究目的:轨道不平顺潜在病害隐蔽性强,对其准确合理辨识是开展预防修策略下线路养护维修作业的前提。本文以轨检数据为基础,分别构造了以轨道质量指数(TQI)和轨道不平顺幅值为对象的潜在病害辨识指标。在此基础上,基于k-means++聚类算法和手肘法通过判定样本最佳聚类簇数实现潜在病害的识别及定位。依托某有砟铁路动检数据对所提轨道不平顺潜在病害辨识方法进行了验证。研究结论:(1)对于均值管理来说,在16 km连续轨道区段上2处区段单元潜在病害被准确识别,其历史最大TQI值分别约为5.5 mm、5.3 mm,且潜在病害定位结果与实际里程基本吻合;(2)对于峰值管理来说,在500 m连续轨道区段上2处局部不平顺潜在病害也被准确识别,其历史最大幅值约为3 mm、3.3 mm,潜在病害定位结果与实际里程基本吻合;(3)本研究成果可与大机捣固作业、人工精调作业相结合,为预防修策略下的潜在病害整治提供辅助参考。