并行处理网络下半结构化大数据快速聚类方法

半结构化数据量已经超过PB级,在这种大规模数据集上快速响应交互式请求,对关系数据库查询和大数据处理技术都提出了挑战。然而当前的聚类算法均是离线批量处理结构化、非结构化数据。面对半结构化数据对象和应用需求的转变,需要对传统聚类算法针对性地优化和改进。设计一种并行处理网络下半结构化大数据快速聚类方法。首先,在常用的Linux与Windows网络环境中捕获大数据包,并对捕获的多源异构大数据做清洗和集成等预处理操作,完成数据准备工作;然后在并行处理网络下,基于MapReduce框架改进常规CanpoyK-means聚类算法形成BCK-means并行聚类算法,对多源异构大数据进行并行化聚类分析,实现半结构化大数据的快速聚类挖掘。实验结果表明,设计方法在10 s内即可完成不同类别的半结构化数据集的聚类且聚类结果稳定,在半结构化数据聚类挖掘效率方面具有优势。

基于大数据聚类的通信网络安全态势预测技术

传统通信网络安全态势预测技术缺乏大数据支撑,难以对发生的攻击进行详细分类和追踪,导致在进行长时间的态势预测中收敛过慢,准确度降低.提出一种基于大数据聚类的通信网络安全态势预测技术.分析通信网络的属性以及特点,选择安全态势描述一级指标,将数据标准化处理之后,细分出二级指标;优化大数据聚类算法,计算最优聚类数量、确定聚类中心,建立关联规则库并优化预测流程,完成基于大数据聚类的通信网络安全态势预测技术的设计.通过实验结果表明,与两种传统的安全态势预测技术相比,设计的技术收敛速度更快,全体数据点没有出现残差扩散的现象,并且数据完整度较高.

基于结构化深度聚类网络的人脸表情识别研究

针对如今常用的卷积神经网络对人脸表情图片的特征提取不足、关键区域的特征无法精确提取等问题,文章利用不同表情时人脸关键点的变化,并将深度学习方法与聚类方法相结合运用于人脸表情识别中,提出一种基于结构化深度聚类网络(SDCN)的人脸表情识别算法.该网络由GCN图卷积神经网络、K-最近邻(KNN)图构建网络、编码器网络构成.为更好地捕捉到人脸关键点之间的关系和表情信息,利用GCN网络对人脸表情图像中的关键点进行特征提取.该网络输入数据为图结构数据,将人脸关键点数据输入对应的KNN图构建网络以得到人脸关键点的图结构数据.该网络在Fer2013、CK+与JAFFE三个人脸表情数据库上进行实验,获得了较为不错的识别率,在一定程度上证实了算法的有效性.

基于组合相似度动态聚类和词熵的网络话题在线检测

[研究目的]为实现网络热点话题的在线检测,提升增量式聚类算法的聚类效果,提出了基于组合相似度的动态聚类算法,同时通过计算词熵实现主题词提取和演化跟踪。[研究方法]通过CIFG-BiLSTM-CRF模型实现文本的命名实体识别,计算文本与话题的实体相似度,再取文本词向量与话题中心余弦相似度的最大值作为词向量相似度,二者结合判断文本所属话题。在聚类过程中利用时间窗口策略实现话题中心和成员文本的动态更新。同时,计算文本词熵,生成话题的词熵和列表,实现话题主题词提取和演化跟踪。实验以新冠疫情新闻为数据实现话题在线检测,并展示了话题主题词的演化和跟踪过程。[研究结论]实验表明,与传统相似度计算方法相比,组合相似度能够获得更好的聚类效果,聚类过程中提取出的话题主题词也正确地反映了原始数据的热点话题内容。

一种基于融合特征聚类和随机配置网络的轴承剩余寿命预测方法

针对轴承剩余寿命(remaining useful life,RUL)预测中故障始发时刻(first predicting time,FPT)基于人为主观选择以及预测滞后带来的维护风险的问题,提出了一种基于融合特征和随机配置网络(stochastic configuration networks,SCNs)的轴承剩余寿命预测方法。首先,采用互补集合经验模态分解(complementary ensemble empirical mode decomposition,CEEMD)对原始轴承水平振动信号进行分解,再提取其时域、频域信号,构建融合特征。最后,使用小波聚类划分健康状态,找到合适的FPT,并结合能反应轴承退化的特征构建健康数据集,通过SCNs网络离线建模进行预测,并根据拟合曲线的斜率以及RMSE指标对预测结果进行校正。通过实验分析,所提方法的综合得分高达0.83,误差百分比的平均绝对误差(mean absolute deviation,MAD)和标准偏差(standard deviation,SD)分别为5.26和3.38;与其他预测方法相比,本文所提方法有较高的预测精度。

基于VMD和时空网络变分自编码器的负荷聚类

为了解决用户用电负荷曲线数据维度高、特征提取困难以及序列存在信号模态混叠的问题,提出了使用变分模态分解(variational modal decomposition,VMD)和改进基于时空网络的变分自编码器(variational auto-encoder,VAE)对电力负荷曲线进行特征提取。通过模态分解得到信号的固有模态,对模态重构得到时序特征较明显的序列信号。再通过长短期记忆网络(long short-term memory network,LSTM)和卷积网络(convolutional neural network,CNN)组成的时空变分自编码器进行潜在特征提取,并构建网络分类器来联合损失优化自编码器模型。最后使用Minibatchkmeans算法聚类并计算聚类中心。使用UCI数据集中葡萄牙居民用电量作为实验数据,通过实验结果表明经模态分解后通过降维再聚类的算法在戴维斯丁堡指数(Davies-Bouldin index,DBI)和轮廓系数(silhouette coefficient,SC)上表现出较好效果。

基于K-means聚类和BP神经网络的电梯能耗实时监测方法

针对现有方法在对电梯能耗进行监测时,存在监测精度低、用时长、监测结果不理想的问题,该文提出一种基于K-means聚类算法和BP神经网络相结合的电梯能耗实时监测方法 .在经过清洗的能耗数据中提取影响建筑能耗实时监测的主要因素特征值,利用相似系数法进行相似度计算,获取相似系数.对相似电梯能耗数据进行小波分解获取高低频序列,分别采用LSSVM-GSA检测方法和均方加权处理方法对低频和高频部分进行处理,将两个结果进行重构,得到最终的实时监测结果 .仿真实验结果表明:所提方法能够获取高精度、低耗时、高稳定性的监测结果 .

基于自适应网络拓扑和日志聚类的故障定界方法研究

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,存在效率低、无法主动发现故障的问题。本文提出了一种基于自适应网络拓扑和日志聚类的故障定界方法。首先利用交换机ARP表和主机流量关系构建网络拓扑,再对系统日志进行结构化和聚类处理,最后结合网络拓扑和聚类结果快速定位异常范围,保证异常检测高效及全面。经生产实践表明,本文提出的故障定界方法能快速定位问题主机。

基于图神经网络聚类的土壤监测点位优化

在土壤污染的监测过程中,由于需要大面积的监测点位布设,所以需要大量的人力和物力,同时原有的土壤监测点位存在冗余和代表率低的问题,对监测结果的准确性和全面性产生了影响。使用一种基于自编码器降维和图卷积网络(GCN)推理的土壤点位优化方法,通过将原有监测点位聚类成不同簇,来实现用尽量少的监测点位全面地表现区域污染情况的目的。使用GCN推理结合自编码器降维的土壤点位优化方法,该方法同时利用土壤监测点位数据的结构信息和高维特征表示,将监测点位聚类成不同簇。通过对相关性进行分析,发现聚类后的簇中心点位可以作为原始簇的代表,从而降低土壤监测点位的冗余性,实现了监测点位的优化。实验证明GCN方法可以有效地减少监测点位的数量,同时保持监测结果的准确性和全面性。

基于模糊C均值聚类和概率神经网络的PEMFC故障诊断方法研究

为解决质子交换膜燃料电池电堆的故障分类问题,提出一种基于模糊C均值聚类和概率神经网络的故障诊断新方法。首先基于修正后的燃料电池电堆Fouquet等效电路模型,并结合电堆阻抗谱实验数据,得到电堆的正常、水淹、膜干和氧饥饿4种工作状态与电路模型参数的对应关系,进而提取合适的故障特征量作为聚类算法的特征输入。然后,利用模糊C均值聚类算法对故障样本进行聚类,形成标准聚类中心,并在此基础上,采用概率神经网络算法对故障样本实现多故障分类,有效剔除奇异数据并提高模型分类的正确率。最后,对200组实验数据进行实例分析,并与支持向量机和K最邻近方法进行对比,结果表明所提方法能对4种电堆工作状态进行快速识别,分类准确率达98.33%,验证了所提算法的有效性。

集中式电力市场下基于谱聚类与图注意力网络的电力枢纽节点设计方法研究

电力枢纽节点是现货市场上可以进行统一交易的聚合节点,也是电力金融市场发展与稳定运行的基石,对构建统一电力市场体系、完善市场功能具有十分重要的意义。从一般属性、节点选择、权重设计、时间性的角度分析了枢纽节点的设计方式,并针对性地提出了基于谱聚类的枢纽区域划分方法与基于图注意力网络的权重计算方法。基于双尺度度量的谱聚类分区策略,其核心是建立以关键线路功率传输分布因子、多时段节点电价和节点邻接性为度量的双尺度耦合矩阵,优先保证枢纽区域的地理特性、区内的无阻塞特性和节点连通性。基于图注意力网络建立了定价节点聚合权重的分配模型,通过自注意力机制来对邻域节点进行聚合,实现不同时段节点电价下节点权重的自适应匹配。最后通过IEEE118节点算例对所提出的设计方法进行验证,通过横向对比,证明了所提方法的合理性与有效性,可为实际市场中枢纽节点设定提供理论支撑。

基于泛化图卷积神经网络的深度文档聚类模型

文本分类是自然语言处理中一项重要任务,基于图神经网络的文本分类因其可建模文本间的多种交互成为一种主流方法.但现有方法大都依赖标签,而真实标签难以获取.提出一个基于图泛化卷积神经网络的深度文档聚类模型(generalization graph convolutional neural network-deep document clustering, GGCN-DDC),同时实现文本表示学习和无监督文档分类.该模型首先将每个文档建模为文本图;然后采用泛化卷积层学习更有区分力的文档词特征表示和文档表示;最后通过文档聚类损失和文档图重建损失约束参数学习算法.在3个基准数据集上的实验表明,GGCN-DDC在多个指标上均优于其他基准算法.

基于PSO-KM聚类分析的通信网络恶意攻击代码检测方法

恶意代码的快速发展严重影响到网络信息安全,传统恶意代码检测方法对网络行为特征划分不明确,导致恶意攻击代码的识别率低、误报率高,研究基于PSO-KM聚类分析的通信网络恶意攻击代码检测方法;分析通信网络中恶意攻击代码的具体内容,从网络层流动轨迹入手提取网络行为,在MFAB-NB框架内确定行为特征;通过归一化算法选择初始处理中心,将分类的通信网络行为特征进行归一化处理,判断攻击速度和位置;实时跟进通信网络数据传输全过程,应用适应度函数寻求恶意代码更新最优解;基于PSO-KM聚类分析技术构建恶意代码数据特征集合,利用小批量计算方式分配特征聚类权重,以加权平均值作为分配依据检测恶意攻击代码,实现检测方法设计;实验结果表明:在文章方法应用下对恶意攻击代码检测的识别率达到95.0%以上,最高值接近99.7%,误报率可以控制在0.4%之内,具有应用价值。

一种基于相对熵与邻居影响聚类的复杂网络关键节点识别新算法

为解决许多关键节点识别算法在评估网络节点重要性时,忽视节点与其邻居节点间的相互关系,导致对网络鲁棒性和脆弱性的评估结果不准确的问题,提出一种改良的局部加权密度度量方式CPR-WCCN,旨在以较低的计算成本准确识别复杂网络中的关键节点.首先,借助节点间的最短路径长度和数量,定义节点间的通信概率序列.其次,通过结合通信概率和相对熵(Communication Probability and Relative Entropy,CPR),将传统的二元邻接矩阵转化为网络归一化相关矩阵.再次,结合加权聚类系数和邻居节点的影响(Weighted Clustering Coefficients and Neighbor Influence,WCCN),得到改进的考虑邻居影响的局部加权密度.最后,为验证CPRWCCN算法的效果,在故意攻击和随机攻击下进行模拟实验,利用传播模型在4种实际网络上对CPR-WCCN与其他5种算法进行对比分析.实验结果表明:当网络遭受故意攻击,导致前15个关键节点失效时,网络的连通性、效率、最大连接子图以及自然连通性等关键指标较随机攻击出现了更显著的下降;相较于其他5种算法,CPR-WCCN算法表现出最优的整体性能,能够准确且高效地识别出网络中的关键节点.

基于原型网络的聚类式联邦学习

聚类式联邦学习利用数据分布的差异对用户群体进行聚类,实现个性化的联邦模型训练,可以有效解决联邦学习中的特征分布异构问题.本文针对现有方法通信复杂度较高,难以适用于类别分布异构与小数据场景等问题,基于元学习方法中的原型网络模型提出了一种迭代聚类式联邦学习框架.本文从期望最大化算法的角度出发,利用类原型信息构建用户嵌入表示,并基于此提出用于度量用户与聚类簇之间差异性的模型距离.该迭代式框架交替地执行用户聚类与局部更新以优化全局目标函数.由于新的模型距离可以在服务器端被计算,该框架在每一轮通信中有着近似于FedAvg算法的通信代价.相关实验结果表明了本文提出的方法对于聚类式联邦学习问题,特别是在类别分布异构与小样本数据场景的有效性.

基于数据聚类的无线网络通信数据加密系统

无线网络通信数据加密安全性问题严重威胁通信安全,为了解决这个安全隐患,设计了基于数据聚类的无线网络通信数据加密系统。采用锁盒和门禁模块设计加密控制子系统,使文件块密钥保存到密码箱中。在密钥管理子系统中研制步进电动机驱动电路,消除存储于只读内存中的干扰网卡地址。结合改进K-means算法聚类无线通信数据,处理聚类数据,使其形成密文。通过检查无线网络ID和时间戳,生成加密聚类通信报告,实现无线网络安全通信。由实验结果可知,该系统能够得到准确加密信息,且与理想时间戳存在00:01:00的误差,证明了该系统在保证安全通信基础上提高了加密性能。

主动学习联合聚类分组网络的高光谱遥感图像分类

基于卷积神经网络的高光谱图像(Hyperspectral Image,HSI)分类面临网络参数量大,带类标样本少的现状,针对这些问题,提出了基于主动学习和聚类分组网络的高光谱图像分类方法(AL-CGNet)。AL-CGNet采用主动学习和聚类联合卷积神经网络进行HSI的特征提取与分类,设计了基于分组卷积的轻量化网络模型以降低网络参数量。对线性判别分析(Linear Discriminant Analysis,LDA)降维后的高光谱图像采用小批量K均值聚类算法划分成不同的簇,并用簇中心的光谱特征代表不同的簇,以利用无类标样本的信息。在分组网络中将生成的特征图沿光谱维划分成一系列小组,每组通过多个残差块依次提取空间-光谱特征,这种分组策略可以充分利用波段的冗余性和差异性,降低网络参数,并实现轻量化。最后,采用主动学习选取信息量大的样本作为训练样本集,以解决带类标样本少的问题。实验结果表明,AL-CGNet在使用相同比例的6%训练样本的情况下,在Indian Pines,Botswana,Houston 3个数据集下的分类结果明显高于ClusterCNN,SSRN和HybridSN等方法,其OA分别为99.57%,99.23%,98.82%,甚至在训练样本更少5%的小样本情况下也是有效的。该方法不仅大大提高了HSI的分类效率,在获得高精度的同时还能高效率地提取特征。

基于数据聚类的共享电源无线网络通信数据加密系统

共享电源无线网络通信数据加密方法由于难以对缺失信息进行精准聚类,导致在规定时间内加密范围较小。为此,提出基于数据聚类的共享电源无线网络通信数据加密系统。系统硬件主要设计了STM32微处理器和通信器,STM32微处理器的外设结构可以直接与共享电源中的DMA单元关联运行,内部的芯片支持后期升级与拓展,引导ST为STM32微处理器提供固定驱动程序,为数据聚类提供了空间。通信器采用GPRS芯片,在安全方面设计了接收端口与发送端口之间基于串口RS232的TCP连接,支持5G网络环境下的所有射频技术应用,是提高聚类数据效率的基础。利用数据聚类进行数据筛选,设定共享电源无线网络通信数据筛选程序,将聚类信息汇总分别在发送端和接收端进行加密,实现加密软件操作。实验结果表明,加密数据量为50 GB时,正常数据加密时间为24.39 s,存在缺失数据加密时间为24.57 s,加密时间为15 s时,该文方法的加密数据量可达15 GB,表明该文方法能够很好地弥补缺失信息,扩大加密范围。

基于模糊聚类的网络敏感数据流动态挖掘

为解决网络敏感数据流相似性较高且差异性较大,导致挖掘量下降的问题,该文设计基于模糊聚类的网络敏感数据流动态挖掘方法。构建模糊矩阵,计算不同网络敏感数据流样本间马氏距离,衡量两个样本间相似性,消除变量之间的差异性。引入速度收敛阈值,根据不同数据间模糊关系,对网络敏感数据流进行动态分类。利用遗传迭代算法迭代处理敏感数据流最大散度,获取最优离散性迭代值,通过对特征点进行聚类和均匀分配,结合动态挖掘误差拟合实现数据动态挖掘流。由实验结果可知,该方法挖掘到的数据量较多,无论是相似性数据还是差异性数据均能够被全部挖掘出来,挖掘结果具备可靠性。

基于聚类及长短时记忆神经网络预测油田产量

利用机器学习方法预测油田产量的精度与训练样本的代表性及数量息息相关。通常,采用油田生产数据或者油井生产数据构建训练样本。将油田作为训练样本,存在“小样本”的问题;将油井作为训练样本,由于老油田一般具有开发层系多、生产历史长、油井投产批次多等特点,人工标注能够代表油田产量递减规律的训练样本难度大,且耗时费力。本文将油田和油井生产数据有机融合构建训练样本,建立产量智能预测模型,预测油田产量。首先,采用无监督学习的K均值聚类算法,依据有效厚度、孔隙度、渗透率、饱和度等信息对油井进行聚类分析,识别产量递减类别,并将每类油井转换成一口典型油井作为该类油井的代表;其次,将典型井作为预测对象,通过从每类油井中按比例随机抽取油井来增加训练样本数量,即将典型井和油井生产数据融合构建训练样本;最后,基于长短时记忆循环神经网络建立模型预测典型井产量,进而预测油田产量。研究结果表明:该方法既解决了油田数据作为训练样本的“小样本”问题,又降低了油井数据作为训练样本的标注难度与工作量,并且精度符合现场生产要求,对油气产量智能预测的工程化落地应用具有一定指导意义。