新型无监督聚类算法监测与评估桥梁结构健康状况

近年来,因车辆超载、结构设计缺陷、施工质量问题等原因导致的城市高架桥梁倒塌事故时有发生。因此,首次提出了一种可实时监测高架桥梁运行状况、通过改进K-means聚类算法实现对结构损伤实时检测、对数据驱动结构损伤进行检测的高效方法。该方法主要是对钢结构桥梁模型在结构完好状态下的振动数据进行采集,然后通过深度研究从这些数据中提取有效的结构损伤敏感特征值,最后利用改进的无监督聚类算法训练奇异值检测模型。试验结果表明,采用桥梁结构完好状况下的损伤敏感特征值作为训练数据,对数学模型加以训练后,可以有效检测并识别出桥梁结构在不同损伤状况下的测试结果。该新型检测方法可实现城市高架桥梁在长期运营阶段的结构健康实时监测。

基于无监督聚类的车辆换道过程提取及换道模式研究

为了分析车辆驾驶人换道行为的多样性,提出一种基于无监督聚类划分换道模式的换道特性分析方法:首先利用无监督聚类技术实现换道过程的准确定位与提取,获得每个换道行为的完整换道过程;其次,采用换道持续时间表征驾驶人换道行为的多样性,并利用无监督聚类技术对换道持续时间聚类以实现换道模式的划分;最后,采用统计分析以及多项式拟合法对不同换道模式下的换道特性进行分析。结果表明:换道行为作为一种横向运动,与纵向运动相比,其运动特征的多样性更显著;车辆换道过程可被划分为3种换道模式,且大部分车辆的换道过程属于普通型换道模式;不同换道模式下的横向偏移量、横向车速和纵向车速等换道特征的变化趋势存在显著差异,印证了换道过程的随机性。

基于深度残差自编码器的无监督聚类算法

随着社会数字化程度的加深,数据的类型和维度不断增长,数据逐渐呈现出高维特性。在高维数据下,传统无监督聚类算法聚类效率低下,维度灾难导致其性能不佳。随着深度学习的发展,自编码器技术在降维任务上取得了长足的进步。提出了基于深度残差自编码器的无监督聚类方法——ResDAE-KMeans++。上述方法在无监督训练的深度残差自编码器基础上,应用KMeans++在低维特征空间中自主聚类。相较其他无监督聚类算法,应用非线性的残差自编码器编码后的特征空间使得聚类速度显著提升的同时,准确率也得到了进一步提高。在Iris、Wine、MNIST数据集上与其它主流无监督算法进行对比,实验结果表明,ResDAE-KMeans++算法在对比其它聚类算法存在有明显优势。

基于无监督聚类与LSTM网络的航天器健康状态预测方法

健康状态预测是从系统层面保证航天器在轨安全稳定运行的关键技术.针对机电类关键部件存在性能退化过程的特点,提出一种基于无监督聚类与长短时记忆(LSTM)网络的航天器健康状态预测方法.该方法首先提取航天器单部件多维参数的高维时域特征,通过PCA方法将高维特征融合为反映部件运行状态的健康因子,再结合无监督聚类算法识别出故障的不同演化阶段,最后采用LSTM网络分别对各退化阶段构建其健康状态演化预测模型,实现对航天器部件健康状态预测.本文以控制系统关键部件控制力矩陀螺(CMG)为例对上述算法进行试验验证,验证了方法的有效性.

基于颜色特征的半监督聚类算法在铜片腐蚀等级识别中的应用

提出一种基于半监督聚类算法的铜片腐蚀等级快速识别方法。该方法首先对于大量铜片腐蚀图像进行图像分割,使其尺寸归一化;然后通过滤波处理减弱异常值影响,利用颜色量化方法获取图像的颜色特征向量,并通过核主成分分析(KPCA)对颜色直方图信息进行降维处理;最后,将标准比色卡提取的颜色特征向量作为半监督k-means的初始聚类中心,结合预处理后腐蚀图像的颜色特征向量训练模型,得到每张图片对应的腐蚀等级。结果表明,通过该算法得到的铜片腐蚀等级分类结果与目测结果一致,说明该方法具有较高的准确性。

基于钻头井底机械比能无监督聚类的水平井分段压裂段簇优化

水平井多簇射孔分段压裂是非常规油气储层体积压裂改造主体技术之一,然而我国非常规储层普遍非均质性强,水平井段不同位置裂缝起裂压力差异较大,多簇射孔难以保证簇间裂缝的均衡起裂扩展,因此,亟须精细评价水平井段岩石强度的差异性,优选岩石强度相近井段布缝,以达到均衡改造的目的。为此,基于钻录井数据,建立了水平井段钻头井底机械比能无监督聚类模型,考虑了钻柱摩阻、复合钻进和射流辅助破岩等因素对井底机械比能的影响,获得了分米级空间分辨率的井底机械比能分布和聚类类别;最后综合考虑缝间应力干扰、套管接箍位置、桥塞位置和井底机械比能聚类结果,形成了以均衡改造为目标的水平井体积压裂布缝优化方法。研究结果表明:(1)相较脆性指数、泊松比、应力差等因素,射孔孔眼冲蚀面积与井底机械比能相关性较高,井底钻头机械比能可有效表征水平井段射孔簇进砂量的差异性,能够作为优选布缝位置的重要指标之一;(2)钻录井数据清洗与平滑、手肘法优选聚类数是获取井底机械比能聚类结果的关键步骤,可实现分米级分辨率区分井底机械比能的差异性;(3)优选了段内井底机械比能均值10%范围内布置射孔簇,所编制的计算机算法能自动优选压裂段簇位置,实现了段间距和簇间距的差异化设计。结论认为,该项研究成果可进一步提高非常规油气储层体积压裂布缝效率和压裂改造均衡性,该技术有望为非常规油气储层水平井体积压裂布缝优化提供思路和新方法。

基于半监督聚类的通信缺陷研判知识库构建及迭代技术

电力通信网是电力系统不可缺少的重要组成部分,是电网调度自动化和生产管理现代化的基础,是确保电网安全、经济、稳定运行的重要技术手段。传统的通信缺陷研判工作依赖人工经验,难以满足日益庞大、复杂的通信网络安全生产需求。而基于规则引擎或神经网络等方法在生产环境应用中逐渐遇到瓶颈,样本较少难以训练,且作为黑盒较难在生产环境中独立使用。针对上述问题,本文提出基于改进马尔科夫聚类的告警聚类算法和基于序列相似性计算与OPTICS聚类的缺陷研判算法,以适应当前缺陷数据小样本场景,在上述算法结果基础上,利用少量的缺陷单标签构建缺陷研判知识库及其迭代学习机制,通过实际生产积累的数据进行验证,结果表明相关算法及其知识库在应对实际生产问题时效果良好。

基于DeepCluster的朝鲜语古籍文字图像的无监督聚类方法研究

为了提高朝鲜语古籍文字图像的标注效率,提出了一种基于DeepCluster的朝鲜语古籍文字图像的无监督聚类方法.首先,基于DeepCluster对AlexNet卷积网络进行简化;然后,采用Sobel滤波器的线性变换消除图像域中的颜色和增加局部图像的对比度;最后,利用数据增强方法强化模型对朝鲜语古籍样本特征的学习能力.在无标注的朝鲜语古籍文字图像数据集上进行实验显示,该方法的准确率和NMI指标比DCN方法分别提高了15.32个百分点和0.180.由此表明,该方法可有效提高文字图像的标注效率,可应用于朝鲜语古籍文字标注数据集的构建中.

基于半监督聚类方法的管道运行状态识别研究

目前工业现场采集的大部分数据缺失标记信息,若仅使用其中的标记数据和未标记数据的局部信息会造成学习器的性能下降,而传统半监督学习对标记数据的利用具有随机性且没有考虑监督信息数量的变化对性能的影响.针对上述问题,提出一种主动学习策略下基于最小生成树的变分贝叶斯推理半监督高斯混合模型,利用主动学习策略在标记信息中重新筛选构建高质量成对约束信息,利用最小生成树聚类来初始化模型参数,提升模型在标记样本数量受扰动时的鲁棒性.选用实验室采集的管道状态检测数据集对提出的模型进行验证,实验结果表明,当标记样本占总体样本的比例从50%下降到10%时,提出的组合模型的预测准确率依旧保持在72.4%以上,而且,当某一类别的样本完全失去监督信息时,该组合模型的聚类效果仍然可以分析判断数据类别的所属类型.

基于支持向量机与无监督聚类相结合的中文网页分类器

提出了一种将支持向量机与无监督聚类相结合的新分类算法 ,给出了一种新的网页表示方法并应用于网页分类问题 .该算法首先利用无监督聚类分别对训练集中正例和反例聚类 ,然后挑选一些例子训练 SVM并获得 SVM分类器 .任何网页可以通过比较其与聚类中心的距离决定采用无监督聚类方法或 SVM分类器进行分类 .该算法充分利用了 SVM准确率高与无监督聚类速度快的优点 .实验表明它不仅具有较高的训练效率 ,而且有很高的精确度 .

基于成对约束的判别型半监督聚类分析

现有一些典型的半监督聚类方法一方面难以有效地解决成对约束的违反问题,另一方面未能同时处理高维数据.通过提出一种基于成对约束的判别型半监督聚类分析方法来同时解决上述问题.该方法有效地利用了监督信息集成数据降维和聚类,即在投影空间中使用基于成对约束的K均值算法对数据聚类,再利用聚类结果选择投影空间.同时,该算法降低了基于约束的半监督聚类算法的计算复杂度,并解决了聚类过程中成对约束的违反问题.在一组真实数据集上的实验结果表明,与现有相关半监督聚类算法相比,新方法不仅能够处理高维数据,还有效地提高了聚类性能.

基于无监督聚类的入侵检测方法

研究了基于无监督聚类的入侵检测算法 .算法的基本思想是首先通过比较无类标训练集样本间的距离来生成聚类 ,并根据正常类比例N来确定异常数据类别 ,然后再用于真实数据的检测 .该方法的优点在于不需要用人工的或其他的方法来对训练集进行分类 .实验采用了KDD99的测试数据 ,结果表明 ,该方法能够比较有效的检测真实网络数据中的未知入侵行为 .

基于贝叶斯网络的半监督聚类集成模型

已有的聚类集算法基本上都是非监督聚类集成算法,这样不能利用已知信息,使得聚类集成的准确性、鲁棒性和稳定性降低.把半监督学习和聚类集成结合起来,设计半监督聚类集成模型来克服这些缺点.主要工作包括:第一,设计了基于贝叶斯网络的半监督聚类集成(semi-supervised cluster ensemble,简称SCE)模型,并对模型用变分法进行了推理求解;第二,在此基础上,给出了EM(expectation maximization)框架下的具体算法;第三,从UCI(University of California,Irvine)机器学习库中选取部分数据来做实验.实验结果表明,SCE模型本身及其变分推理后所设计的EM算法都能进行半监督聚类集成,总的来说,效果比NMFS(algorithm of nonnegative-matrix-factorization based semi-supervised)、半监督SVM(support vector machine)、LVCE(latentvariable model for cluster ensemble)等算法要好.该半监督聚类集成模型聚集了半监督学习和聚类集成两者的优点,最后的聚类结果比单纯的半监督聚类或聚类集成的效果都要好.

双层随机游走半监督聚类

半监督聚类旨在根据用户给出的必连和不连约束,把所有数据点划分到不同的簇中,从而获得更准确、更加符合用户要求的聚类结果.目前的半监督聚类算法大多数通过修改已有的聚类算法或者结合度规学习,使聚类结果与点对约束尽可能地保持一致,却很少考虑点对约束对周围无约束数据的显式影响程度.提出一种由在顶点上的低层随机游走和在组件上的高层随机游走两部分构成的双层随机游走半监督聚类算法,其中,低层随机游走主要负责计算选出的约束顶点对其他顶点的影响范围和影响程度,称为组件;高层随机游走则进一步将各个点对约束以自适应的强度在组件上进行约束传播,把它们在每个顶点上的影响综合在一个簇指示矩阵中.UCI数据集和大型真实数据集上的实验结果表明,双层随机游走半监督聚类算法比其他半监督聚类算法更准确,也比较高效.

基于近邻传播算法的半监督聚类

提出了一种基于近邻传播(affinity propagation,简称AP)算法的半监督聚类方法.AP是在数据点的相似度矩阵的基础上进行聚类.对于规模很大的数据集,AP算法是一种快速、有效的聚类方法,这是其他传统的聚类算法所不能及的,比如:K中心聚类算法.但是,对于一些聚类结构比较复杂的数据集,AP算法往往不能得到很好的聚类结果.使用已知的标签数据或者成对点约束对数据形成的相似度矩阵进行调整,进而达到提高AP算法的聚类性能.实验结果表明,该方法不仅提高了AP对复杂数据的聚类结果,而且在约束对数量较多时,该方法要优于相关比对算法.

利用广义电流模量的行波实测数据半监督聚类筛选

行波暂态高速采集通常采用的低门槛突变量启动,它在确保对弱故障的可靠启动的同时,亦使大量非故障干扰杂波被记录,造成录波数据样本严重不平衡,给多通道故障数据有效筛选带来困难。以母线上多回线路广义电流模量的分形维数及暂态能量作为特征向量,借助历史故障记录及故障后续事件的连续性、时间上的紧密性等知识,以少量已知类别的数据样本作为"锚点",附加相邻样本的时间邻域约束,构建带条件约束的半监督聚类,形成基于领域知识的数据驱动式行波录波数据分类方法,实现对多通道海量录波数据中故障数据集的有效筛选。大量现场实测数据测试表明,该方法对多通道故障录波数据筛选可行、有效。

基于扩展熵的无监督聚类的中医辨证

聚类是目前数据挖掘中非常重要的研究内容,目前已经形成了很多有效的聚类方法,常用的有K-均值法、k中心点法、自组织神经网络、Bayes神经网络等[1、2]。但他们大多是有监督聚类,Bayes神经网络聚类是将隐含单元看作聚类数,但该方法需要一定的先验经验确定其先验概率分布,并且当变量很多的情况下很难得到最优的聚类结果。无监督聚类是从样本的特征向量出发,研究通过某种算法将特征比较相似的样本聚集在一起,从而达到区分具有不同特征样本的目的。由于无监督聚类没有专家知识的监督,分类的准确性有限[3],因此很多学者长期以来不断探索新的聚类方法以解决不同的实际问题,挖掘数据中人们期望的相关规律。信息瓶颈理论是由Tishby等人在1999年根据Shannon熵信息失真率理论提出的数据压缩方法[4],该方法是从变量合并前后信息损失量一个全新的角度来分析变量的聚类问题,是一种适合于复杂聚类问题的新方法,由于该方法是基于Shannon熵的,因此必须通过统计分析得到变量的概率分布情况,当特征变量只是一个数值而无法统计出其概率时,该方法无法使用,针对这种情况,提出基于扩展熵的无监督聚类方法。扩展熵是基于数值比值的一种熵的定义形式[5],适合于分析一组正数集合的不确定性问题,如药物配比、数值分组等问题。下面以冠心病心绞痛的证候聚类为例,对扩展熵的无监督聚类进行分析。

基于贝叶斯决策及半监督聚类的织物图像分割

为提高纺织CAD技术,依据半监督聚类理论,提出一种以最小错误率贝叶斯决策为准则的半监督聚类的织物图像分割算法。这种算法利用有限的人工信息,即在织物图像上点击有限的几个点以标识相应区域之间的关系,从而得到满足用户给定限制的织物图像分割结果。用该算法首先对织物图像进行量化转换处理,而后在贝叶斯模式识别中集成先验的分割信息进行色彩聚类。实验结果表明,该算法用于织物图像分割是可行的。

基于高斯混合模型的海冰图像非监督聚类分割研究

为了利用海冰图像识别技术获取海冰冰况信息,探索了利用高斯混合模型进行海冰图像分割的技术途径,描述了具体算法,并利用高斯混合模型的最大期望值(EM)算法以及最小描述长度(MDL)准则对渤海海冰图像进行目标提取。研究结果表明,该方法可以很好地实现海冰信息的有效提取和海冰图像的有效分割,从而证明了建立在图像分割技术之上的海冰图像识别技术是处理海冰图像进而获得冰型、冰量等冰况信息的有效技术手段。

基于因子图模型的动态图半监督聚类算法

针对动态图的聚类主要存在着两点不足:首先,现有的经典聚类算法大多从静态图分析的角度出发,无法对真实网络图持续演化的特性进行有效建模,亟待对动态图的聚类算法展开研究,通过对不同时刻图快照的聚类结构进行分析进而掌握图的动态演化情况.其次,真实网络中可以预先获取图中部分节点的聚类标签,如何将这些先验信息融入到动态图的聚类结构划分中,从而向图中的未标记节点分配聚类标签也是本文需要解决的问题.为此,本文提出进化因子图模型(Evolution factor graph model,EFGM)用于解决动态图节点的半监督聚类问题,所提EFGM不仅可以捕获动态图的节点属性和边邻接属性,还可以捕获节点的时间快照信息.本文对真实数据集进行实验验证,实验结果表明EFGM算法将动态图与先验信息融合到一个统一的进化因子图框架中,既使得聚类结果满足先验知识,又契合动态图的整体演化规律,有效验证了本文方法的有效性.