基于非欧氏距离的广义噪声聚类(英文)

利用一种新的距离测度将Dave的广义噪声聚类(GNC)扩展成非欧氏距离的广义噪声聚类(NGNC).模糊C-均值聚类(FCM)和广义噪声聚类都是基于欧氏距离的模型,与它们不同之处在于NGNC是基于非欧氏距离的模型,建立在鲁棒统计观点和势函数基础上,这种非欧氏距离比欧氏距离更加鲁棒,因此NGNC算法比GNC算法更加鲁棒.并且,建立在新的距离测度上的NGNC在处理噪声和野值方面比GNC和FCM更好.实验结果表明了NGNC的良好特性.

一种广义噪声聚类的红外光谱茶叶品种鉴别研究

茶叶品种鉴别在茶叶的生产和销售中起着十分重要的作用。深入研究一种方法简单、易于操作、检测速度快的茶叶品种的鉴别方法,对于茶叶产品品种的鉴别有着十分重要的意义。利用红外光谱检测技术结合模糊聚类算法对茶叶品种进行快速鉴别是茶叶品种检测中最有效的和最实用的技术之一。为实现茶叶品种的快速分类,以快速广义噪声聚类(FGNC)为基础,提出一种新的广义噪声聚类(NGNC)。NGNC将FGNC目标函数中的欧式距离的平方扩展为欧式距离的p次方,提高了FGNC的聚类准确率。试验以优质乐山竹叶青、劣质乐山竹叶青和峨眉山毛峰三种茶叶为研究对象,采用FTIR-7600型傅里叶红外光谱仪检测茶叶样本的红外漫反射光谱。首先用主成分分析(PCA)对茶叶的高维红外光谱进行降维处理,然后用线性判别分析(LDA)进行茶叶光谱数据的品种类别信息的提取,最后分别运行FGNC和NGNC两种聚类算法进行茶叶红外光谱的聚类分析。实验结果表明,同FGNC相比较,NGNC具有更高的聚类准确率,更快的收敛速度和更逼近真实的聚类中心。总体而言,采用红外光谱技术检测茶叶样本,同时结合PCA,LDA和NGNC可实现快速、准确地聚类茶叶的红外光谱,能有效地实现茶叶品种的鉴别分析,为实现基于红外光谱和模糊聚类的茶叶品种鉴别分析提供了一种新方法和新思路。

一种快速的广义噪声聚类算法

为解决广义噪声聚类(GNC)算法非常依赖参数和在运行GNC算法前必须运行FCM算法以便计算参数的缺点,在GNC的目标函数和可能聚类算法(PCA)基础上,提出一种快速的广义噪声聚类(FGNC)算法。FGNC算法通过一种非参数化方法计算GNC目标函数中的参数,因而FGNC算法不依赖参数并且聚类速度快于GNC算法。对人工含噪声数据集和两个实际数据集进行仿真实验,实验结果表明FGNC算法能很好地处理含噪声数据,具有聚类中心更接近真实聚类中心,聚类准确性高,聚类时间少的优良性能。

噪声鉴别C均值聚类的滁菊花茶品质等级鉴别研究

近红外光谱检测技术可以通过探测近红外区域的光谱特征,反映所测样品内部有机物化学成分和结构信息。在分析物质成分时,近红外光谱通常会涉及到大量的波长数据,因此其维数往往比较高。同时,光谱会出现重叠和冗余等现象,会影响模型的性能。提出一种噪声鉴别C均值聚类(NDCM)算法。NDCM将一种快速广义噪声聚类(FGNC)和模糊线性判别分析(FLDA)相结合,可实现模糊聚类过程中进行数据鉴别信息的提取和数据空间维度的压缩,以达到更高的聚类准确率。对滁菊花茶近红外光谱数据进行模糊C均值聚类(FCM)得到的模糊隶属度和聚类中心作为噪声鉴别C均值聚类(NDCM)的初始模糊隶属度和初始聚类中心,使NDCM具有聚类速度快,准确率高等优点。FCM算法对光谱噪声数据敏感,而NDCM算法在处理含噪声的光谱数据时能够表现出较好的性能。该研究选取特级滁菊、一级滁菊、二级滁菊三种品质等级的滁菊花茶作为实验样本,共计240个样本。实验使用便携式近红外光谱仪(NIR-M-F1-C)采集滁菊花茶的近红外光谱数据。用Savitzky-Golay滤波和多元散射校正(MSC)对滁菊花茶近红外光谱进行预处理,以减少光谱中掺杂的噪声和重叠信息。通过主成分分析(PCA)对采集到的400维光谱数据进行维度压缩降至6维。该研究使用线性判别分析(LDA)提取滁菊花茶光谱数据中的鉴别信息,并将数据空间维度进一步转换为2维。分别用FCM,FGNC和NDCM三种算法对处理后的数据进行聚类分析,以实现对滁菊花茶的准确分类。实验结果显示:当权重指数m=2.5时,FCM,FGNC,NDCM的聚类准确率分别为92.42%,98.48%,100%。NDCM聚类时间略长于FGNC。FCM算法需要进行27次迭代才能收敛,而FGNC算法和NDCM算法分别只需要13次和10次迭代就能达到收敛。采用近红外光谱技术结合MSC、Savitzky-Golay滤波、PCA、LDA和NDCM算法,建立了一种精准鉴别滁菊花茶品质等级的聚类模型。

基于空间密度的群以噪声发现聚类算法研究

针对基于密度的群以噪声发现聚类算法(density-based spatial clustering of applications withnoise,DBSCAN)的所需内存及I/O消耗大;空间聚类的密度不均匀时,采用全局统一的变量,聚类质量较差;对于输入参数敏感性较高等三个不足进行了改进.首先根据数据的空间分布特性,将整个数据空间划分为多个较小的分区,使分区的局部密度相对更均匀;然后将每个局部分区运用改进的DBSCAN算法进行聚类,改进的算法可以根据空间数据的分布,对一个中心点自适应的选取近邻,并对这些近邻点进行取样、扩展,有效提高了算法的准确性和效率;接着将所得到的聚类结果按照合并规则进行合并.最后通过仿真实验,验证了改进的DBSCAN算法解决了内存消耗过大、聚类质量差及全局参数敏感的问题.

基于上下文约束的噪声模糊聚类算法

针对带噪声数据的聚类问题,提出一种基于上下文约束的噪声模糊聚类算法。该算法基于标准的模糊C-均值聚类理论,在修改模糊聚类目标函数的同时,结合问题的实际背景引入上下文模糊集,修改模糊划分空间的约束条件,以减少噪声对聚类结果的影响。实验结果表明:该算法能够有效地避免噪声对聚类的影响,具有很强的鲁棒性。

基于无监督机器学习的噪声信号聚类分析——以郯庐断裂带潍坊段短周期密集台阵观测为例

非构造活动震源所引起的地面震动通常被看成是地震记录中的噪声信号,此类噪声与微震或非火山震颤等弱构造活动信号往往在时间域或频率域都难以区分,从而会影响利用常规方法对弱构造活动信号的识别与检测.即使利用最新的机器学习方法对微地震信号检测,若缺乏对噪声信号特性的了解,也会对监督模型的训练产生不利的影响.因此,有必要剖析地震噪声信号,理解其特征属性,以及背后可能的物理震源.本研究中,我们利用一个布设于华北东部地区的短周期密集观测台阵,使用K-means算法聚类分析不同类型的地震噪声信号.分析表明密集台阵可以观测到6类噪声信号,噪声来源包括轨道交通、风和附近的电力输送线.

基于概率典型性和聚类排斥的无噪声模糊聚类方法

提出了建立在概率典型性和聚类排斥基础上的一个新型无噪声模糊聚类方法RTCM,给出了它的迭代算法过程,并验证了它的收敛性.首先引述了一般的聚类方法,它们主要分为两种:噪声聚类,如模糊c均值(FCM)、可能模糊c均值(FPCM);无噪声聚类,如NC、PCM等,然后给出了RTCM算法模型和过程,并验证了它的局部收敛性.该算法解决噪声环境下的数据聚类问题,避免了重叠聚类.对比试验表明,该算法改善了噪声环境下FCM,NC、PCM、FPCM的聚类中心质量,有效地解决了PCM在近邻聚类数据中的聚类重叠问题.

一种基于目标点云分布特性的动态聚类算法

激光雷达在自动驾驶系统的目标检测任务中发挥着重要作用,但其扫描机理会使得点云分布不均匀,常规聚类算法由于参数固定会导致较多的错误聚类。为解决该问题,该文以椭圆形状作为邻域空间,设计基于采样点位置的邻域自适应调整策略,提出一种基于目标点云分布特性的动态聚类算法。通过正确聚类、过聚类等综合结果评估算法的性能,在KITTI数据集上进行了数值分析得到算法参数,并在校园环境中进行了实车对比实验。结果表明:所提算法能减少基于密度的噪声应用空间聚类(DBSCAN)中固定邻域所造成的70.60%过聚类、49.76%欠聚类等错误结果,从而有效提高算法的综合聚类性能。

烟花算法优化的软子空间MR图像聚类算法

现有的软子空间聚类算法在分割MR图像时易受随机噪声的影响,而且算法因依赖于初始聚类中心的选择而容易陷入局部最优,导致分割效果不理想.针对这一问题,提出一种基于烟花算法的软子空间MR图像聚类算法.算法首先设计一个结合界约束与噪声聚类的目标函数,弥补现有算法对噪声数据敏感的缺陷,并提出一种隶属度计算方法,快速、准确地寻找簇类所在子空间;然后,在聚类过程中引入自适应烟花算法,有效地平衡局部与全局搜索,弥补现有算法容易陷入局部最优的不足.EWKM,FWKM,FSC,LAC算法在UCI数据集、人工合成图像、Berkeley图像数据集以及临床乳腺MR图像、脑部MR图像上的聚类结果表明,所提出的算法不仅在UCI数据集上能够取得较好的结果,而且对图像聚类也具有较好的抗噪性能,尤其是对MR图像的聚类具有较高的精度和鲁棒性,能够较为有效地实现MR图像的分割.

基于密度噪声应用空间聚类算法的机载激光雷达建筑物点云提取与单体化

针对机载激光雷达建筑物点云提取过程中自动化提取困难,以及提取后的建筑物单体化过程烦琐等问题,提出一种基于密度噪声应用空间聚类(density-based spatial clustering of applications with noise,DBSCAN)算法的机载雷达建筑物点云提取与单体化的方法。该方法对预处理后的点云数据基于DBSCAN算法进行去噪与初步的提取,通过三维密度聚类,将建筑物的点云进行提取与自动单体化。根据建筑物点云密度的特点,进行二维的密度聚类,结合数字正射影像图(digital orthophoto map,DOM)进行点云分割。最后将处理后的点云数据进行优化处理,并将建筑物单体化簇类进行提取,得到单体化建筑物点云。结果表明:提取的建筑物点云数量正确率为97.36%,轮廓边长的中误差为0.077,可以有效地提取出建筑物点云并将其单体化。

改进萤火虫优化的软子空间聚类算法

目标函数与搜索策略有效地结合可以提高软子空间聚类算法的性能。传统的软子空间聚类算法迭代求解时受初始聚类中心和噪声数据的影响极易陷入局部最优。针对该问题,提出一种改进萤火虫优化的软子空间聚类算法。算法引入目标函数和隶属度计算方法对界约束的权值矩阵进行评估并对数据样本进行分簇,将权值矩阵看成聚类问题的可行解,运用改进萤火虫算法优化求得较优的权值矩阵,从而改善聚类效果。在UCI数据集上的实验结果表明,改进后的算法能有效收敛于全局最优解,具有良好的聚类效果。

基于传感器聚类数据挖掘的物联网智慧医疗模型设计

现代智慧医疗需要操作简洁、反应迅速,能够提供智慧诊断的信息化平台,提出基于物联网无线传感器技术的智慧医疗模型。系统利用附着在患者身上的各类传感器采集到的生理信息数据,采用基于密度的带有噪声的空间聚类(DBSCAN)算法的数据分析方法,用非线性映射把患者的生理信息数据转换到高纬度的特征空间,对变换后的矢量数据进行聚类分析,从而提升聚类结果并有效辅助医务人员进行诊断。

基于稀疏光流和密度聚类的运动目标检测算法

针对复杂背景下视频存在较多噪声导致运动目标检测结果不准确的情况,提出了一种基于金字塔LK光流法结合DBSCAN聚类的复杂背景中运动目标检测算法。首先,对视频进行金字塔LK光流的运动矢量进行描述并表示成光流图;其次,对光流点进行基于密度的DBSCAN聚类,将复杂背景中的运动背景当成噪声进行剔除;最后,通过光流运动矢量表示运动目标轮廓实现了对视频的真实运动目标的检测和聚类。实验结果表明,上述算法有效地排除复杂背景的干扰,取得很好的运动目标检测效果。

基于密度的面板数据聚类分析

研究面板数据聚类问题过程中,在相似性度量上,用Logistic回归模型构造相似系数和非对称相似矩阵。在聚类算法上,目前的聚类算法只适用于对称的相似矩阵。在非对称相似矩阵的聚类算法上,采用最佳优先搜索和轮廓系数,改进DBSCAN聚类方法,提出BF—DBSCAN方法。通过实例分析,比较了BF—DBSCAN和DBSCAN方法的聚类结果,以及不同参数设置对BF—DBSCAN聚类结果的影响,验证了该方法的有效性和实用性。

基于聚类和局部线性回归的初至波自动拾取算法

初至波拾取是地震数据处理中的关键步骤,会直接影响动校正、静校正和速度分析等的精度。目前,现有的算法受到背景噪声和复杂近地表条件的影响时拾取精度会降低。基于此,提出基于聚类和局部线性回归的初至波自动拾取算法(FPCL)。该算法由预拾取和微调两个阶段来实现。预拾取阶段先基于k均值(k-means)技术找到初至波簇,再利用基于密度的噪声应用空间聚类(DBSCAN)技术在初至波簇中进行拾取。微调阶段通过局部线性回归补齐缺失值,再利用能量比值最小化技术调整错误值。在两个地震数据集上,将FPCL与改进的能量比(IMER)法相比,准确率分别提升了4.00个百分点和3.50个百分点;与互相关技术(CCT)相比,准确率分别提升了38.00个百分点和10.25个百分点;与基于模糊C均值聚类的微震数据自动时间拾取算法(APF)相比,准确率分别提升了34.50个百分点和3.50个百分点;与基于两阶段优化的初至波自动拾取算法(FPTO)相比,准确率分别提升了5.50个百分点和16.25个百分点。上述实验结果表明FPCL更准确。

基于区域比例的聚类方法

为了改善DBSCAN参数敏感性和对密度分布不均数据对象聚类质量不高的问题,提出了一种基于DBSCAN算法的改进聚类方法。算法使用K最近邻的均值距离度量密度,中心点选取当前密度最大点,并以中心点为核心点扩展种子队列,直至由给定的密度比例因子所决定的密度边缘。为了改善聚类质量,提出了候选核心点,并使用给定的半径比例因子发现核心点。在实验中,利用数据集对该算法进行了测试,测试结果证明了该改进算法的参数鲁棒性,和在聚类密度分布不均数据集时的较好性能。

基于DBTCAN算法的船舶轨迹聚类与航路识别

为解决船舶轨迹聚类算法效率不高,检测精度低,丢失轨迹局部特征等问题,将具有噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise,DBSCAN)算法由传统的点聚类推广为线聚类,提出一种可以直接对完整船舶轨迹进行聚类的具有噪声的基于密度的轨迹聚类(density-based trajectory clustering of applications with noise,DBTCAN)算法。该算法采用Hausdorff距离作为船舶轨迹之间的相似度度量,可以对不同长度的船舶轨迹进行聚类。针对DBTCAN算法需要人工确定输入参数的问题,提出一种参数自适应确定方法。选取渤海海域的船舶自动识别系统(automatic identification system,AIS)数据进行实验,结果表明,该算法能够在大量复杂的船舶轨迹中找到相似的轨迹并对其进行聚类,聚类结果与实际交通流情况一致。本文的研究成果可以为相关部门进行航线规划和海上交通监管提供依据。

基于数据流的聚类趋势分析算法

聚类趋势分析算法基于抽样原理导致聚类趋势指标不稳定和片面,而且不适应数据流的批量增量特性,因而需要重复进行聚类趋势指数计算。为此,基于全体数据进行整体分析,提出一种基于最小距离连通图(MDCG)的聚类趋势分析算法MDCG-CTI。首先,利用栈的深度优先遍历法更新增量数据的最邻近路径从而降低MDCG的建立复杂度;然后,计算聚类趋势指数并确定可聚类性的判定阈值;最后,将所提算法和批量增量的具有噪声的基于密度的聚类方法(DBSCAN)相结合。在自定义数据集上的实验表明,该算法比现有算法对单簇和含大量噪点的数据的可聚类性判断更为精确;而在大数据集pendigits和avila上,所提算法比基于谱方法的聚类趋势可视化分析(SpecVAT)累计耗时降低了38%和42%,且相较SpecVAT结合批量增量DBSCAN,该算法结合批量增量DBSCAN的聚类平均准确率分别提高了6%和11%,聚类累计耗时则分别降低了7%和8%。实验结果表明该算法可以准确无参地判断聚类趋势,并明显提高增量聚类的有效性和运行效率。

基于AP密度聚类方法的雷达辐射源信号识别

未知雷达辐射源信号识别一直是雷达对抗情报分析中的难题。针对基于密度的聚类算法在处理不均匀样本时识别率较低的缺陷,将该算法与亲和传递(AP)聚类算法结合,提出一种基于AP密度聚类的识别方法。该方法先利用AP聚类方法对数据样本进行初步聚类,再设定相关参数,运用基于密度的带有噪声的空间聚类(DBSCAN)算法进行二次聚类。相对于原样本,初始聚类结果分布具有一定的代表性,容易找到适合DBSCAN方法的参数值。测试表明该方法具有较高的识别率。