内河航道事故黑点识别自适应参数DBSCAN聚类算法研究

内河水上交通事故时有发生,对水路运输安全、高效发展带来威胁。研究提出一种基于自适应参数的DBSCAN(Density-Based Spatial Clustering of Applications with Noise)方法,用于识别内河事故黑点水域。该方法支持对邻域半径ε和邻域中数据对象数目阈值P_(min)参数的自动选取,可提高聚类分析的精度和效率。基于2010—2019年长江干线下游散货船舶事故数据开展案例研究,对各典型事故黑点段的事故特征和事故原因进行分析,得到8个事故黑点。此外,采用Getis-Ord General G聚类识别事故黑点中的高等级事故区域,得到事故黑点及高等级事故主要分布于江心洲、桥区、港口码头区域。研究结果与实际情况基本吻合,一定程度上表明了该方法在内河水上交通事故分布特征分析上的科学性和实用性。

基于改进DBSCAN的船舶会遇识别模型

为解决大数据下船舶会遇识别算法效率不高且存在误判等问题,提出一种融合国际海上避碰规则(International Regulations for Preventing Collisions at Sea,COLREGs)的带噪声的基于密度的空间聚类(density-based spatial clustering of applications with noise,DBSCAN)算法,建立船舶会遇识别模型。在DBSCAN算法对邻域内的船舶数量进行统计时,计算船舶间的最近会遇距离(distance to closest point of approach,DCPA)和最近会遇时间(time to closest point of approach,TCPA),初步筛选邻域内的噪声点;基于模糊综合评价模型计算船舶会遇风险,对邻域内的船舶进行二次筛选,实现船舶会遇态势的提取。结果表明:改进后的DBSCAN算法过滤掉传统DBSCAN算法识别到的非会遇局面,并且在同一会遇局面下的船舶数量均保持在4艘以内;输出的会遇船舶风险演变趋势对实际水域内高风险船舶的监控适用性较好,能有效辅助船舶避碰。所提识别模型对保障航行安全和提高海事监管效率具有重要意义。

K-means Find Density Peaks in Molecular Conformation Clustering

Performing cluster analysis on molecular conformation is an important way to find the representative conformation in the molecular dynamics trajectories.Usually,it is a critical step for interpreting complex conformational changes or interaction mechanisms.As one of the density-based clustering algorithms,find density peaks(FDP)is an accurate and reasonable candidate for the molecular conformation clustering.However,facing the rapidly increasing simulation length due to the increase in computing power,the low computing efficiency of FDP limits its application potential.Here we propose a marginal extension to FDP named K-means find density peaks(KFDP)to solve the mass source consuming problem.In KFDP,the points are initially clustered by a high efficiency clustering algorithm,such as K-means.Cluster centers are defined as typical points with a weight which represents the cluster size.Then,the weighted typical points are clustered again by FDP,and then are refined as core,boundary,and redefined halo points.In this way,KFDP has comparable accuracy as FDP but its computational complexity is reduced from O(n^(2))to O(n).We apply and test our KFDP method to the trajectory data of multiple small proteins in terms of torsion angle,secondary structure or contact map.The comparing results with K-means and density-based spatial clustering of applications with noise show the validation of the proposed KFDP.

基于改进DBSCAN和距离共识评估的分段点云去噪方法

针对点云数据中噪声点的剔除问题,提出了一种基于改进DBSCAN(density-based spatial clustering of applications with noise)算法的多尺度点云去噪方法。应用统计滤波对孤立离群点进行预筛选,去除点云中的大尺度噪声;对DBSCAN算法进行优化,减少算法时间复杂度和实现参数的自适应调整,以此将点云分为正常簇、疑似簇及异常簇,并立即去除异常簇;利用距离共识评估法对疑似簇进行精细判定,通过计算疑似点与其最近的正常点拟合表面之间的距离,判定其是否为异常,有效保持了数据的关键特征和模型敏感度。利用该方法对两个船体分段点云进行去噪,并与其他去噪算法进行对比,结果表明,该方法在去噪效率和特征保持方面具有优势,精确地保留了点云数据的几何特性。

A heuristic clustering algorithm based on high density-connected partitions

Clustering data with varying densities and complicated structures is important,while many existing clustering algorithms face difficulties for this problem. The reason is that varying densities and complicated structure make single algorithms perform badly for different parts of data. More intensive parts are assumed to have more information probably,an algorithm clustering from high density part is proposed,which begins from a tiny distance to find the highest density-connected partition and form corresponding super cores,then distance is iteratively increased by a global heuristic method to cluster parts with different densities. Mean of silhouette coefficient indicates the cluster performance. Denoising function is implemented to eliminate influence of noise and outliers. Many challenging experiments indicate that the algorithm has good performance on data with widely varying densities and extremely complex structures. It decides the optimal number of clusters automatically.Background knowledge is not needed and parameters tuning is easy. It is robust against noise and outliers.

基于DBSCAN算法的树木分割与应用

为快速准确地提取地面三维激光扫描仪获取林分点云中的单株树木点云,提出一种基于密度的抗噪空间聚类(Density-Based Spatial Clustering of Application with Noise,DBSCAN)的树木分割算法。首先采用高斯滤波对林分点云去噪,在林分点云归一化的基础上对林分点云垂直分段,然后采用DBSCAN算法垂直分段聚类,再计算每个垂直分段中每个簇的中心点,根据簇中心点间的距离判定簇间的相邻关系,并由此匹配树干段点云,最后采用RANSAC(Random Sample Consensus)算法对树干段点云拟合直线,并根据点与拟合直线间的距离判定点的归属以实现树木分割。在郁闭度分别为中与高的林分中,所提算法的调和值F范围分别为0.88~0.99与0.72~0.74,基于距离判别的树木分割算法的F范围分别为0.84~0.90与0.73~0.79。所提算法在不同郁闭度的林分点云中均能有效分割单株树木点云,特别是在郁闭度为中的林分中有较好表现,可实现对林分点云的精确树木分割。

Spatial Distribution Pattern and Influencing Factors of Bed-and-breakfasts(B&Bs)from the Perspective of Urban-rural Differences:A Case Study of Jiaodong Peninsula,China

There are significant differences between urban and rural bed-and-breakfasts(B&Bs)in terms of customer positioning,economic strength and spatial carrier.Accurately identifying the differences in spatial characteristics and influencing factors of each type,is essential for creating urban and rural B&B agglomeration areas.This study used density-based spatial clustering of applications with noise(DBSCAN)and the multi-scale geographically weighted regression(MGWR)model to explore similarities and differences in the spatial distribution patterns and influencing factors for urban and rural B&Bs on the Jiaodong Peninsula of China from 2010 to 2022.The results showed that:1)both urban and rural B&Bs in Jiaodong Peninsula went through three stages:a slow start from 2010 to 2015,rapid development from 2015 to 2019,and hindered development from 2019 to 2022.However,urban B&Bs demonstrated a higher development speed and agglomeration intensity,leading to an increasingly evident trend of uneven development between the two sectors.2)The clustering scale of both urban and rural B&Bs continued to expand in terms of quantity and volume.Urban B&B clusters characterized by a limited number,but a higher likelihood of transitioning from low-level to high-level clusters.While the number of rural B&B clusters steadily increased over time,their clustering scale was comparatively lower than that of urban B&Bs,and they lacked the presence of high-level clustering.3)In terms of development direction,urban B&B clusters exhibited a relatively stable pattern and evolved into high-level clustering centers within the main urban areas.Conversely,rural B&Bs exhibited a more pronounced spatial diffusion effect,with clusters showing a trend of multi-center development along the coastline.4)Transport emerged as a common influencing factor for both urban and rural B&Bs,with the density of road network having the strongest explanatory power for their spatial distribution.In terms of differences,population agglomeration had a positive impact on the distribution of urban B&Bs and a negative effect on the distribution of rural B&Bs.Rural B&Bs clustering was more influenced by tourism resources compared with urban B&Bs,but increasing tourist stay duration remains an urgent issue to be addressed.The findings of this study could provide a more precise basis for government planning and management of urban and rural B&B agglomeration areas.

基于DBSCAN算法的郑洛地区史前聚落遗址聚类分析

为了解决判别聚落群过于依赖考古专家人工划分的问题,以郑洛地区新石器时代聚落遗址为例,采用基于密度的DBSCAN(density-based spatial clustering of applications with noise)算法对聚落遗址进行空间聚类研究。通过对郑洛地区四个文化时期聚落遗址的分布分析,发现郑洛地区的主体聚落群从研究区东部的嵩山以南地区,转移到郑洛地区中部的伊洛河流域,并且在伊洛河流域长期定居下来,不断发展扩大;大型聚落遗址主要分布在主体聚落群里,除了裴李岗文化时期部分大型聚落较孤立;从仰韶文化后期到龙山文化时期,聚落遗址分布呈主从式环状分布格局;大多数聚落群的走向都和河流分布一致。研究表明,利用DBSCAN算法进行聚落遗址聚类是可行的,通过聚类得到郑洛地区新石器时代四个文化时期聚落遗址的分布特征。

基于网格单元的DBSCAN算法

针对DBSCAN算法时间开销大的缺点,提出了基于网格单元的DBSCAN算法,通过对数据空间进行网格单元划分来优化DBSCAN算法中最耗时的区域查询过程,省去了大量不必要的查询操作,并分析了网格单元的划分方式对本文算法的影响,通过选取最优划分方式,提高整个算法的运行效率。通过仿真实验,验证了基于网格单元的DBSCAN算法具有较高的准确率和较低的时间复杂度。

DBSCAN算法中参数的自适应确定

DBSCAN算法需要人为确定Eps和min Pts两个参数,导致聚类结果的准确度直接取决于用户对参数的选择,因此提出一种新的参数确定方法,采用非参数核密度估计理论分析数据样本的分布特征来自动确定Eps和min Pts参数,避免了聚类过程的人工干预,实现聚类过程的自动化。理论分析和实验结果表明,该方法能够选择合理的Eps和min Pts参数,并得到了较高准确度的聚类结果。

基于密度的DBSCAN聚类算法的研究及应用

首先对DBSCAN(Density Based Spatial Clustering of Applications with Noise)聚类算法进行了深入研究,分析了它的特点、存在的问题及改进思想,提出了基于DBSCAN方法的交通事故多发点段的排查方法及其改进思路,并且给出了实例以说明处理过程及可行性。实验结果表明本文提出的方法可以大大提高交通事故黑点排查效率。

基于DBSCAN子空间匹配的蜂窝网室内指纹定位算法

针对无线信道动态衰落特性引起的蜂窝网室内定位误差较大的问题,该文提出基于密度的空间聚类(Density Based Spatial Clustering of Applications with Noise,DBSCAN)子空间匹配算法,有效剔除大误差点,提高定位精度。首先通过划分信号空间,构建多个子空间,在子空间中利用加权K近邻匹配算法(Weighted K Nearest Neighbor,WKNN)估计出目标位置;然后利用DBSCAN对估计位置进行聚类以剔除异常点;最后结合概率模型确定最终估计位置。实验结果表明,基于DBSCAN的子空间匹配算法能有效剔除大误差点,提高蜂窝网室内定位系统的整体性能。

一种基于k-均值的DBSCAN算法参数动态选择方法

为解决DBSCAN聚类算法的Eps及MinPts参数选择问题,提出一种领域无关的参数动态选择方法。首先,基于k-均值算法对数据集进行初步聚类,聚类中采用最大最小距离方法确定初始聚类中心。其次,针对k-均值聚类结果,计算统计各聚类中样本间距离的分布情况,选择使得具有最大样本对数的距离值作为对应类的Eps值,并通过Eps获得MinPts值。最后,对DBSCAN算法进行改进,使其可根据当前核心点所属k-均值聚类对应的Eps对其运行值进行自适应调整。将上述思想运用于未知协议条件下的比特流聚类分析,结果表明,在无需用户指定Eps及MinPts的条件下,即可获得满意的聚类结果,提高了算法的适用性和准确率。

基于DDTW距离与DBSCAN算法的户变关系识别方法

针对低压配电台区拓扑结构中户变关系缺失或异常的问题,提出了一种基于导数动态时间弯曲(DDTW)算法与基于密度的有噪空间聚类应用(DBSCAN)算法的户变关系识别方法。首先,采用DDTW算法对台区配电变压器(以下简称台变)低压侧电压和用户电压的时间序列进行相似性分析。然后,根据DDTW距离对台变和用户进行聚类得到户变关系的概率性结果,减小聚类算法参数对聚类结果的影响。该方法能够对时间间隔不同、不等长的电压时间序列进行分析,对电压数据缺失或异常不敏感,且不需要人为设定阈值,户变关系识别准确性高。最后,通过实例分析验证了所提方法的有效性。

基于自适应蜂群优化的DBSCAN聚类算法

针对传统的DBSCAN(Density-Based Spatial Clustering of Application with Noise,DBSCAN)聚类算法全局参数设置不合理、参数选取困难、无法识别重叠模块的问题,以及人工蜂群优化算法(Artificial Bees Colony,ABC)后期收敛速度慢、易陷入局部最优等缺陷进行了研究,提出一种基于自适应人工蜂群优化DBSCAN的聚类算法IABC-DBSCAN。该算法将截断选择机制与锦标赛选择机制相结合,提出一种截断-锦标赛选择机制(Truncation-Championship Selection Mechanism,TCSM),以增强种群多样性、避免跟随蜂选择蜜源陷入局部最优的缺陷;提出一种自适应步长策略(Adaptive Step Strategy,ASS)动态调整跟随蜂的搜索方式,以提高算法局部搜索能力和聚类速度;根据改进的IABC算法动态调节DBSCAN算法中的最优参数,将蜜源位置对应ε邻域,蜜源的适应度大小对应DBSCAN的聚类效果,并在多种测试函数和数据集上进行验证。实验结果表明,该算法不仅有效克服ABC和DBSCAN算法的缺陷,且正确率和召回率均有较大提高。

基于划分DBSCAN算法的小区载频配置优化

为了充分利用无线网络资源,提升无线网络质量,充分利用了DBSCAN(Density Based Spatial Clustering of Applications with Noise)算法的优点,提出基于划分DBSCAN算法的话务量异常小区的检测方法,并通过对现网大量话务数据的统计分析,找出小区载频配置数和最佳话务量之间的关系。对话务量异常、拥塞率高的小区进行载频配置优化,并对城市小区网络优化有一定的指导意义。

基于典型波形特征与改进DBSCAN的电压暂降同源识别方法

针对电网内单次短路故障可能触发多条母线上的电能质量监测装置记录电压暂降波形,造成电压暂降录波数据冗余、电网电压暂降水平过估计的问题,提出一种基于典型波形特征与改进基于密度的有噪空间聚类(DBSCAN)的电压暂降同源识别方法。首先,提出综合倾斜因子、波形相似度和持续时间三维特征,综合刻画电压暂降同源性;同时,研究电压暂降经多级变压器的传播特性,推导出13种变压器相电压等效传递矩阵,并提出基于Bhattacharyya距离的波形相似度计算方法。其次,利用共享近邻点(SNN)改进DBSCAN,对由三维特征构成的矩阵进行同源聚类,提出基于电网节点总数和监测点总数的聚类参数计算方法,实现电压暂降同源识别。应用实测数据和IEEE 30节点系统仿真数据进行验证,结果证明了所提方法的正确性和有效性。

DBSCAN算法在高性能计算中心用户分类的应用研究

为提高集群资源使用效率,管理员需要对用户进行分类,从而对不同用户提出资源使用策略。DBSCAN(Density Based Spatial Clustering of Applications with Noise)聚类算法可对用户进行分类,但对初始参数敏感。为此,提出改进算法,首先将密度进行层次划分,由此得出各层次的密度阈值,在每种阈值下采用DBSCAN算法,解决全局参数问题。在此基础上,创新地使用一个直接可达距离排序队列,将排序信息作为可变参数,减小初始参数对结果的影响。通过高性能计算中心用户数据的实例验证了其可行性。实验结果表明,改进后的算法提高了用户分类的准确性和全面性。

基于DBSCAN算法的改进确定-随机子空间模态参数识别算法

桥梁结构的模态参数识别作为桥梁健康检测系统中的主要环节之一,参数识别的精确程度直接影响着桥梁健康评估的准确程度。因此,针对现阶段被广泛运用的确定-随机子空间算法(combined determine-stochastic subspace identification,CDSI)存在的不足,需人工参与稳定图中模态的辨识,提出了将基于密度的聚类算法(density-based spatial clustering of application with noise,DBSCAN)嵌入到该识别算法中,以提高模态参数识别的效率。首先简单介绍了CDSI识别算法和DBSCAN聚类的相关原理及定义,其次详细介绍了如何将DBSCAN聚类算法有效地嵌入到CDSI算法中,以实现对稳定图中模态的智能化辨识;最后以某大型斜拉桥为识别对象,并将识别结果与MIDAS有限元软件所得结果作对比,结果表明,所提改进CDSI识别算法能够精确地识别出桥梁结构的固有频率值,且所得模态振型图与理论振型图具有很好的相似性。

基于DBSCAN算法和多源数据的缺失公交到站数据修补

针对缺失公交到站信息修补方法考虑因素较少、准确度低、鲁棒性差的现状,提出了基于DBSCAN算法和多源数据的缺失公交到站数据修补方法。该方法使用公交全球定位系统(GPS)、公交集成电路卡(IC)等多源数据进行缺失到站信息的修补。对于缺失的到站名称、到站经纬度数据,用已有完整到站数据和静态线路信息关联分析进行修补。对于缺失的到站时刻数据,则按以下步骤进行修补:首先,对每一个缺失数据站点与其最近的未缺失数据站点,将这两站点间历史完整到站数据的行程时间和班次时序进行基于DBSCAN算法的聚类;其次,判断研究班次的两个相邻的数据完整的班次所属簇是否为同一个簇,若为同一个簇则不作改变,否则将两个簇合并;最后,将簇中点对应最大行程时间作为缺失行程时间判断是否有乘客在该站点上车刷卡,若有则由乘客开始刷卡时刻推算到站时刻,若无则将簇中点对应最大、最小行程时间的均值作为缺失行程时间推算到站时刻。以厦门市公交到站数据为例,在缺失到站名称、经纬度修补中,基于GPS数据聚类的方法、基于极大概率估计的方法和所提方法皆可进行100%的修补;在缺失到站时刻修补中,所提方法的平均相对误差比两种对比方法分别低0.0301%和0.0004%,相关系数比对比方法分别高0.005和0.0075。实验结果表明,所提算法在缺失公交到站数据修补中能有效提高修补的准确度,降低缺失站点个数变化对于准确度的影响。