KDSG-DBSCAN:一种基于K-D Tree和Spark GraphX的高性能DBSCAN算法

DBSCAN是一种基于密度的聚类算法,其能从包含噪声点的数据集中发现任意形状的聚类并且无需预先设定聚类个数,因此得到了广泛应用。但随着数据规模的增大,迭代式的点间距离计算导致经典单机串行DBSCAN算法的性能显著下降,使之无法满足实际应用的效率需求。为此,该文提出一种性能改进的分布式并行聚类算法——KDSG-DBSCAN。该算法利用K-D Tree邻域查询减少点间距离计算次数,利用图连通算法优化局部类簇合并过程,并基于Apache Spark MapReduce平台实现了计算过程的并行化。通过4组对比实验,分析了KDSGDBSCAN、经典DBSCAN与未使用图连通的KDS-DBSCAN算法的执行效率、KDSG-DBSCAN各子阶段执行时间占比、不同数据规模下KDSG-DBSCAN的扩展性以及不同计算节点数量和CPU核数下KDSG-DBSCAN的扩展性。结果表明,KDSG-DBSCAN算法具有良好的可扩展性和加速比。

夜间灯光数据和兴趣点数据结合的建成区提取方法

提出一种夜间灯光数据和兴趣点(POI)数据相结合的建成区提取方法,根据NPP/VIIRS影像的亮度、纹理信息和POI数据的密度信息,分别利用阈值法对两种数据进行建成区提取,并应用数学形态学方法对提取结果进行融合。该方法利用POI数据位置准确、与建成区分布高度相关等特点,有效弥补了夜间灯光数据分辨率较低与灯光溢出问题,获取到较为准确的建成区边界。选取深圳、广州和惠州3个不同形态的城市,将该文方法与其他方法的提取效果进行对比,证明该方法提取精度较高,适用于市级尺度的精细化城市建成区提取和城市扩张研究。

顾及速度约束的基于时间序列GPS漂移数据处理方法

提出了一种基于时间序列的GPS轨迹数据漂移去除算法。本算法无需提供出行目的和交通方式等附加信息,基于原始GPS数据中的经纬度和时间信息来进行漂移点校正处理。首先,对每条轨迹进行分段,并对每段进行自相关系数检测,判断是否存在漂移;然后,利用速度约束条件查找漂移点;最后,用样条插值法校正漂移点。使用该方法对武汉大学学生的出行轨迹数据进行了漂移处理。实验结果表明,本方法能够有效去除轨迹数据中的漂移点,适用于GPS原始数据预处理。

基于轨迹数据的武汉大学学生行为规律分析

以武汉大学学生为研究对象,采用DBSCAN聚类算法,对采集到的大量轨迹数据和具体的校园地理背景信息,进行轨迹停留点特征的精确提取。通过大量数据分析,实现武汉大学学生个体与群体行为特征提取。从群体水平来看,武大学生用于学习的时间占比重最大,用于运动、逛街、休闲的时间主要集中在下午或者晚上的空闲时段。同时,该方法对于研究大学生等特定群体的行为特征也具有普适性。