基于Spark并行的密度峰值聚类算法

针对FSDP聚类算法在计算数据对象的局部密度与最小距离时,由于需要遍历整个数据集而导致算法整体时间复杂度较高的问题,提出了一种基于Spark的并行FSDP聚类算法SFSDP。首先,通过空间网格划分将待聚类数据集划分成多个数据量相对均衡的数据分区;然后,利用改进的FSDP聚类算法并行地对各个分区内的数据执行聚类分析;最后,通过将分区间的局部簇集合并,生成全局簇集。实验结果表明,SFSDP与FSDP算法相比能够有效地进行大规模数据集的聚类分析,并且算法在准确性和扩展性方面都有很好的表现。

一种新型淤泥脱水装置在太湖生态清淤工程中的应用

针对太湖生态清淤工程中底泥产生量大、力学性质差和含水率高等处理难点,采用技术比较先进的美国IMS全机械淤泥脱水装置对太湖生态清淤泥浆快速处理,并增加深度脱水、尾水净化等技术措施优化淤泥处理工艺。实践表明:IMS淤泥脱水装置能即时分离淤泥中大量的沙砾等无机杂质,将清淤底泥分类处理为满足工程要求的土工材料。工艺优化后,淤泥中的有机悬浮污染物也被快速分离出来,脱水后干泥含固率达到62.2%,处理后的尾水满足排放要求。