基于改进GMM算法的综合能源数据清洗研究

针对数据中台在采集数据过程中会产生异常值的问题,提出一种改进GMM算法的数据清洗方法。首先,将边缘计算引入来解决负载过大的问题;其次,为避免EM算法计算参数时陷入局部最优解,通过对GMM算法中的参数进行优化,改善了陷入局部最优解的缺点。实验结果表明,一定的数据量下,改进的GMM算法在召回率、F值等指标上均优于GMM-EM算法。由此可知,改进算法在一定程度上提高了对异常数据的清洗效果,保证数据的可靠性。

城镇居民能耗数据平台设计与实现

电、水、气等行业存在信息无法共享、抄表、漏损等难题,并且具有数据异构、海量等特点,如何应对数据的集中治理和清洗是面临的挑战之一。文章基于非关系型数据库设计了一种多源数据平台,提出的数据平台包括数据传输、数据治理和数据发布,并研究了异构数据融合、批处理计算能力、高可用性、平台安全与可靠性四方面的关键技术。在实际工程应用中,通过对复杂数据的有效处理,验证了所设计的数据平台可以支持实际应用中的功能要求。