基于云计算和大数据技术的传感器数据存储与分析系统设计

针对当前传感器数量剧增,导致传感器测量数据复杂性高的特点,提出了基于云计算和大数据技术的传感器数据存储与分析系统,用于传感器数据的收集、存储和分析。该系统采用开源技术,提供端到端的传感器数据生命周期管理和分析工具。在Hadoop MapReduce框架的基础上,结合分布式机器学习框架中的k-means算法,构建一个可扩展的机器学习库。在弹性分布式数据集Spark上运行提出的系统,结果表明,该系统能够有效地对大量数据点进行聚类,与机器学习软件Weka相比,提出的系统可以分析数百万个坐标而不会出现性能问题,证明了其在大规模传感器数据分析应用中的有效性。