基于粗糙集理论的数据清洗模型

本文在基于粗糙集理论的基础上提出一个大数据系统的数据清洗模型 ,以利于信息不完备决策问题的实施。模型从给定的初始数据出发 ,在假定属性的重要性量度σ0 的前提下 ,经过一系列的计算 ,比较属性实际重要性量度σCD(x)与σ0 的大小 ,由此确定属性x的清洗 ,然后根据清洗后的数据的出相应的决策规则。

基于云计算的电力能源大数据清洗模型构建

为了提高电力能源大数据的清洗效果,以及电网数据分析的智能程度,对电力能源大数据清洗模型进行构建。其中,运用云计算进行大数据存储。创新性地运用时间序列符号化方法对时间序列进行降维,以欧氏距离算法进行相似度度量,并使用相似度曲线对负荷数据进行数据清洗。结果表明:当数据块数量从10块增加到30块时,相应的数据传输数量由28个增加到136个,消耗时间从0.117 h增加到0.165 h。序列相似性排序为:序列1和序列4>序列2和序列5>序列3和序列4。清洗以后,各网供区域的数据都清晰可见,不同系列之间的数据也能清楚辨别和区分,误差也在可接受范围内。由此说明:电力大数据清洗模型效果良好,能够为电力企业内部不同部门、不同需求、不同层次的决策者提供准确数据分析。该研究在电力领域具有很强实用价值。

产品质量标准数据清洗模型及应用研究

本文针对当前国内外对产品质量标准数据清洗问题研究的局限,基于人工智能学科中的BP人工神经网络理论,用L-M算法改进的BP人工神经网络构建了产品质量标准数据清洗模型,并以洗衣机产品质量标准数据为实例,用所设计模型进行了产品质量标准数据清洗实验验证。经实验验证发现,本研究给出的模型是一种具有普适意义、符合科学理论、合理的产品质量标准数据清洗模型,支持绝大部分产品质量标准数据清洗,既丰富了产品质量标准数据清洗理论,又能应用于经济社会发展实践。模型支持产品质量标准数据自动化、智能化、高速度清洗,为国家质量基础设施(NQI)共性技术的研究提供了重要的方法论。

南山区智慧水务系统及大数据清洗模型的构建与应用

文章基于物联网、云计算、移动互联网等新一代信息技术,构建深圳南山区智慧水务系统,可实现南山区水务状态的涉水事务感知、综合展示、监测预警、数据决策支持、联动指挥和智能管控;同时,针对智慧水务系统大数据存在脏数据的问题,构建了"数据预处理、异常值检测、空缺值填补"三阶段大数据清洗模型,脏数据平均清洗率达到94%。

基于电力大数据清洗模型的异常数据识别方法

为了解决现有异常数据识别方法异常数据误识率较高、清洗时间较长的问题,提出基于电力大数据清洗模型的异常数据识别方法研究。在分布式文件系统上读取电力大数据,采用并行CURE聚类算法获取正常电力大数据,以此为基础,通过正常电力大数据边界特点分析,选择正常电力大数据边界样本,以选择的正常电力大数据边界样本为异常数据识别依据,设置异常数据识别规则,执行异常数据识别算法,利用电力大数据清洗模型清洗上述识别的异常数据,得到精确的电力大数据,实现了异常数据的识别。测试结果显示,与现有两种异常数据识别方法相比较,提出的异常数据识别方法降低了异常数据误识率,减少了异常数据清洗时间,充分说明提出的异常数据识别方法具备更好的识别性能。

面向仓储的RFID数据清洗技术研究

针对仓储中无线射频识别(RFID)原始数据的不可靠性问题,对仓储中RFID数据冗余和事件流乱序问题进行了研究,提出了一种面向仓储的RFID数据清洗模型。首先对仓储中RFID数据存在的问题进行了描述,建立了冗余数据和事件流乱序问题产生的抽象场景;然后结合RFID仓储数据清洗模型提出了相应的冗余数据清洗和事件流乱序修正算法,并介绍了相应算法的改进之处及具体实现步骤;最后利用读写器检测模型构造了RFID原始数据流,通过不同实验参数对记录数量和正确率指标进行了实验测试。研究结果表明:提出的数据清洗方法可以有效去除冗余数据并提高RFID事件输出的正确率。

农业微气象观测数据清洗和质控技术研究

基于农田特有气象观测设备和环境属性,建立农业气象数据清洗标准和质控方法,以提升农业气象观测数据质量。针对数据属性异常和重复记录情形,选取Bohn数据清洗模型的空缺值清洗方法和噪声数据清洗方法。通过农业微气象观测站点空间内观测要素历史数据统计,获取清洁数据指标,应用于数据质量动态阈值生成方法,建立农业微气象数据质量控制模型。清洗质控后的数据评估指标表明,经过数据清洗和质控模型后数据准确率和重复性均有明显改善。数据清洗质控方法有助于准确获取农业气象灾害监测信息,为农业的防灾减灾提供有效决策支撑。