一个可扩展的数据清洗系统

在给数据挖掘这类应用准备数据的过程中，面临着一系列数据清洗问题。要把数 据清洗过程做得很灵活并不容易，已有的工具往往过于依赖特定的应用。该文提出并实现 了 一个可扩展的数据清洗框架。它以术语模型、过程描述文件、共享库等概念和技术实现 了模 块的高度独立性和系统的可扩展性，并提供了一个可视化的流程定义环境。

一种可交互的数据清洗系统

对于各个领域的信息资源而言,数据质量一直是一个非常关键的问题,而现实世界中的数据往往存在着各种各样的质量问题,从简单的拼写错误到复杂的语义不一致错误。数据清洗的目标就是检测并去除数据中存在的各种错误和不一致,提高数据质量。在归纳总结数据质量问题和数据清洗相关研究的现状的基础上提出一个可交互的数据清洗框架的定义。系统提供了方便、易用的可视化的数据清洗流程定义环境。

分布式数据清洗系统设计

针对传统系统在清洗数据时出现速度缓慢,数据分布不均时造成数据倾斜等问题。本文试图设计分布式数据清洗系统,首先使用Hadoop集群进行系统搭建,然后对系统进行流程设计、架构设计以及功能设计,最后采用改进后的分区聚合算法对Reduce操作进行优化,避免发生数据倾斜。实验结果表明,分布式数据清洗系统相比传统系统而言,清洗速率更快,系统稳定性更高。

税务审计系统电算化探讨

随着经济技术的不断发展,电算化普遍应用于会计行业中,传统的税务审计方法主要以手工为主,已不能满足信息化的发展需求。税务审计系统电算化是税务信息化建设的重要组成部门,已经在一些发达国家普遍应用,并取得了良好效果。本文介绍税务审计系统电算化建立的必要性及其特点,并在此基础上提出加强税务审计系统电算化的措施。