数据断层现象的研究

随着各个领域数据量的与日俱增,数据仓库技术在进行海量数据资源的管理过程中,数据断层现象已经成为亟待解决的一个重要问题。断层的概念来源于地质学上对于由储层非均质性而引起的岩石断裂且两侧发生明显位移的构造描述,对能源开采、地震预防等问题具有重大的现实意义。借鉴地质断层的理论,引入数据断层的系列概念定义数据与数据之间发生局部位移的趋势,首次从宏观和微观两方面对数据仓库中的各种数据非均质现象进行知识描述,通过数据断层剖面的分析,系统地阐述数据预处理过程中的数据断层现象,给出数据断层在显隐断层、内间断层之间相互转化的规则和算法,初步形成了数据断层理论体系的基础,并通过实验验证了该理论的有效性。