DM数据库中大规模数据智能自适应压缩算法

DM数据库中存在大量冗余数据,需对其进行压缩处理。传统数据压缩算法大多只追求高压缩率,不能保证数据的完整性;且适用范围小。为此,提出一种新的DM数据库中大规模数据智能自适应压缩算法。给出算法涉及的相关术语,介绍了智能自适应最优消零压缩算法的压缩原理,给出位数因子、编码长度、最优位数因子、最短编码长度以及编码因子的计算过程。在不同时刻对采集的DM数据库中的数据进行排列,通过自适应最优消零压缩算法原理求出数据序列最小编码长度和对应的最优位数因子;依据最优位数因子完成对数据序列的消零计算与编码,删除时间冗余,获取压缩后数据。实验结果表明,所提算法压缩效率高,在保证压缩比的同时,能够保证压缩后数据的完整性,且适用范围广。

大数据条件下自适应Huffman算法潜在问题初探

介绍了自适应Huffman编码算法的原理。根据当前计算机的发展趋势,针对用自适应Huffman编码算法实现大型数据压缩时潜在两类溢出问题,分别从软件和硬件的角度提出了相应的解决方案。用Visual C++编程进行了试验,试验结果较好地验证了理论分析,并表明该解决方案具有较强的可行性和实用性。

达梦数据库中大规模数据可扩展并行算法

达梦(DM)数据库中的数据规模大且维度复杂,为了在有限的条件下尽可能满足用户对DM数据库功能的需求,提出一种新的DM数据库中大规模数据可扩展并行算法。不可扩展并行算法包括朴素并行、典型并行与逻辑并行三种处理规则,新算法将这三种处理规则结合起来实现数据自主运算,令每个运算节点均拥有三种处理模式,采用有向图将大规模数据划分为局部数据,并分配到处理器上,通过设置数据处理优先等级,完成流水线形式的数据处理过程,赋予并行算法强大的可扩展性。实验结果表明,新算法具有较强的可扩展性,负债均衡能力强。