Quantitative Comparative Study of the Performance of Lossless Compression Methods Based on a Text Data Model

Data compression plays a key role in optimizing the use of memory storage space and also reducing latency in data transmission. In this paper, we are interested in lossless compression techniques because their performance is exploited with lossy compression techniques for images and videos generally using a mixed approach. To achieve our intended objective, which is to study the performance of lossless compression methods, we first carried out a literature review, a summary of which enabled us to select the most relevant, namely the following: arithmetic coding, LZW, Tunstall’s algorithm, RLE, BWT, Huffman coding and Shannon-Fano. Secondly, we designed a purposive text dataset with a repeating pattern in order to test the behavior and effectiveness of the selected compression techniques. Thirdly, we designed the compression algorithms and developed the programs (scripts) in Matlab in order to test their performance. Finally, following the tests conducted on relevant data that we constructed according to a deliberate model, the results show that these methods presented in order of performance are very satisfactory:- LZW- Arithmetic coding- Tunstall algorithm- BWT + RLELikewise, it appears that on the one hand, the performance of certain techniques relative to others is strongly linked to the sequencing and/or recurrence of symbols that make up the message, and on the other hand, to the cumulative time of encoding and decoding.

EEG无损压缩技术的研究

本文提出一种基于改进的DM编码和自适应二值算术编码的EEG无损压缩技术:首先对数据进行DM编码,然后再通过适当数据格式的转换以消除各个字节中的“冗余比特位”,同时整个数据基于比特位的熵值也因此降低;在此基础上,再对结果进行二值算术编码输出最终的压缩结果。经实践表明,该技术的压缩性能明显优越于常规的无损压缩算法,并且整个过程实现简单、实时性好。

声波测井井下数据压缩算法压缩效果测试

由于电缆传输带宽有限,大量声波测井全波列数据从井下传送至井上存储和处理时井孔信息丢失,因此需要采用数据压缩技术在井下对声波数据进行实时压缩。介绍了算术编码、预测编码、FLAC(Free Lossless AudioCodec)和APE等无损压缩算法和有损压缩算法,并将无损压缩算法应用于正交多极子声波测井仪MPAL专家模式井下数据,并从压缩率和失真度2个方面测试了压缩效果。结果表明,FLAC和APE压缩算法具有较好的压缩率,特别是APE算法达到50%左右的压缩率,并且压缩率较稳定。在对小信号质量要求不高时,可以采用有损压缩算法。

管道漏磁检测实时数据压缩

针对长距铁磁性油气管道在线缺陷检测所产生的庞大数据量问题,提出一种管道漏磁检测实时数据压缩算法.在实时压缩和提升小波编码的基础上,设计了一种基于双缓冲区模型的实时数据采集、压缩、存储系统.通过分析管道漏磁数据的特点,提出一种以整数提升小波变换、结合自适应算术编码为核心的无损压缩算法,无损压缩比可达9.166∶1.实验结果表明,该算法在基于PC104总线采集卡的硬件模拟实验环境下具有一定的可行性,并能满足实际系统采集速度、存储速度以及压缩比的要求.

基于TMS320C6416的多通道同步数据采集及压缩系统

针对目前遥测系统中传输数据量大和传输带宽紧张的问题,结合FPGA和DSP技术设计了一种高速同步多通道数据采集及压缩系统,同时提出了基于算术编码算法的无损压缩技术。系统压缩性能测试结果表明,该设计提高了遥测系统的带宽利用率,改善了通信效率。

一种具有检错能力的数据压缩编码方法

本文介绍一种具有检错能力的算术数据压缩编码。它采用改进型的概率模型 ,将每一个信源符号的概率乘以 (1-ε) ,其中 0 <ε <1。在编码时 ,不使用减少的概率部分 ,因此 ,如果在数据传输过程中没有发生误码 ,解码运算将不会落到未使用的概率部分。然而 ,如果在数据传输过程中发生了误码 ,则该误码在经过n个符号的解码后被检测出来的概率为 [1- (1-ε) n]。这种编码方法主要有两个优点 ,一是编码后的冗余可以用ε非常方便地进行调节 ,二是当n趋于无穷时 ,误码检测概率趋于 1。计算机模拟结果显示 ,当ε =0 .5 ,即相当于平均每一信源符号的编码增加 1比特冗余时 ,误码在经过 10个符号的解码后被检测出来的概率为 99.9%。

基于八叉树编码的散乱点云数据压缩

为了解决因散乱点云数据量较大而给点云的存储、传输和应用带来的不便,基于线性八叉树编码方法,结合排序与差分编码、改进的游程编码、算术编码等方法,提出了一种散乱点云的压缩方法。此方法不改变点云数据的精度,只改变测量点的顺序。由于散乱点云具有无序性,因此可以将本方法视为无损压缩。该方法在压缩率上明显优于已有的点云压缩方法和商业软件。对提出的方法在不同的点云密度和数据精度下的压缩率进行了比较研究,发现在点较密集,且精度较低的情况下压缩效果更好。创新之处在于用合理的点云索引方法组织和编码点云,根据编码表现出的特点有选择地综合和改进了多种编码压缩方法,获得了较好的压缩效果。