A Complexity Analysis and Entropy for Different Data Compression Algorithms on Text Files

In this paper, we analyze the complexity and entropy of different methods of data compression algorithms: LZW, Huffman, Fixed-length code (FLC), and Huffman after using Fixed-length code (HFLC). We test those algorithms on different files of different sizes and then conclude that: LZW is the best one in all compression scales that we tested especially on the large files, then Huffman, HFLC, and FLC, respectively. Data compression still is an important topic for research these days, and has many applications and uses needed. Therefore, we suggest continuing searching in this field and trying to combine two techniques in order to reach a best one, or use another source mapping (Hamming) like embedding a linear array into a Hypercube with other good techniques like Huffman and trying to reach good results.

一种基于类小波变换的无线电频谱监测数据无损压缩方法

无线电频谱监测海量数据存储和分析是无线电监管工作的重要组成部分。频谱数据具有时间相关性以及不同频点间的相关冗余,对此本文设计了一种基于类小波变换的无线电频谱监测数据无损压缩方法。该方法首先基于时间相关性将一维频谱信号转换成二维矩阵;转换成二维矩阵后数据在水平方向以及垂直方向都存在冗余,算法采用卷积神经网络来代替传统小波中的预测和更新模块,并引入了自适应压缩块来处理不同维度的特征,从而获得更紧凑的频谱数据表示。研究进一步设计了一种基于上下文的深度熵模型,利用类小波变换不同子带系数获得熵编码参数,以此估计累积概率,从而实现频谱数据的压缩。实验结果表明,与已有的Deflate等传统频谱监测数据无损压缩方法相比,本文算法有进一步的性能提升,与典型的JPEG2000、PNG、JPEG-LS等二维图像无损压缩方法相比,本文所提出的方法的压缩效果也提高了20%以上。

基于提升小波和混合熵编码的数据压缩方法

大型发电机组远程状态监测系统中实时数据的存储与网络传输对数据压缩和重构技术提出了较高的要求。文中给出一种提升小波变换与混合熵编码技术相结合的数据压缩方法。首先利用基于提升格式的双正交滤波器组对实时数据进行小波分解,然后对小波系数进行阈值量化,最后通过混合熵编码技术对保留的系数进行编码,以进一步提高压缩效率。对实际发电机组实时数据进行了压缩试验,结果表明,有损压缩技术和无损压缩技术的结合可以获得较高的压缩比,能够较好地满足大型发电机组实时数据的存储和传输需求,是一种有效和实用的实时数据压缩方法。

利用二维M带小波变换进行地震数据压缩

随着小波理论的发展与应用，小波变换已成为信号分析处理的一种强有力的新工具。本文根据M带小波变换理论，结合地震数据的特征，将M带小波变换应用于地震数据的压缩处理，提出了地震数据的压缩编码算法。其压缩过程为：首先对地震数据进行二维M带小波分解，形成由小波变换系数构成的分频剖面;然后对各子带中的细节分量进行阈值取舍，保留有用的细节分量而会去无用的或对原始数据贡献较小的成分;再采用自适应方法对所剩的M带小波变换系数进行尺度量化;最后采用算术编码进行熵编码，完成地震数据的压缩编码全过程。数据重建可通过作解码、反量化、利用M带小波逆变换实现之。实验结果表明，该方法简单、易操作，对地震数据压缩行之有效，压缩比可达10～30。

基于JPEG2000的电能质量扰动数据压缩方法

JPEG2000是最新静态图像压缩的国际标准,虽然JPEG2000编解码器主要用于图像压缩,但是本文展示了其用于一维电能质量扰动数据的压缩。对于实际电网中采集的各类电能质量扰动信号,JPEG2000的压缩性能好于常见的一些二维压缩方法,特别是使用已有的JPEG2000编解码器的软硬件资源,可以省去专门的硬件开发成本。另外JPEG2000编解码器的一些优良特性,诸如精确的码率控制和累进式传输,也将得到保留。

中文文本压缩的LZW算法

本文报告两个关于中文信息处理研究的结果:(1)采用Cover的方法,猜估中文信息熵,实验表明,中文信良熵不大于4.1bits/字。(2)根据中文的结构特性,选择Welch型的Lemple-Ziv数据压缩算法,把它移植、扩展于中文文本压缩上。应用该算法于不同类型的中文文本,本文获得一些中文文本压缩实际性能值。

多元符号的安全算术编码

为提高传统算术编码TAC(traditional arithmetic coding)对密文和选择性明文攻击的抵抗力,提出一种基于多元符号的安全算术编码M-SAC(M-ary security arithmetic coding)方案.该方案将数据压缩与加密相结合,利用加密密钥改变信源符号在编码区间中的位置,进而改变TAC的编码区间和编码码字.仿真结果表明:在静态和自适应模型下,当译码器利用错误密钥译码时,该方案比二元随机算术编码BRAC(binary random arithmetic coding)得到的误符号率SER(symbol error rate)更高;该方案既不影响压缩效率又能实现对数据的有效加密,对密文和选择性明文攻击有很强的抵抗力.

基于提升小波的地形数据混合熵编码压缩与实时渲染

高分辨率地形高程和影像数据给交互式3维地形可视化应用带来沉重压力,主要体现在数据存储、调度传输及实时渲染等方面。该文设计一种基于提升小波变换与并行混合熵编码的地形数据高性能压缩方法,并结合图形处理器(Graphics Process Unit,GPU)Ray-casting实现大规模3维地形可视化。首先建立多分辨率地形块的小波变换模型来映射其求精和化简操作;其次,基于提升小波变换分别构建格网数字高程模型(Digital Elevation Model,DEM)和地表纹理的多分辨率四叉树,对量化后的稀疏小波系数引入并行游程编码与并行变长霍夫曼编码相结合的混合熵编码进行压缩;将压缩数据组织成多序列层进码流进行实时解压渲染。在GPU上基于统一计算设备构架(Compute Unified Device Architecture,CUDA)实现该文的提升小波变换与混合熵编码。实验表明,在压缩比、信噪比与编解码的数据吞吐量综合指标方面,该文方法优于其它类似方法。实时渲染的高帧率满足了交互式可视化的要求。

一种遥测数据实时压缩系统

介绍了一种遥测数据实时压缩系统的设计方案,该设计以FPGA+DSP为硬件架构,以具有一阶差分预测的ARC编码为无损压缩方案,达到了较高的压缩去除率和较快的压缩速度,适合在可靠性要求较高的遥测系统中使用。经实验验证,无损压缩系统有效地缓解了遥测系统的传输带宽压力。

图象ADCT混合熵编码方法

图象ＡＤＣＴ混合熵编码方法衡伟，富煜清，程时昕（东南大学无线电系，南京２１００１８）ＡＤＣＴ熵编码方法以其优异的性能，成为１９８８年ＪＰＥＧ建议的基本方法，它与预测法结合的ＡＤＣＴ熵编码方法被１９９０年通过的ＣＣＴＴＴＨ．２６１标准所采纳［１，２］．...

航天遥测数据的自适应分区熵编码压缩

针对航天遥测数据在一个通道内以及不同通道间的非平稳性，提出一种自适应切换ＤＰＣＭ预测误差熵编码码表的无损压缩方法，简单而高效。

浅谈算术编码的编译码过程

阐述了算术编码的编码、译码过程,并以具体例子进行说明编译码过程.

基于TMS320C6416的多通道同步数据采集及压缩系统

针对目前遥测系统中传输数据量大和传输带宽紧张的问题,结合FPGA和DSP技术设计了一种高速同步多通道数据采集及压缩系统,同时提出了基于算术编码算法的无损压缩技术。系统压缩性能测试结果表明,该设计提高了遥测系统的带宽利用率,改善了通信效率。

时序数据并行压缩速率改进技术研究

为了改善传统压缩技术因时序数据占用存储空间过大,导致压缩速率低的问题,提出时序数据并行压缩速率改进技术研究。依据数据压缩背景,设置数据阈值,采用提升法对时序数据阈值进行选择,保留阈值最大的时序数据变换系数,对噪声干扰进行有效抑制,减小数据存储空间的占用;引入混合熵编码,将字典编码与零行程编码有机结合,实现时序数据的并行高速压缩。实验结果表明,该技术提高了时序数据压缩时的信噪比和压缩比,有效抑制噪声干扰,能够高效完成数据压缩。

基于神经网络的几种新的数据压缩方案

本文首先采用非统计的方法给出了基于神经网络的无损数据压缩新方案。基于神经网络的无损数据压缩新方案的特点是无损的、能压缩一些已用熵编码压缩过的数据 ,且在一些情况下压缩比接近 2 5 8。然后把该新方案嵌入Huffman编码系统 ,获改进的无损数据压缩方法 ,提高了Huffman编码系统的压缩比。最后把基于神经网络的无损数据压缩新方案嵌入一小波图像压缩系统得基于小波与神经网络的图像压缩方案 。

针对熵编码的自适应可逆图像预处理方法

大多数图像编码前所采用的预处理方法都会造成一定程度的信息损失。以提高图像的熵编码效率为目的,提出一种自适应可逆图像预处理方法——基于相邻像素相似性的可逆图像变换,它包括8像素和4像素处理下的多种模式。在对图像做位平面分解后进行基于相邻像素相似性的可逆图像变换,并选择多种变换方式下具有最小熵的变换图像作为预处理输出,其直方图呈现出U型分布。实验结果表明,该预处理方法改变了图像的统计特性,从而提高了图像的压缩比和熵编码效率。

图像遥测传输系统的设计与实现

红外图像传输的速率可高达十几Mbps,现有的设备不能解决低带宽导致传输误码率高的问题。设计了一种融合图像数据压缩、信道交织编码和数字MSK调制技术的图像遥测传输系统,解决了以现有低带宽设备实现高速率传输的问题。通过采用Xilinx公司的Spartan3E系列FPGA XC3S500E作为数据采集控制器,以ARM(S3C2440A)实现图像算法处理器,构建PCM/FM遥测系统硬件平台。最后在硬件平台上验证系统性能,通过测试系统传输误码率证明了方案的可行性。

旋转轴应变遥测数据压缩技术研究

本文以风电旋转轴应变遥测为例,分析了旋转轴应变测量数据的特点,并针对其特点设计了高效、低时延数据压缩方案。设计的压缩方案首先对旋转轴应变遥测数据进行线性预测,然后对预测残差进行霍夫曼编码,实现旋转轴应变遥测数据的实时无损压缩,保证信息传输质量,最后给出了算法的仿真结果。

多道谱仪能谱数据混合压缩方法研究

探讨了一种对多道谱仪的能谱数据进行混合压缩的方法。针对具体的数据类型,在对以往能谱数据压缩算法验证比较的基础上,结合位差值序列法和熵编码等方法,实现了压缩率较高的无损压缩。对16384道能谱数据的最高压缩比达到7.75,平均压缩比达到8,满足了多道能谱仪在进行数据传输时的压缩需求,为将来能谱数据的无线传输提供了有力支撑。