Quantitative Comparative Study of the Performance of Lossless Compression Methods Based on a Text Data Model

Data compression plays a key role in optimizing the use of memory storage space and also reducing latency in data transmission. In this paper, we are interested in lossless compression techniques because their performance is exploited with lossy compression techniques for images and videos generally using a mixed approach. To achieve our intended objective, which is to study the performance of lossless compression methods, we first carried out a literature review, a summary of which enabled us to select the most relevant, namely the following: arithmetic coding, LZW, Tunstall’s algorithm, RLE, BWT, Huffman coding and Shannon-Fano. Secondly, we designed a purposive text dataset with a repeating pattern in order to test the behavior and effectiveness of the selected compression techniques. Thirdly, we designed the compression algorithms and developed the programs (scripts) in Matlab in order to test their performance. Finally, following the tests conducted on relevant data that we constructed according to a deliberate model, the results show that these methods presented in order of performance are very satisfactory:- LZW- Arithmetic coding- Tunstall algorithm- BWT + RLELikewise, it appears that on the one hand, the performance of certain techniques relative to others is strongly linked to the sequencing and/or recurrence of symbols that make up the message, and on the other hand, to the cumulative time of encoding and decoding.

多媒体数据自适应多尺度分块压缩仿真研究

在多媒体图像数据压缩过程中,为了减小数据体积,通常需要牺牲图像的一些细节和精度,这会导致部分信息的丢失。为了提高压缩效果,以多媒体图像为例,提出一种面向多媒体数据的分块无损压缩算法。通过四叉树算法对多媒体图像展开分块处理,通过结合边缘特征和方向特征的多尺度小波变换算法获取多媒体图像每层子带图像块的自适应采样率,基于纹理块和平坦块的自适应多尺度分块压缩感知方法完成多媒体图像数据的分块无损压缩。实验结果表明,所提算法的压缩效果更好,不仅能够实现数据有效压缩,而且不会损失图像信息,且压缩时间较短,整体应用效果更好。

基于SDES和双轮差错控制的大数据集成安全系统

针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard,SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统以提高机密性和防止意外数据丢失。基于双轮差错控制以较低的空间开销控制传输过程中包含的任意数量的离散或连续错误位,基于固定长度编码(Fixed Length Coding,FLC)的无损压缩技术来减少数据开销。该算法具有较高的AE值、熵和压缩百分比,具有提供更高的数据机密性和完整性的潜力。

协同过滤下混合大数据无损挖掘算法研究

大数据具有大规模性、多样性以及价值性,由于海量数据间的较高相似度,导致数据挖掘过程易受冗余干扰,出现数据丢失、损坏等问题。为解决上述问题,提出基于协同过滤算法的混合大数据无损挖掘方法。对混合大数据集成预处理,去除冗余,将不同来源的相同数据无损融合。采用协同过滤算法的时间衰减函数,计算挖掘项目间相似性。在混合大数据特征关联度的约束下,实现混合大数据无损挖掘。实验结果表明,所提方法应用下,混合大数据量高达25000MB时,数据挖掘所需时间仅为45ms左右,且挖掘精度高达95%以上,数据挖掘结果与目标具有一致性。

基于紧耦合加速器的高性能Java压缩系统

Java无损压缩应用广泛,尽管软件算法在不断改进,但仍然存在压缩速度慢、耗时严重等问题。本文使用领域前沿的紧耦合框架集成压缩加速器的处理器平台,设计了一个高性能Java压缩系统,在Java虚拟机(JVM)内部实现了对紧耦合无损压缩加速器的封装,并为其提供了轻量级运行时环境。本系统可以有效减少通信开销、避免数据拷贝问题,具有易编程、快速压缩的特点,充分发挥加速器给Java压缩带来的性能优势。实验结果表明,此系统大幅提升了Java压缩性能,压缩速度达到主流Java Gzip软件压缩的63倍,最高可达247倍,且在大数据集下性能提升更显著。

基于深度学习的高能同步辐射光源数据快速无损压缩算法

高能同步辐射光源(HEPS)产生的高帧率、高分辨率图像数据以样本为单位存储,每个样本对应近千张灰度图。通用无损压缩方法对此类图像压缩效果不佳,而基于深度学习的压缩方法通常压缩解压耗时较长。为了解决上述问题,结合光源图像数据特点,提出一种基于深度学习的快速无损压缩算法。以样本对应的图像序列为单位压缩,根据少量前向帧利用时空学习网络预测图像取值并编码残差图,以实现高压缩比(CR);此外,通过图像子集划分和子集次优编码方法,将图像序列划分为多个子集并构建编码表,从而减少压缩解压缩耗时。经过测试,相较于PNG、JPEG2000等传统图像无损压缩算法,所提算法的CR提升了0.22~0.68;相较于DeepZip等深度学习无损压缩算法,所提算法的压缩耗时减少了41.0%以上,解压缩耗时减少了9.3%以上。

智算中心高性能网络流量调度技术研究及实践

AI大模型训练、高性能存储等业务应用场景提出了海量规模的计算需求,与传统数据中心业务相比,在流量模型和网络需求方面有着显著区别,驱使传统的数据中心网络向智算中心和无损网络转型。从智算中心和无损网络的发展背景入手,分析了当前智算中心网络存在的问题,探索了智算中心网络流量调度的关键技术,并进行了流量调度平台的研发实践,为智算中心网络发展和应用提供思路。

综合能源网络的时域Bergeron等效计算模型

在综合能源网络分析的统一能路模型的基础上,通过假设能源网络为无损传输网络,建立了综合能源网络时域分析的Bergeron等效计算模型,推导了无损综合能源网络波速度和波阻抗的计算公式,进一步地给出了基于节点分析法的综合能源网络暂态响应的计算流程,为复杂网络的时域分析提供了一种新的思路。

基于CZ-BWT改进的LZW压缩算法在电力报文中的应用

随着电网远动信息数据量日益剧增,对有限的硬件存储和网络带宽带来严峻考验。通过对报文数据的无损压缩研究以缓解硬件设备压力,确保数据解压后能无损还原出压缩之前的数据显得尤为重要。针对IEC60870-5-104报文特有结构及LZW(Lempel-Ziv-Welch)的特点,提出基于截断CZ-BWT(Burrows-Wheeler transform)改进的LZW报文压缩算法。首先对输入的IEC60870-5-104报文进行CZ-BWT转换作为预处理,增大报文内容的相关性;其次用LZW算法对转换后的数据进行压缩操作。实验结果表明,基于CZ-BWT改进的LZW算法的压缩率优于传统LZW算法。此外,在压缩和解压速度方面,相比于大部分的压缩算法而言,具有一定优势。

新型智算中心组网方案研究

当前算力需求爆发式增长,通用计算也朝着人工智能计算的方向演进,新型智算中心网络作为算力间数据交互的中心,成为影响算力性能发挥的关键。分析了智算中心对网络的需求,对网络协议、架构和运维管理等方面进行了深入研究,并结合业界发展情况,给出了智算中心组网方案的建议。

一种基于类小波变换的无线电频谱监测数据无损压缩方法

无线电频谱监测海量数据存储和分析是无线电监管工作的重要组成部分。频谱数据具有时间相关性以及不同频点间的相关冗余,对此本文设计了一种基于类小波变换的无线电频谱监测数据无损压缩方法。该方法首先基于时间相关性将一维频谱信号转换成二维矩阵;转换成二维矩阵后数据在水平方向以及垂直方向都存在冗余,算法采用卷积神经网络来代替传统小波中的预测和更新模块,并引入了自适应压缩块来处理不同维度的特征,从而获得更紧凑的频谱数据表示。研究进一步设计了一种基于上下文的深度熵模型,利用类小波变换不同子带系数获得熵编码参数,以此估计累积概率,从而实现频谱数据的压缩。实验结果表明,与已有的Deflate等传统频谱监测数据无损压缩方法相比,本文算法有进一步的性能提升,与典型的JPEG2000、PNG、JPEG-LS等二维图像无损压缩方法相比,本文所提出的方法的压缩效果也提高了20%以上。

基于器件复用的电流型软开关光伏全桥逆变器

提出了一种新颖的适用于分布式光伏的无源无损软开关全桥逆变器,用以减小逆变器高频开关的损耗。该电路保留了传统双降压全桥逆变器高效可靠的优点,在此基础上通过器件复用的方式,增加了无源无损吸收电路,并通过无源器件自身的谐振过程改善功率器件的开关状况实现软开关的功能,同时使无源无损吸收电路的能量得到有效转移,使得所提无源无损软开关全桥逆变器具有较高的可靠性。实验验证了所提无源无损吸收电路有效减小了开关损耗,提高了系统效率。

抵抗不诚实参与者欺骗攻击的可验证渐进式秘密图像分享

当前渐进式秘密图像分享方案中并没有考虑不诚实参与者的作弊攻击,这使得不诚实的参与者可以利用虚假阴影图像进行欺骗攻击.为了防止后续渐进式重建失败,本文通过将像素的位平面划分为两部分,并使用拉格朗日插值算法以及视觉密码学方案来解决这个问题.通过伪随机数来确定像素位平面的滑动窗口,并通过筛选操作将认证信息嵌入到该滑动窗口中来实现认证能力.除此之外,不同的位平面划分策略可以产生不同的渐进式重建效果,可以实现更加灵活的渐进式重建.理论分析和实验结果表明方案的有效性.

基于IMU模块的数据压缩系统设计

随着信息社会的发展,日常交互的信息量逐渐增加,数据压缩技术受到了日益广泛的关注。然而传统的数据压缩技术,通常为有损压缩,即在解压后会存在数据丢失的现象,并且在压缩与解压缩的过程中需要损耗大量时间,大大增加了系统运行的资源成本。为了解决上述问题,提出了一种基于IMU模块的无损数据压缩系统,该系统通过数据的独特性、数据的结构以及占用内存三种角度来对IMU数据进行压缩处理。在确保数据解压后仍保持完整性的前提下,通过观察数据的压缩比例以及数据的压缩时间,来选择最佳的数据压缩方式。最终要求数据的压缩比例达到压缩前的三倍,压缩所需的时间不能高于压缩前即为最佳方案。

新型云化超算中心建设方案研究

算力正在成为数字经济的核心生产力,而云化超算中心是可以提供高性能计算、人工智能、大数据等多种不同异构算力的新型数据中心。本文研究建设新型云化超算中心,打造多样算力底座,建设集算力、算法和行业超算平台于一体的统一算力服务平台,支撑各行业数智化转型升级。

面向超声无损检测数据的改进自适应哈夫曼编码

随着无损检测精度要求的提高,多探头检测、密集采集点等产生大量数据的技术被广泛使用,这引起了检测数据传输效率低和存储空间负担大等问题。为提高数据传输效率,减轻存储空间负担,提出一种带阈值的快速自适应哈夫曼编码方法。该方法通过减少相邻采集点处超声波的冗余信息、设置字符出现阈值和采取局部更新编码表的方式改进传统自适应哈夫曼编码。对比实验表明,该方法在数据分布不平滑时,压缩效果优于Deflate编码、LZW编码以及自适应哈夫曼编码,且压缩速度较改进前的方法提高了100%。

基于以太无损网络的智算中心光网络架构研究(特邀)

【目的】近年来,生成式人工智能(AIGC)掀起了人工智能革命,智算中心(ICC)的网络联接也随之向超高带宽、智能无损和算网融合等方向发展,因此ICC光网络需要降低卡间通信时间,以提升数据访问效率。【方法】文章针对ICC场景光网络的组网架构进行了研究,实现了大带宽、低时延和中央处理器(CPU)效率高的无损网络,满足了ICC的大模型训练和推理需求。文章详细分析了ICC的流量分布特征和人工智能(AI)大模型训练组网场景下的通信流特征,深入研究了基于远程直接内存访问(RDMA)的以太无损传输方案的ICC组网架构,并最终在ICC场景下进行了组网实践和时延测试。【结果】文章提出的基于以太网的RDMA(RoCE)传输方案具备基于优先级的流控制、显示拥塞通知、增强传输选择和数据中心桥能力交换协议(DCBX)等能力,可实现数据中心内基于以太协议的无损传输。测试结果显示,使用RoCE协议的传输时延大约稳定在1μs,并且显著优于互联网广域RDMA协议(iWARP)。【结论】文章基于智算场景下的流量特征分析,深入研究了ICC的无损以太网络关键特性,利用RDMA技术实现了ICC场景下光交换网络传输效率的提升,并提出了一种在ICC大模型推理场景下的无损以太网络方案,为RDMA技术在智算场景下的应用探索出了可行的方向。

一种ARGB数据无损压缩解压算法的FPGA设计

提出了一种ARGB数据的无损压缩优化算法以及FPGA实现方法;为了避免对整个文件的解压和压缩,采用了Deflate算法的相关方法对图像按块进行压缩和解压,极大提高了存储器的访问效率;利用了Deflate算法对小块进行压缩,发挥了Deflate中LZ77压缩的Huffman压缩技术来优化压缩算法;通过VIVADO HLS将算法实现成FPGA电路,采用多张图片进行了实际应用,证实了算法的有效性,并分析了其功耗和时序信息。

数据中心无损网络关键技术与组网策略研究

面向算力网络的多元化、多样化、高速化发展趋势以及数据中心网络架构的演进趋势,为解决飞速增长的高性能处理需求、数据存储和算力处理效率问题,在分析总结远端内存直接访问(Remote Direct Memory Access,RDMA)技术的基础上,研究了无损网络的优势应用场景,提出了无损网络组网技术策略,经实测验证,组网性能满足高性能场景需求。

基于时序数据压缩的大数据无损编码转换

针对当下时序数据压缩普遍存在压缩比小、压缩效率低的问题,进行基于时序数据压缩算法的海量大数据无损编码转换研究。该研究分为2部分,首先利用经验模态分解(EMD)算法对时序数据进行分解,分解为有效分量和噪声分量。其次,针对有效分量,利用Huffman算法进行压缩编码转换;针对噪声分量,利用LZ77算法进行压缩编码转换。实验结果表明:与3种传统压缩编码转换算法相比,该算法分别对Haptics和Phoneme数据集进行压缩的均方根失真度为3.854和3.624,压缩比为53.62%和47.85%,由此说明该算法更能够保证在不失真的前提下,以更快的速度完成数据压缩。