Gzip压缩的硬件加速电路设计

硬件无损压缩技术可以发挥专用电路的速度和功耗优势,被广泛应用于大数据计算以及通信领域.本文以GNUzip(Gzip)数据无损压缩技术为原型设计了一种硬件压缩电路.通过采用双Hash函数、并行匹配处理、面向硬件存储的LZ77压缩存储格式、高效数据拼接器等加速方法,发挥并行计算和流水线结构优势,提升压缩速率.该硬件压缩电路基于Verilog HDL设计,使用现场可编程门阵列(FPGA)进行测试和验证.测试数据表明:与软件压缩方式相比,该硬件压缩电路在获得适中压缩率(65.9%)的同时,其压缩速率得到显著提升,平均压缩速率达171Mb/s,满足网络通信、数据存储等实时压缩应用需求.

基于共享存储和Gzip的并行压缩算法研究

Gzip无损压缩算法。尽管gzip算法能够取得很好的压缩比,但它在分析和压缩编码的过程需要进行大量的计算。为了缩短压缩时间,提出了一种基于共享存储的并行压缩策略。采用OpenMP标准和"生产者/消费者"模型实现了gzip的并行压缩版本。在Beowulf集群中的一个SMP节点(双CPU)和曙光天阔服务器(4路双核)上的测试表明,并行化的gzip程序取得了极大的性能提升,尤其是大文件的压缩。

基于Gzip压缩算法的彩色QR码生成与识别方法

黑白条码由于数据容量的局限性已无法满足用户需求,据此在Gzip压缩算法的基础上设计了一种彩色QR码的生成和识别方法。该方法的编码颜色为2k种时,每个模块可编码k个二进制数据。通过增加编码颜色和Gzip压缩算法显著提高了彩色QR码的数据容量。本文设计的彩色QR码的编码颜色可任意选取,解码时不需要利用参考颜色构成的调色板对彩色码进行偏色处理,计算复杂度大幅减小,并且保留了黑白QR码的鲁棒性和可靠性。分析对比了4种颜色和16种颜色QR码的数据容量和计算复杂度,结果表明基于Gzip压缩算法的彩色QR码是一种高效的信息嵌入方法。

支持Gzip压缩和编码转换的网络爬虫设计

搜索引擎是互联网上最热门的基础应用之一,搜索引擎主要有三部分组成,网页抓取(Web Crawler),建立索引(Indexing)和搜索(Searching)。该文阐述了网页爬取部分爬虫的设计,并就其中两项关键技术Gzip解压和UTF-8编码进行了详细的阐述,解决了网页爬的通用型问题,并为第三部分搜索提供直接支持。

基于GSON和Gzip的交互接口的应用研究

在WebService网络服务当中,相对于传统的XML,JSON体积更小,解析起来更方便,因此JSON在移动互联网的应用中优势更为明显。文章结合JSON以及HTTP协议的特性,利用GSON工具和Gzip算法原理,设计并实现了在Java EE平台上与Android以及i OS等移动端进行交互的一种接口。

基于OpenCL的Gzip数据压缩算法

目前,数据压缩算法主要基于串行编程模型设计和实现,导致数据压缩速率较低,因而无法满足大数据分析和处理等应用的实时性需求。为了解决这个问题,以常用数据压缩算法Gzip为蓝本,提出一种实现无损数据压缩算法的专用硬件电路。首先,采用多字典并行查找的设计方案提高重复数据的查找速率;接着,采用匹配长度拼接技术提升数据的压缩效果;最后,采用开放计算语言(Open CL)实现了所提出的专用硬件电路。基于现场可编程门阵列(FPGA)进行功能验证和性能评测,结果表明:与基于串行编程模型设计和实现的数据压缩算法相比,所提出的硬件电路在取得适当压缩率的同时,显著地提高了数据的压缩速率,压缩速率可达12 Gb/s。

基于嵌入式系统的GZIP算法实现

本文提供了一种在嵌入式系统中用C语言实现GZIP算法的方案。该软件已成功移植到ARM9上,并取得了良好效果。

JAVA下GZIP压缩软件探讨

随着Internet的发展和普及 ,java语言也随之发展壮大 ,成为当前最重要的网络开发语言 ,但由于网络带宽的制约 ,使其发展受到了限制。因此 ,采用在网络上对数据进行压缩传送 ,使程序运行效率得到提高。本文阐述了gzip协议压缩在java下的应用 ,通过在《DT2 0 0 0电能计量管理系统》中的具体实施 ,取得了良好的效果。

Web应用防火墙关于gzip文件的检测研究

基于传统Web应用防火墙只能使用正则或语义分析的方式去匹配明文攻击特征的HTTP流量,而无法对服务器返回给客户端的压缩文件数据进行检测的目的,提出对WAF关于gzip压缩文件的检测研究思想,使得WAF在对服务器返回给客户端的压缩文件检测提供了一种新思路。通过WAF结合分块传输以及deflate无损压缩算法来对服务器返回给客户端的gzip文件类型的数据进行检测并返回给客户端,在不影响传输时间和带宽的前提下,提高了WAF对于Web攻击的防护能力,有效地保障了Web应用程序的安全。

一种基于GZIP的压缩与高效解压系统

为了节约嵌入式系统中的存储空间,降低数据传输对带宽的压力,提高解压的效率,研究并设计了一种基于GZIP的数据压缩与解压系统。在压缩时,压缩核心算法使用开源GZIP压缩算法,在此算法基础上进行设计,通过Visual Studio 2012对原始数据进行改进后的压缩。在解压时,为了提高解压速率,选择通过FPGA进行实现。通过对该系统的设计、实现以及仿真和实物验证,证明了该系统相较于一般压缩与解压系统在解压效率方面有了较大的提升。对于数据量需求大且需要及时更新的系统,在减少系统带宽压力和数据存储容量压力方面,该方法具有较大的应用价值。

基于GZIP算法的飞信聊天记录解析系统

飞信是中国移动推出的一项综合业务,随着越来越多的人使用飞信业务,飞信PC端保存的聊天记录将成为计算机调查取证的重要依据之一。同其他各类即时通信软件一样,飞信的聊天记录文件是通过加密处理的。通过对SQLite3数据库操作、XML、GZIP解压缩等多种技术的应用,全面地解析移动飞信的聊天记录信息与联系人信息。

高并发下gzip对Web API接口的影响分析与优化

在移动应用中网络请求普遍使用HTTP的gzip压缩方案来优化内容传输,达到提高传输效率、缩短响应时间的目的,而在高并发状态下gzip压缩将给服务器CPU带来大量负担,从而影响WebAPI接口的请求响应。通过对Nginx服务端环境gizp压缩的性能测试与分析,高并发测试中gzip关闭时的网络吞吐量是开启时的2倍,而CPU使用率仅为后者的37%左右,并且在突发高并发时后者将出现大量报错。最后,使用Nginx+Lua的API网关思路设计一套gzip预压缩API缓存,实现非实时压缩,突破请求并发量瓶颈。

基于前端的Web性能优化

随着互联网的高速发展，用户与页面的交互越来越复杂，会话时间也越来越长，同时人们对互联网的依赖性日益增强，网站性能逐渐成为Web产品市场成败和评测网站用户体验的重要指标之一。文中着重从前端的角度对Web性能优化的方法和策略进行分析与研究。

基于Referer字段递归分析的网页挂马检验方法研究

目的研究网页挂马案件的检验方法,为有效打击此类犯罪,维护信息网络安全提供技术支持。方法在染毒主机端重新浏览可疑网页,使用wireshark捕获通信数据,借助wireshark提供的文件还原功能从通信数据中还原出所有文件,再利用主流杀毒引擎对这些文件进行病毒扫描,记录下木马程序的名称和下载路径。之后利用本文的Referer字段递归分析方法还原木马完整的种植过程,找出被挂马网站和相应的页面,提取出网页中被植入的恶意代码。结果获得了被挂马网站的相关信息,准确地定位出恶意代码的存储位置,提示网站管理员除去恶意代码并增强保护措施,从源头阻断木马的传播途径。根据黑客种植恶意代码过程中在被挂马网站遗留的入侵痕迹,对挂马网站进行检验分析,获得黑客的相关线索。结论应用本文提出的Referer字段递归分析方法可以有效检验网页挂马类案件,获取相关线索。

针对HTTP压缩流量的基于跳跃的多模式匹配算法

多模式匹配算法是许多网络安全应用中的一种关键核心技术,被应用于检测网络内容中的有害信息。在当前网络中,HTTP压缩技术被广泛应用于网页内容压缩,以提升网络的传输速度。对于压缩HTTP流量的检测,传统方法一般是先对其进行解压,然后利用多模式匹配算法对解压后的内容进行检测过滤。这种传统的方法效率不高,且未能充分利用压缩数据的特性。本文提出了一种针对压缩的HTTP流量的基于跳跃的多模式匹配算法SMCH,SMCH可直接在压缩的HTTP流量上执行多模式匹配操作,而无需额外的解压操作。SMCH可以显著提高针对压缩HTTP流量的匹配速度。实验结果显示,SMCH可直接跳过91.9%的字符,而无需进行字符串匹配操作,其匹配性能比原始的匹配算法相比,提高了将近441%。此外,SMCH算法也更简单,比其它压缩HTTP流量匹配算法具有更高的跳变率和加速比。同时,SMCH具有良好的可扩展性,可以简便地与不同的字符串匹配算法结合使用。在本文中,我们在SMCH上实现了Wu-Manber算法。

HTTP压缩技术原理与实现

该文系统介绍了HTTP压缩的功能以及如何在IIS6.0上启用HTTP压缩,从而减少网络传输数据量,提高用户显示页面的速度。

数字压缩技术在改善空间数据网络传输的研究

从当前WebGIS的应用系统结构出发,根据地图瓦片技术应用的特点,从数据压缩和网络传输技术两方面来考虑如何通过减少数据量来提高用户体验,其中前者主要通过剔除PNG文件冗余数据信息,经过无损压缩减少数据本身数据量。而后者则通过GZIP压缩技术,实现在矢量块数据传输之前,对数据先进行动态压缩,再通过网络传输到达目的端后自动解压缩的方法,从而有效减少了网络传输中的数据量,节省了数据传输时间。实验及应用表明,以上两种方法能实际应用中极较好地改善数据传输性能,提高用户体验。

基于SVG的矢量WebGIS性能的优化

SVG是一种基于XML的用来描述二维矢量图形和矢量/栅格混合图形的标记语言,GIS中的空间数据都可由它提供的图形对象实现,并且SVG内置了对JavaScript的支持,而SVG可通过DOM解析映像成内存中的树型结构,所以客户层可通过JavaScript对DOM的操作实现对地图的缩放、漫游、查询、图层控制等交互操作,从而实现矢量W ebGIS。由于SVG用简单的文本来描述GIS矢量空间数据,因此数据量相对较小,且SVG支持GZIP压缩,压缩后的SVGZ可减少75%-80%,从而减轻了网络传输负载,加快了地图的显示速度。若能配合使用服务器端和客户端缓存技术,使用优化DOM文档解析与提升图像渲染性能的方法,则可进一步提高基于SVG的矢量W ebGIS的性能。

两种面向推荐系统的数据压缩方法

今日头条的服务器每天都会产生规模庞大的训练数据,为方便进行训练,这些数据都具有特定的格式和分布特征。使用不同类型的通用压缩算法(字典类型及非字典类型)进行测试,发现单独任何一种算法都无法在满足业务需求(速率需求和CPU占比等)的同时获得较为可观的压缩比。针对今日头条的训练数据,提出了分段聚类压缩和Hash recoding压缩两种策略。实验结果表明,分段聚类压缩方式在更好地保证了压缩率的同时提高了压缩速率的目的;Hash recoding压缩方式则更好地达到了以少量压缩速率的损失换取更可观的压缩率的目的。分段聚类方式搭配Gzip压缩算法的组合能使压缩速率提高300%以上;Hash recoding方式匹配Snappy压缩算法能使压缩率缩小50%以上。根据实际需求,不论选择哪种策略,对于降低今日头条的运营成本,提升业务处理的效率,提供更好的用户体验,都有一定意义。