基于BWT改进的LZW算法在传感器网络中的应用

传感器网络能量有限,网内数据不易直接传输,需要进行压缩。针对有损数据压缩的局限性,基于数据分块和BWT变换思想,提出了一种改进的无损数据压缩算法-B-LZW,保证了数据的完整性。通过信息熵理论分析及实验仿真,比较了B-LZW算法与传统的LZW算法的性能。结果表明,在对实时性要求不高的传感器网络应用中,该算法能更有效地减轻网络节点存储负担,降低数据丢包率,提高压缩率2.75%～3%,节约网络能量,进一步延长网络寿命。

基于AVX指令集BWT算法在DNA序列比对中应用

新一代高通量测序技术发展产生大规模DNA序列片段,快速准确地将短序列比对到参考基因组成为生物信息学重要研究课题之一。针对BWT索引技术序列比对算法研究,提出基于Intel微架构AVX指令集优化BWT算法,通过改进计算方式实现算法并优化。结果表明,应用AVX指令集可减少CPU访存次数,降低算法时间复杂度,提高序列比对效率,为基因数据分析提供更高效快速序列比对方法,加快对全基因组序列处理。

BWT与经典压缩算法研究

为提高无损压缩的效果,分析了BWT的基本原理,回顾并比较了霍夫曼编码、算术编码、LZ77和LZW算法的性能,然后把BWT与多阶算术编码、LZW编码结合起来研究,结果表明,对大于BWT分组数据块的文件先经过BWT预处理,再进行压缩,压缩效果明显提高。

基于BWT的文本压缩算法研究

为了理解高效的文本压缩算法,探究文本压缩的原理和意义,对基于BWT的字符串轮转理论进行了深入的理解;游程编码作为一种简单有效的压缩方式,在数据压缩中有十分广泛的应用,文本压缩的研究对于多媒体的压缩研究有着十分重要的意义。把BWT结合游程编码对选定的文本信息进行了压缩比较,实验证明了该算法的高效性和实用性。同时对基于BWT压缩算法的发展趋势进行了展望及分析。

采用BWT的多核并行的子串匹配算法

针对P-BWT精确匹配算法存在只支持短串查询并且只能工作在单处理器上的问题,提出了一个多核并行的支持任意查询长度的精确查询算法.改进了P-BWT索引上的查询过程,当一个查询串跨越了多个数据分片时,首先在其匹配的最后一个分片上查询,然后依次在前面分片上进行验证.进一步提出了一个多核并行查询算法来减少搜索和验证过程的迭代次数.实验结果表明,所述算法可以高效并行地完成子串匹配任务.

一种基于MPM和BWT算法的XML文档压缩方法

XML文档在网络存储和交换应用中被广泛采用,但是其冗余量大、占用空间和带宽多的缺点也给其应用带来了一定的阻碍。提出了一种将MPM算法(Multilevel Pattern Matching)和BWT(Burrows-Wheeler Transform)算法相结合来压缩XML文档的压缩方法,给出了算法的详细描述。通过实验同其它压缩算法进行了比较,证明该方法是科学和高效的。

BWT-Boyer-Moore压缩域搜索算法的研究

针对Boyer-Moore匹配算法对压缩文本文件搜索的不足,分析了当前对于压缩文件搜索的主要方法,提出了一种基于BW转换的高效的搜索算法并予以验证。

Quantitative Comparative Study of the Performance of Lossless Compression Methods Based on a Text Data Model

Data compression plays a key role in optimizing the use of memory storage space and also reducing latency in data transmission. In this paper, we are interested in lossless compression techniques because their performance is exploited with lossy compression techniques for images and videos generally using a mixed approach. To achieve our intended objective, which is to study the performance of lossless compression methods, we first carried out a literature review, a summary of which enabled us to select the most relevant, namely the following: arithmetic coding, LZW, Tunstall’s algorithm, RLE, BWT, Huffman coding and Shannon-Fano. Secondly, we designed a purposive text dataset with a repeating pattern in order to test the behavior and effectiveness of the selected compression techniques. Thirdly, we designed the compression algorithms and developed the programs (scripts) in Matlab in order to test their performance. Finally, following the tests conducted on relevant data that we constructed according to a deliberate model, the results show that these methods presented in order of performance are very satisfactory:- LZW- Arithmetic coding- Tunstall algorithm- BWT + RLELikewise, it appears that on the one hand, the performance of certain techniques relative to others is strongly linked to the sequencing and/or recurrence of symbols that make up the message, and on the other hand, to the cumulative time of encoding and decoding.

基于并行化诱导排序快速实现Burrows-Wheeler变换算法

为解决生物序列比对算法中主流索引技术Burrows-Wheeler变换(BWT)构建索引效率低的问题,文章提出了一种利用并行化诱导排序改进BWT索引构建的方法。首先,该研究充分发挥诱导排序的线性时间复杂度优势,高效地建立后缀数组。其次,基于此,采用并行化优化算法对后缀类型和子串处理过程进行优化。最后,通过与主流算法在真实生物数据集上的对比实验,结果显示,经过优化的算法在索引构建速度上相较于传统算法取得了明显的提升,从而证明了该方法的有效性。

基于HLS的BWT算法的硬件加速方法

本文针对BWT算法在序列对比过程中当数据量大时运算耗时长的缺点,研究使用VivadoHLS来实现BWT算法的硬件加速方法。首先按照HLS的代码规范编写C++代码,通过资源消耗和并行化两方面的优化在提高算法效率的同时使得资源消耗最小,然后生成由FPGA实现的BWT算法对应的RTL级硬件电路,最后通过综合和仿真结果评估硬件优化效果。实验结果表明,对5M的DNA参考基因组创建index的耗时从32个clock减少为12个clock,单条reads匹配速率提高为原来的242.8%,同时优化方案打破了PC上匹配时长与reads长度的线性相关关系,使得任意长度的reads都可以在3个clock内完成匹配。

基于BWT改进的LZSS算法在报文压缩中的应用

电网的智能化使远动信息数据量急剧增大,对硬件设备的存储能力提出了很大的挑战。为缓解硬件设备压力,减少对硬件设备的投资,并且保证解压后能完整还原原始数据,需对报文进行无损压缩。针对IEC60870-5-104报文规约结构,提出基于BWT改进的LZSS算法,使用BWT变换对字符串进行预处理,再将数据由LZSS算法进行压缩。实验仿真结果表明,该改进算法压缩效率相对于传统LZSS算法更好,平均压缩比减少15.58%,平均耗时减少6.949 s,能够有效减少电力报文数据的存储空间。

一种基于LFU置换的BWT压缩算法的改进

BWT算法是目前广泛关注的一种基于块压缩的无损压缩算法。由BWT变换,MTF变换和熵编码三部分组成。本文对其做了具体介绍和分析并在此基础上提出了一种基于LFU缓冲区置换策略的MTF变换的改进方法,实验结果表明改进后的算法使压缩比有所提高。

基于BWT和PPM的XMAC数据无损压缩方法研究

正交多极子阵列声波测井仪(XMAC-II)采集交叉偶极X、Y方向各8个接收器及单极8个接收器的阵列数据,所采用的XTF文件格式使得解释完成后的数据存储要占用大量硬盘空间,因此对阵列声波数据进行有效的编码和压缩,对于减少存储空间、节约企业运行成本具有重要意义。本文在分析声波波列数据特征的基础上,提出了一种将16位二进制数据的高8位和低8位分别编码的无损压缩策略,其中高8位采用部分匹配预测(PPM)编码方式,低8位经过BW变换、前移编码后再采用PPM编码。实验表明,本文方法的压缩率不仅优于传统的Huffman、LZW、RLE等算法,还优于目前流行的WinZip、Bzip2等软件。

基于BWT的DNA序列数值刻画及其应用

生物序列的数值刻画在对生物学数据进行分析方面有着重要的作用。通过对DNA序列的BWT序列进行分块处理,给出了DNA序列的一种7维向量表示,利用correlation函数计算序列之间的相似性,并把这种方法应用到15个物种的β球蛋白基因及12个汉坦病毒的相似性分析中。

基于BWT和对称密钥的加密算法

用Burrows-Wheeler变换(Burrows-Wheeler Transformation,BWT)打乱明文次序,用行程长度编码(Run Length Encoding,RLE)缩小密文体积,然后使用密钥进行XOR运算。这是一种采用对称密钥方案的数据加密算法,具有较强的抗攻击能力。

基于BWT的数据压缩方法研究

由于信息化时代的发展,数据急剧增加,数据压缩是解决数据传输和存储问题的关键。本文讨论的BWT是可逆变换,在某些数据压缩方法中起着核心作用。BWT转换不压缩文本,但是转换后的字符会产生聚集的现象,使得之后的熵编码压缩算法更容易压缩数据。利用这种字符内聚的性质,本文实现了一种利用BWT变换先对数据进行预处理,再结合前移编码、游程编码、Huffman编码的压缩算法对不同类型的数据进行压缩比较,实验结果证明在数据相似性较大的情况下,该算法的压缩率优于WinZip和WinRAR。

BWT中国建筑水展大力推进“绿色建筑节水节能”

近日住房和城乡建设部副部长仇保兴先生在一个水务大会上针对目前城市缺水情况，例如：“全国669座城市中有400座供水不足，110座严重缺水；在32个百万人口以上的特大城市中，有30个长期受缺水困扰。在46个重点城市中，45．6％水质较差，14个沿海开放城市中有9个严重缺水。”提出大力开展节水工作是缓解水资源短缺的重要手段，指出“建筑是城市的基本单元，城市节水要从建筑抓起”。

2016年BWT杯中国精品茶叶冲煮大赛完美收官

为期三天的第二届中国精品茶叶冲煮大赛（BWT杯），于2016年5月7日在中国国际食品和饮料展览会（SIALCHINA）上完美收官。

用BWT压缩

关注开源软件的朋友一定知道bz2压缩格式，bz2的压缩率接近rar(如果是文本文件，压缩率往往大于rar)，它的压缩核心是BWT。那么什么是BWT?BWT如何实现?这些就是本文要解答的问题。