基于邻接矩阵全文索引模型的文本压缩技术

基于不定长单词的压缩模型的压缩效率高于基于字符的压缩模型 ,但是它的最优符号集的寻找算法是NP完全问题 ,本文提出了一种基于贪心算法的计算最小汉字平均熵的方法 ,发现一个局部最优的单词表。这种方法的关键是将文本的邻接矩阵索引作为统计基础 ,邻接矩阵全文索引是论文 [9]提出的一种新的全文索引模型 ,它忠实地反映了原始文本 ,很利于进行原始文本的初步统计 ,因此算法效率得以提高 ,其时间复杂度与文本的汉字种数成线性关系 ,能够适应在线需要。并且 ,算法生成的压缩模型的压缩比是 0 4 7,比基于字的压缩模型的压缩效率提高 2 5 %。

采用多级查找表的定/变长解码引擎

本文讨论了采用查找表的ＰＶＬＤ的设计和优化，并推导出求ＬＵＴ表项数的具体公式．同时，本文在充分考查了ＦＬＤ和ＶＬＤ的内部联系的基础上，设计了一种定／变长引擎，利用其中的两个桶形移位器，将定长解码器和变长解码器统一在同一电路中，可根据需要解相应长度的定长码或变长码，而且还能处理具有多个Ｈｕｆｆｍａｎ变长码表的情况．本文最后给出了实验结果．