基于多头注意力与双向门控循环单元的数据无损压缩方法

为解决数据归档存储场景中出现的物理存储成本增长和数据库内存紧张等问题,本文提出一种基于注意力机制与双向门控循环单元的数据无损压缩方法,采用Transformer和双向门控循环单元作为概率预测器,输出数据流的条件概率分布,结合自适应算术编码器对数据进行压缩。实验对比结果表明,本文所提方法相较于算术编码和基于字典模型的LZW这两种传统无损压缩方法,压缩率分别平均提升约28.8%和7.8%;相较于Cmix v19和NNCP两种深度学习方法,平均压缩率分别降低0.4%和0.2%,但平均压缩时间分别约为其5.1%和39.4%。

基于CAN的数据无损代码更新方法设计与应用

为了提高车载设备在复杂工作环境下固件升级的稳定性及可靠性,深入分析并研究bootloader机制,以汽车无刷直流电机控制器为载体,提出了一种基于CAN总线通信方式的数据无损代码更新方法。将上位机解析后的用户应用程序以链表队列的方式存储并根据数据无损的BLC通信协议通过CAN总线发送给控制器,控制器结合数据无损的代码备份和Flash加密机制实现用户代码的更新和错误回退等功能。实验结果表明,本设计方法具有很强的容错能力,可实现20 Hz以下的数据无损代码更新,并为其他复杂工作环境下的产品提供了一种固件升级的新思路。

数据无损的远程代码更新的设计与研究

为解决基于GPRS的传统无线远程代码更新时数据采集大量丢失的问题,分析研究bootloader机制,提出一种分段式接收远程代码并集中更新的设计方案。基于Arm Cortex M4内核,结合GPRS透明传输技术,依托于用户应用程序,分段接收远程代码并存储于SD卡中,由特制的bootloader读取SD卡内容,完成代码更新,缩减代码更新过程中屏蔽数据采集的时间。实验结果表明,该方案可实现2HZ以下数据采集无丢失的代码更新。

基于BWT和PPM的XMAC数据无损压缩方法研究

正交多极子阵列声波测井仪(XMAC-II)采集交叉偶极X、Y方向各8个接收器及单极8个接收器的阵列数据,所采用的XTF文件格式使得解释完成后的数据存储要占用大量硬盘空间,因此对阵列声波数据进行有效的编码和压缩,对于减少存储空间、节约企业运行成本具有重要意义。本文在分析声波波列数据特征的基础上,提出了一种将16位二进制数据的高8位和低8位分别编码的无损压缩策略,其中高8位采用部分匹配预测(PPM)编码方式,低8位经过BW变换、前移编码后再采用PPM编码。实验表明,本文方法的压缩率不仅优于传统的Huffman、LZW、RLE等算法,还优于目前流行的WinZip、Bzip2等软件。

Oracle数据库批量数据无损迁移技术

本文对Oracle数据库的基本情况进行介绍,从批量数据同步与传输方面介绍了Oracle数据库批量数据无损迁移技术,并为Oracle数据库迁移提出优化的方案和技术,以期为数据库管理员等相关工作人员提供有益的借鉴和参考。

LZW数据无损压缩算法的C++实现

本文简要介绍了一种非常巧妙且非常简洁易读的数据无损压缩算法(LZW),并采用C++/OOP编程技术完整实现了该压缩算法,提供了多种函数调用接口。本文代码采用了哈希表检索、函数闭包、自释放动态数组等多种编程技术,代码执行速度很快,而且思想清晰明了,很容易读懂,不仅可以帮助读者迅速理解该压缩算法的原理,还可以作为读者在C++编程方面的参考资料。

基于熵降变换的电力远动通信数据无损压缩算法

由于传统的电力远动通信数据无损压缩算法,在进行电力远动通信数据无损压缩时对数据的传输与存储困难度高,因此数据压缩率低。针对这一问题,提出基于熵降变换的电力远动通信数据无损压缩算法。首先,确定无损压缩的理论极限熵,再通过电力远动通信数据离散余弦变换,计算出基于熵降变换的线性拟合压缩特征值,从而完成电力远动通信数据无损压缩。最后通过实验证明基于熵降变换的电力远动通信数据无损压缩算法可以提高电力远动通信数据无损压缩的压缩率,实现电力远动通信数据无损压缩。

水声通信数据无损压缩方法的对比研究

为了选择适合水声通信数据无损压缩的算法,对哈夫曼压缩算法和LZ77压缩算法进行了对比研究。通过C语言编程实现两种算法的压缩,并利用水声通信数据获得压缩结果。对两种算法的压缩率和压缩效率对比分析之后,得出结论:对于水声信号,使用哈夫曼算法将获得更好的压缩率和压缩速率。尤其是哈夫曼算法的压缩速率远远优于LZ77算法。

网络通信中oracle数据库无损迁移技术研究

目前关系型数据库无损迁移技术由于缺乏对敏感字段的有效处理,导致迁移效率较低。对此,提出网络通信中oracle数据库无损迁移技术研究。提出数据迁移之前需要做的准备工作,包括数据库的参数检查等,提高迁移的成功率。对批量数据进行同步处理,利用触发器对数据变化特征进行提取。采用DES算法对敏感字段进行加密,减少迁移所需的时间。最后构建出数据无损迁移模型,实现对网络通信中oracle数据库的有效迁移。在实验中,对提出的数据无损迁移技术进行了迁移效率的检验,经实验分析证明,利用提出的技术对oracle数据库中的数据进行迁移时,耗费的时间较少,具有较高的迁移效率。

基于SDES和双轮差错控制的大数据集成安全系统

针对大数据传输中的数据机密性、完整性和数据丢失等问题,提出一种基于简化数据加密标准(Simplified Data Encryption Standard,SDES)和双轮差错控制的大数据集成安全系统。使用SDES加密算法生成加密字符串,并设计意外数据丢失备份系统以提高机密性和防止意外数据丢失。基于双轮差错控制以较低的空间开销控制传输过程中包含的任意数量的离散或连续错误位,基于固定长度编码(Fixed Length Coding,FLC)的无损压缩技术来减少数据开销。该算法具有较高的AE值、熵和压缩百分比,具有提供更高的数据机密性和完整性的潜力。

基于直接拥塞通告的数据中心无损网络传输控制机制

数据中心网络广泛采用基于优先级的流量控制(Priority-based Flow Control,PFC)机制来避免因缓存溢出而丢包.然而,PFC机制在保证无损传输的同时带来了队头阻塞和拥塞扩散等负面影响.近年来,一些具备端到端拥塞感知能力的传输控制协议被提出来,有效缓解了网络拥塞,减少了PFC的触发.但是在突发流量造成的瞬时拥塞场景下,这些研究工作仍会使得PFC频繁触发而导致严重的队头阻塞和拥塞扩散.针对该问题,在端到端拥塞控制基础上,提出了一种实现于交换机上的直接拥塞通告解决方案(Direct COngestion Notification,DCON),该方案在突发拥塞场景下能及时识别出与非拥塞流(与造成拥塞无关的流)共享入端口的拥塞流(真正造成拥塞的流),并从交换机直接通告发送端对该拥塞流精确地降速.实验结果表明,相比于现有的端到端拥塞控制传输协议,DCON有效避免了PFC的队头阻塞和拥塞扩散,平均流完成时间的最大降幅达到55%.

机械振动无线传感网络数据分块无损压缩方法

针对目前机械振动无线传感器网络数据无损压缩方法效率低的问题,提出一种数据分块无损压缩方法,该方法主要由数据分割和数据编码组成。传感器网络节点首先对采集的振动数据进行分块处理,利用子带能量自适应量化方法压缩原始数据,以量化压缩数据完成对原始信号的预测;然后将量化数据还原,计算预测差值矩阵;最后,采用线性预测、自适应零游程编码和Range编码对量化压缩数据和差值矩阵进行编码,进一步去除数据冗余。将提出的数据分块无损压缩方法的压缩性能与其他无损压缩方法进行对比,实验结果表明该方法能在资源受限的无线传感器网络节点上有效实现机械振动信号的无损压缩。

一种基于测井数据特征的无损压缩方法

在有限的传输带宽下传输组合测井、成像测井数据,传输率受到限制.提出了一种基于测井数据特征的无损压缩方法,该方法可对测井数据进行压缩后再传输到地面,有效地提高了数据传输效率.描述了压缩方案、压缩处理及算法设计.对不同的数据类型用不同的压缩方法进行压缩,对其压缩率进行了对比.结果表明,采用帧相关压缩的压缩率最高,其他通用压缩方法因为没有基于测井数据特征压缩率较小;第一类数据的压缩率明显较大,组合测井的数据次之,成像测井数据的压缩率最小;压缩率随着压缩数据的增大而略有增大.

基于滤波器组的ECG无损数据压缩技术

本文提出了一种基于整 整映射滤波组的数据无损压缩算法和优化编码方案。以MIT BIH心律失常数据库为基础 ,通过多级整 整变换把心电信号 (ECG)分解成在不同频带上的频率成分 ,然后对分解后的变换数据作统计分析 ,按空间优化和速度优化并重的原则 ,提出一种适合ECG无损压缩的优化编码方法。用MIT BIH(采样率为 36 0Hz)数据库测试表明该算法的平均数据无损压缩率为 2 .5 2 ,平均解码次数为 1.375 ,,其中 72 %的数据仅需一次解码。这种数据无损压缩算法可用于开发更高性能的Holter系统。

数据无损压缩算法探索——函数运算压缩法

通常的无损压缩算法,大多最多只能达到30%左右的压缩率.旨在提出一个新的压缩算法—函数运算压缩法,使数据的无损压缩率可以达到理想的程度(理论上讲可达千分之几,万分之几,甚至更高).

矢量地图的无损数据隐藏算法研究

在矢量地图中隐含水印信息,地图数据的质量往往由于水印的嵌入而受到影响。可逆水印技术(又称无损数据隐藏)具有完整恢复载体数据的能力,因而更加适用于矢量地图。基于差值扩大的思想,提出了一种应用于矢量地图的无损数据隐藏算法。算法根据矢量地图对数据精度的特殊要求提出了相应的水印嵌入条件,并通过修改地图中相邻顶点坐标间的差值来嵌入水印信息。水印的提取过程不仅能够得到隐藏信息,而且能够准确无误地恢复原始地图数据。采用两类地图进行实验,实验结果表明,算法在具有较强坐标相关性的地图中具有较高的嵌入容量,并且引入较低的扰动。算法的应用前景包括矢量地图数据的篡改鉴别、元数据格式兼容以及基于矢量地图的隐藏通信。

基于直方图调整的二值图像无损数据隐藏

提出一种基于游程编码的直方图调整的二值图像无损数据隐藏新方法。选择长度不小于阈值T1的游程对序列,先进行去除长度为1的白游程操作,然后在长度为T的黑游程处嵌入数据。该方法可以适应文字、图表以及文字和图表的混合图像,也可以适应半色调和非半色调图像。实验表明,该方法在嵌入容量和视觉效果都优于已有的方法。

基于整数小波直方图间隙的无损数据隐藏

在整数小波和直方图调整技术的基础上,提出了小波直方图间隙的方法。将数据嵌入到小波的高频子带系数中,符合人的视觉系统。通过迭代在小波系数直方图中不断形成间隙的方法,将数据嵌入到间隙中去,而直方图调整技术则解决了该方法的溢出问题。实验表明该方法在相同的视觉效果下比其他方法能获得更高的嵌入容量,在相同的嵌入容量时能维持更好的视觉效果。

卫星遥感图像的鲁棒无损数据隐藏传输算法

提出一种基于整数离散余弦变换(Int DCT)域的鲁棒无损数据隐藏算法。先对载体图像进行预处理来构建适合信息嵌入的载体,并将无损隐藏的思想引入到预处理中用以存储可恢复原载体图像的信息。为兼顾鲁棒性和图像质量,算法通过修改载体图像Int DCT域高频系数的直方图修改来完成秘密信息的嵌入;最后,与以往算法不同,为保证遥感图像的质量,给出了接收端在含密图像未失真和失真情况下载体恢复的方法。实验结果表明,本文所提出的算法能有效抵抗压缩攻击,并具有良好的图像质量和较大的容量。与以往算法相比,本文算法在性能方面具有明显的优势。

基于小波压缩扩展技术的无损图象数据隐藏

文章提出了一种基于小波域压缩扩展技术的无损图象数据隐藏方法。该方法先对图象作整数小波变换;随后使用压缩扩展技术在小波高频子带系数上嵌入数据。小波高频系数的拉普拉斯分布特性不但便利了压缩扩展函数的选择,而且使嵌入较大容量数据后的水印图象仍保持良好的视觉效果。实验结果表明,该方法无论在嵌入容量上还是嵌入数据后的图象视觉效果上,均达到当前世界上最好水平。