一种最优化的轨迹数据L_(∞)-PLA压缩算法

随着全球定位系统的发展和应用,巨量的轨迹数据被实时收集,给数据的传输、存储和分析带来挑战.基于分段线性近似(piecewise linear approximation,PLA)的数据压缩技术因具有简单直观、压缩存储低和传输快的特点被广泛应用和研究.针对现有轨迹PLA压缩方法不能最优化地在线压缩多维数据的现状,在最大误差限定(maximum error bound,记为L_(∞))下提出多维轨迹数据的最优化PLA压缩问题(记为m DisPLA_(∞)),并给出一种在线MDisPLA算法予以解决.该算法利用“分治-融合”的策略扩展一维最优化PLA算法,以最优化地压缩多维轨迹数据.MDisPLA算法具有线性时间复杂性,可以生成最少的不连续分割,且可以保证生成直线表示的质量,即原始数据点和对应解压缩点之间的同步误差具有上界.通过与基于同步距离锥交(cone intersection using the synchronous Euclidean distance,CISED)的轨迹压缩算法进行理论和实验比较,验证了MDisPLA算法是稳健的,可生成具有保质性的直线表示.MDisPLA算法以更低的内存消耗,较CISED算法提高了14倍左右的处理速度,降低了约48%的分割个数和10.5%的存储个数.MDisPLA算法在保证压缩质量的同时,显著提高了处理速度和降低了存储空间,整体上优于CISED算法.

基于改进多重同步压缩算法的斜拉索时变索力识别

斜拉索时变索力的识别是斜拉桥结构状态评估和健康诊断的重要内容,然而目前此问题尚未得到很好的解决。基于改进多重同步压缩算法和高效脊线提取算法,提出一种斜拉索时变索力识别新方法。该方法利用拉索振动加速度响应获得时频谱,通过提取时频谱中的时频脊线得到拉索的瞬时振动频率,并根据张紧弦理论计算拉索时变索力。通过典型斜拉桥数值案例和拉索试验对该方法的适用性和精度进行验证。结果表明,在数值案例中,在10%噪声水平下时变索力识别平均误差在1.99%以内,最大误差为5.09%;在试验案例中,时变索力识别平均误差在2.52%以内,最大误差为8.77%。初步检验结果证明了所提方法具有较好的识别精度和噪声鲁棒性。

基于ARM的硬件压缩算法在Spark中的性能研究

鲲鹏920 CPU是2021年面世、全球第一款基于7纳米制造工艺的ARM 64位CPU,该CPU内置一个名为KAEzip的硬件加速引擎,其核心是一个硬件压缩算法,能通过硬件提升压缩与解压缩性能.相关研究表明,压缩算法的硬化与传统软件压缩算法相比具备明显性能优势.但大数据领域中的基础性系统软件都无法识别和使用这类算法.因此研究评估硬件压缩算法在大数据环境下的性能,发现揭示制约这类算法性能的关键因素以及可能存在的缺陷具有重要意义.为此,本文首先提出一种基于“生产-消费”模型的Spark任务性能模型,形式化地表示多维资源、压缩算法和Spark任务性能之间的内在关系,从理论上分析揭示出Spark下影响压缩算法性能的关键因素.然后提出一种三层架构支持Spark识别使用硬件压缩算法.这种分层架构为进一步调优硬件压缩算法在Spark中的性能提供了灵活性,也能复用到其他大数据系统软件.在此基础上本文以KAEzip为实验对象,使用经典Spark基准测试程序全面评估它在Spark中的性能,结合性能模型分析挖掘制约KAEzip性能的关键因素与根源.对KAEzip的测试表明:(1)硬件压缩算法可有效提升Spark性能。比如,KAEzip比snappy有最多13.8%的压缩性能优势、最多7%的解压优势和最多5.7%的实际应用场景下的性能优势;(2)磁盘的数据传输率与硬件压缩算法性能之间的不匹配是制约硬件压缩算法性能的重要因素;(3)压缩算法在Spark中的运行机制更易导致CPU的数据处理能力与硬件压缩算法性能不匹配,也制约着硬件压缩算法的性能.测试结果也表明KAEzip在压缩小数据时会导致数据膨胀问题.为此,本文扩展三层架构分析揭示出导致该问题的根源,并结合压缩算法在Spark中的运行机制提出一种优化方法.硬件压缩算法作为压缩算法领域的新研究方向,本文的研究工作不仅可广泛用于优化内置于CPU中的硬件压缩算法在Spark下的性能,也有助于持续演化完善KAEzip和鲲鹏920 CPU.

卫星遥测数据实时压缩算法设计与实现

为了满足多星并行遥测数据处理和海量数据高并发分析的性能需求,便于后续进行数据挖掘、智能预警,本文提出并实现了一种卫星遥测数据实时压缩算法。针对遥测数据的特点,提出了遥测自适应分类方法,采用改进型RLE(Run Length Encoding,行程编码)压缩和增量压缩结合的算法,结合数据库技术,实现了遥测数据的压缩。在某型号卫星研制项目中,采用了该算法进行数据压缩,统计分析表明:该算法起到了很好的压缩效果。

基于关键帧的多媒体视频无损转码压缩算法

传统多媒体视频压缩算法无法准确提取视频转码关键帧,导致视频转码压缩的信噪比与压缩比均偏低。为此提出基于关键帧的多媒体视频无损转码压缩算法。通过视频图像包含的I帧分量信息构建DC缩图。利用相似性度量图像帧中所处不同位置的信息重要性差值,提取关键帧,采取自适应运动补偿方式获取各关键帧的预测残差图和运动向量。采用SPIHT算法量化小波系数及分层编码对其处理,实现多媒体视频无损转码压缩。实验结果表明,上述算法具有较好的查全率、查准率和压缩比,且在不同带宽和分量条件下能够保持较高的信噪比,保证了压缩后的多媒体视频具有良好的清晰度。

基于冗余滤波器剪枝-辅助网络蒸馏混合压缩算法优化

针对师生网络差距过大、教师网络复杂度高时,学生网络对图像分类任务的准确率明显下降的问题,提出了一种基于冗余滤波器剪枝-特征相关性辅助蒸馏混合压缩算法。该算法引入了教师辅助网络,充当师生网络的媒介,有效缩小师生网络差距过大的问题;然后利用冗余滤波器结构化剪枝算法(RFSP),对教师网络和教师辅助网络进行剪枝操作;最后对剪枝后的教师网络进行中间层特征相关性蒸馏,挖掘更多教师网络的特征知识,可以更有效的将信息传递给学生网络。实验结果表明,特征相关辅助网络知识蒸馏(GW_RAKD)与RFSP算法的有效结合,能够进一步提高学生网络对图像分类的准确性。

基于流量分析的XML嵌套数据流无损压缩算法

为避免基体的反复压缩操作,提出一种基于流量分析的XML嵌套数据流无损压缩算法。利用GDDStream算法对高相似度的XML嵌套数据流进行聚类分析,并表述成“簇中心(基体)+个体差异量”形式,分解数据流,完成一次基体压缩;仅对差异量进行压缩,极大减少对基体的反复压缩操作;利用改进LZW算法实现XML嵌套数据流无损压缩。实验结果表明,压缩后不仅数据完整性得到了保证,数据量也大幅减少,数据冗余度降低,与压缩前数据相比,压缩后数据未出现变化,说明压缩算法性能较好。

多媒体数据压缩算法及其实现研究

信息化发展突飞猛进,多媒体技术在各行各业得到了广泛应用。多媒体数据所占空间相对较大、传输速度慢。为了保证多媒体数据能够在较短的时间内被高效地传输,必须将其压缩成一定大小。目前,我国存在着大量的多媒体数据信息,数据信息海量性已成为数据传输存在的主要障碍。因此,如何在保证数据安全的前提下提高压缩率,已成为当前计算机领域研究的热点问题之一。随着多媒体技术不断发展和成熟,人们逐渐意识到在多媒体信息服务中引入数据压缩这一关键技术具有非常重要的意义。

基于哈希压缩算法的网络流量恶意代码监测方法

传统方法在网络流量恶意代码监测中的应用效果不佳,不仅漏检率高,而且错检率也较高,无法达到预期的高精度监测效果,为此提出基于哈希压缩算法的网络流量恶意代码监测方法。首先,利用Cuckoo沙箱提取网络流量动态应用程序编程接口(Application Programming Interface,API)调用序列,根据API调用序列局部信息熵提取网络流量时间序列特征;其次,利用哈希压缩算法判断提取的时间序列特征与恶意代码熵时间序列特征的相似性,识别出恶意代码;最后,进行实验分析。实验结果表明,设计方法的错检率与漏检率均在1%以内,优于对照组。

分布式光纤桩基检测里特征点压缩算法的应用研究

在开展桩基分布式检测工作时,常常用布里渊散射光时域反射技术(BOTDR)测量桩基,对数据的平滑去噪处理,是此工作中重要的一步。以某桩基为例子,借助特征点压缩算法,对检测数据进行平滑去噪处理,分析这种数据处理方法的特点和在实际中的应用效果。研究结果表明:数据的去噪会受到压缩算法的特征点阈值影响,参数的选择应结合实际情况和具体数据来确定;以不同的指标对平滑处理效果进行分析时,得出的压缩算法最优次数也不同;从摩阻力和轴力分布图来看,实际应用效果和桩体荷载传递规律以及国家相关规范基本一致,可以将荷载作用下桩体的实际受力情况准确地反映出来,效果良好。

一种支持ANSI编码的中文文本压缩算法

该文提出了一种高效的中文文本压缩算法CRecode,算法根据中文文本中字词的概率分布特点,对中文字词根据其使用频率,采用8bit、16bit和24bit三种长度的编码重新编码,克服了Huffman编码在压缩中文数据时打乱数据中蕴含的语义信息,致使其压缩数据再压缩性差的缺点。测试中,CRecode在与现有主流压缩软件联合使用时,可提高压缩率4%到30%,最大平均压缩比可达2.86。CRecode作为独立压缩算法,压缩中文文本时可获得优于Huffman编码、接近于LZ系列算法的性能。

一种无失真图像数据压缩算法

提出一种无失真图像数据压缩算法 ,克服了传统数据压缩算法中的一些弊端 ,通过增加相同数据出现的长度和概率 ,达到比RLE更理想的压缩比的目的 ,同时还具有算法简单。

压缩算法在GSM-R分组域数据传输中的应用研究

大量铁路应用业务使用GPRS实现车地之间的数据通信,对GPRS资源的竞争问题十分突出。对游程编码、哈夫曼编码、算术编码、LZSS算法、LZW算法等压缩方法进行研究,通过现场实验,对无线车次号校核信息、调度命令信息、列控动态监测信息等业务数据的压缩效果进行对比分析。

由行程编码改进的一种通用性压缩算法

通过对行程编码(Run Length Encoding)的算法分析,提出了一种改进的无损压缩算法.该算法主要思路是:首先设定一个初始阈值,顺序扫描数据并记下最大值和最小值;当最大值和最小值的差值超过该阈值时,适当增大阈值;当差值不超过限定值时,将数据进行分段,根据实际情况对各分段数据采用本文介绍的差值编码或自然编码.解码过程中,根据包含最小值、起始位置、结束位置和该数据段需要的编码位数的信息文件和包含该段原始数据和最小值之间差值的差值文件还原数据.通过实例的测试和比较,给出了压缩效果公式,证明此算法比传统RLE算法的压缩效果更有效.

广域测量系统数据在线无损压缩算法

广域测量系统(wide-area measurement system,WAMS)中,相量测量装置(phasor measurement unit,PMU)上传数据频率为100Hz,存储占用空间和写入速度对系统要求很高。旋转门(swing door trending,SDT)压缩算法在保留原始数据足够精度的条件下,压缩效率低,Huffman编码压缩计算时间长,难以适应WAMS实时数据的采样速度。文中给出了一种WAMS实时数据在线压缩算法:对原始数据做初等变换,只保存过程数据的增量,浮点(float)型数据分解为单字节存取,用改进的LZW(Lemple-Ziv-Welch)算法实现WAMS过程数据的在线无损压缩。6000个连续实时数据压缩计算时间为16ms,压缩比小于30%,可以满足电力系统分析计算对过程数据的要求。工程实践表明,该算法有效可靠,可满足WAMS实时数据的存储要求。

应用行程编码的航天器分包遥测压缩算法研究

针对航天器延时遥测存储数据量较大的问题,提出了一种应用行程编码(RLE)的分包遥测压缩算法。根据遥测数据的特点,对压缩算法进行改进,使压缩效果得到进一步提升。此外,对压缩数据生成符合空间数据系统咨询委员会(CCSDS)标准的分包遥测机制进行了阐述。对某卫星的试验表明,使用改进后的压缩算法,能够获得6.11倍的遥测压缩比,可提高延时遥测采样频率,增加航天器在境外的可用遥测数据量。

关于Lempel－Ziv 77压缩算法及其实现的研究

本文在研究著名的ＬＺ７７压缩算法的基础上，讨论了对这一算法的种种改进。新的算法同样适用于任何类型的数据文件，而且无论是压缩速度还是压缩效率均好于ＬＺ７７算法。我们的算法所用到的工作缓冲区是一个循环缓冲区，不再包括一个输入符号超前缓冲区；结果，匹配过程是边接收输入边进行，无需等待一组输入数据填满超前缓冲区才开始，同时，最大匹配长度也不再受超前缓冲区大小的限制，而且，避免了大量的平移工作缓冲区的操作。另外，还涉及一些其他方面的改进，主要包括改等长压缩码为变长码和引入匹配位置滑动表技术等。本文详细讨论了各种改进及其对算法性能的影响。

基于压缩算法的存取式多秘密视觉密码

依据多幅秘密图像的像素组合与基矩阵之间的映射关系,该文分析了目前存取式多秘密视觉密码存在的冗余基矩阵问题,提出了一种减小基矩阵规模的压缩算法。该算法以一列像素为处理单元,且满足秘密图像的整体对比性。在此基础上,设计了新的存取式多秘密视觉密码的秘密分享与恢复流程。与现有的方案相比,该方案能够有效减小共享份的尺寸,且对于简单图像的压缩效果更加明显。

文物监测中无线传感器网络数据压缩算法

文物监测数据具有结构单一、冗余性大、误差高容忍度的特点,使得无线传感器网络中现有的数据压缩算法在文物监测中显得计算复杂度高、计算能耗大.将轻计算量型的SDT(Swing Door Trending)算法应用到无线传感器网络的文物监测中并作了改进,分析了大规模情况下数据压缩和网络能耗之间的关系,将改进的SDT算法与目前无线传感器网络中有代表性的分布式小波压缩算法进行比较.实验表明,改进的SDT计算能耗较分布式小波压缩算法的能耗少73%,在压缩率小于25%时,改进的SDT压缩算法性能可与分布式小波压缩算法媲美.在长期、大规模的文物监测下,改进的SDT算法更适合于无线传感器网络数据压缩.