一种最优化的轨迹数据L_(∞)-PLA压缩算法

随着全球定位系统的发展和应用,巨量的轨迹数据被实时收集,给数据的传输、存储和分析带来挑战.基于分段线性近似(piecewise linear approximation,PLA)的数据压缩技术因具有简单直观、压缩存储低和传输快的特点被广泛应用和研究.针对现有轨迹PLA压缩方法不能最优化地在线压缩多维数据的现状,在最大误差限定(maximum error bound,记为L_(∞))下提出多维轨迹数据的最优化PLA压缩问题(记为m DisPLA_(∞)),并给出一种在线MDisPLA算法予以解决.该算法利用“分治-融合”的策略扩展一维最优化PLA算法,以最优化地压缩多维轨迹数据.MDisPLA算法具有线性时间复杂性,可以生成最少的不连续分割,且可以保证生成直线表示的质量,即原始数据点和对应解压缩点之间的同步误差具有上界.通过与基于同步距离锥交(cone intersection using the synchronous Euclidean distance,CISED)的轨迹压缩算法进行理论和实验比较,验证了MDisPLA算法是稳健的,可生成具有保质性的直线表示.MDisPLA算法以更低的内存消耗,较CISED算法提高了14倍左右的处理速度,降低了约48%的分割个数和10.5%的存储个数.MDisPLA算法在保证压缩质量的同时,显著提高了处理速度和降低了存储空间,整体上优于CISED算法.

基于改进多重同步压缩算法的斜拉索时变索力识别

斜拉索时变索力的识别是斜拉桥结构状态评估和健康诊断的重要内容,然而目前此问题尚未得到很好的解决。基于改进多重同步压缩算法和高效脊线提取算法,提出一种斜拉索时变索力识别新方法。该方法利用拉索振动加速度响应获得时频谱,通过提取时频谱中的时频脊线得到拉索的瞬时振动频率,并根据张紧弦理论计算拉索时变索力。通过典型斜拉桥数值案例和拉索试验对该方法的适用性和精度进行验证。结果表明,在数值案例中,在10%噪声水平下时变索力识别平均误差在1.99%以内,最大误差为5.09%;在试验案例中,时变索力识别平均误差在2.52%以内,最大误差为8.77%。初步检验结果证明了所提方法具有较好的识别精度和噪声鲁棒性。

基于ARM的硬件压缩算法在Spark中的性能研究

鲲鹏920 CPU是2021年面世、全球第一款基于7纳米制造工艺的ARM 64位CPU,该CPU内置一个名为KAEzip的硬件加速引擎,其核心是一个硬件压缩算法,能通过硬件提升压缩与解压缩性能.相关研究表明,压缩算法的硬化与传统软件压缩算法相比具备明显性能优势.但大数据领域中的基础性系统软件都无法识别和使用这类算法.因此研究评估硬件压缩算法在大数据环境下的性能,发现揭示制约这类算法性能的关键因素以及可能存在的缺陷具有重要意义.为此,本文首先提出一种基于“生产-消费”模型的Spark任务性能模型,形式化地表示多维资源、压缩算法和Spark任务性能之间的内在关系,从理论上分析揭示出Spark下影响压缩算法性能的关键因素.然后提出一种三层架构支持Spark识别使用硬件压缩算法.这种分层架构为进一步调优硬件压缩算法在Spark中的性能提供了灵活性,也能复用到其他大数据系统软件.在此基础上本文以KAEzip为实验对象,使用经典Spark基准测试程序全面评估它在Spark中的性能,结合性能模型分析挖掘制约KAEzip性能的关键因素与根源.对KAEzip的测试表明:(1)硬件压缩算法可有效提升Spark性能。比如,KAEzip比snappy有最多13.8%的压缩性能优势、最多7%的解压优势和最多5.7%的实际应用场景下的性能优势;(2)磁盘的数据传输率与硬件压缩算法性能之间的不匹配是制约硬件压缩算法性能的重要因素;(3)压缩算法在Spark中的运行机制更易导致CPU的数据处理能力与硬件压缩算法性能不匹配,也制约着硬件压缩算法的性能.测试结果也表明KAEzip在压缩小数据时会导致数据膨胀问题.为此,本文扩展三层架构分析揭示出导致该问题的根源,并结合压缩算法在Spark中的运行机制提出一种优化方法.硬件压缩算法作为压缩算法领域的新研究方向,本文的研究工作不仅可广泛用于优化内置于CPU中的硬件压缩算法在Spark下的性能,也有助于持续演化完善KAEzip和鲲鹏920 CPU.

卫星遥测数据实时压缩算法设计与实现

为了满足多星并行遥测数据处理和海量数据高并发分析的性能需求,便于后续进行数据挖掘、智能预警,本文提出并实现了一种卫星遥测数据实时压缩算法。针对遥测数据的特点,提出了遥测自适应分类方法,采用改进型RLE(Run Length Encoding,行程编码)压缩和增量压缩结合的算法,结合数据库技术,实现了遥测数据的压缩。在某型号卫星研制项目中,采用了该算法进行数据压缩,统计分析表明:该算法起到了很好的压缩效果。

基于关键帧的多媒体视频无损转码压缩算法

传统多媒体视频压缩算法无法准确提取视频转码关键帧,导致视频转码压缩的信噪比与压缩比均偏低。为此提出基于关键帧的多媒体视频无损转码压缩算法。通过视频图像包含的I帧分量信息构建DC缩图。利用相似性度量图像帧中所处不同位置的信息重要性差值,提取关键帧,采取自适应运动补偿方式获取各关键帧的预测残差图和运动向量。采用SPIHT算法量化小波系数及分层编码对其处理,实现多媒体视频无损转码压缩。实验结果表明,上述算法具有较好的查全率、查准率和压缩比,且在不同带宽和分量条件下能够保持较高的信噪比,保证了压缩后的多媒体视频具有良好的清晰度。

基于冗余滤波器剪枝-辅助网络蒸馏混合压缩算法优化

针对师生网络差距过大、教师网络复杂度高时,学生网络对图像分类任务的准确率明显下降的问题,提出了一种基于冗余滤波器剪枝-特征相关性辅助蒸馏混合压缩算法。该算法引入了教师辅助网络,充当师生网络的媒介,有效缩小师生网络差距过大的问题;然后利用冗余滤波器结构化剪枝算法(RFSP),对教师网络和教师辅助网络进行剪枝操作;最后对剪枝后的教师网络进行中间层特征相关性蒸馏,挖掘更多教师网络的特征知识,可以更有效的将信息传递给学生网络。实验结果表明,特征相关辅助网络知识蒸馏(GW_RAKD)与RFSP算法的有效结合,能够进一步提高学生网络对图像分类的准确性。

基于流量分析的XML嵌套数据流无损压缩算法

为避免基体的反复压缩操作,提出一种基于流量分析的XML嵌套数据流无损压缩算法。利用GDDStream算法对高相似度的XML嵌套数据流进行聚类分析,并表述成“簇中心(基体)+个体差异量”形式,分解数据流,完成一次基体压缩;仅对差异量进行压缩,极大减少对基体的反复压缩操作;利用改进LZW算法实现XML嵌套数据流无损压缩。实验结果表明,压缩后不仅数据完整性得到了保证,数据量也大幅减少,数据冗余度降低,与压缩前数据相比,压缩后数据未出现变化,说明压缩算法性能较好。

基于哈希压缩算法的网络流量恶意代码监测方法

传统方法在网络流量恶意代码监测中的应用效果不佳,不仅漏检率高,而且错检率也较高,无法达到预期的高精度监测效果,为此提出基于哈希压缩算法的网络流量恶意代码监测方法。首先,利用Cuckoo沙箱提取网络流量动态应用程序编程接口(Application Programming Interface,API)调用序列,根据API调用序列局部信息熵提取网络流量时间序列特征;其次,利用哈希压缩算法判断提取的时间序列特征与恶意代码熵时间序列特征的相似性,识别出恶意代码;最后,进行实验分析。实验结果表明,设计方法的错检率与漏检率均在1%以内,优于对照组。

分布式光纤桩基检测里特征点压缩算法的应用研究

在开展桩基分布式检测工作时,常常用布里渊散射光时域反射技术(BOTDR)测量桩基,对数据的平滑去噪处理,是此工作中重要的一步。以某桩基为例子,借助特征点压缩算法,对检测数据进行平滑去噪处理,分析这种数据处理方法的特点和在实际中的应用效果。研究结果表明:数据的去噪会受到压缩算法的特征点阈值影响,参数的选择应结合实际情况和具体数据来确定;以不同的指标对平滑处理效果进行分析时,得出的压缩算法最优次数也不同;从摩阻力和轴力分布图来看,实际应用效果和桩体荷载传递规律以及国家相关规范基本一致,可以将荷载作用下桩体的实际受力情况准确地反映出来,效果良好。

多媒体数据压缩算法及其实现研究

信息化发展突飞猛进,多媒体技术在各行各业得到了广泛应用。多媒体数据所占空间相对较大、传输速度慢。为了保证多媒体数据能够在较短的时间内被高效地传输,必须将其压缩成一定大小。目前,我国存在着大量的多媒体数据信息,数据信息海量性已成为数据传输存在的主要障碍。因此,如何在保证数据安全的前提下提高压缩率,已成为当前计算机领域研究的热点问题之一。随着多媒体技术不断发展和成熟,人们逐渐意识到在多媒体信息服务中引入数据压缩这一关键技术具有非常重要的意义。

控制图象灰度失真的高保真压缩算法

为实现遥感图象的高保真压缩 ,在借鉴 JPEG- L S近无损压缩思想的基础上 ,提出了 3项改进措施 ,设计与实现了比 JPEG- L S压缩倍数高、图象恢复质量更好的视觉无失真压缩算法——“控制图象灰度失真的高保真压缩算法 (L IGE)”.实验结果表明 ,该算法既可限制图象最大灰度误差 ,又能控制恢复图象的峰值信噪比 ,从而有效地控制图象失真度 ,压缩倍数为 4时 ,数据处理速度与图象恢复质量两方面 ,均优于基于小波变换和嵌入式零树编码的 SPIHT算法 .该研究成果将对发展我国未来的高分辨率卫星、小卫星通信系统、星 -天 -地信息网提供有力的技术支撑 .

几种常用无损数据压缩算法研究

随着网络承载的信息量的飞速增长,数据压缩必然会备受人们重视。数据压缩可分成两种类型,一种叫做无损压缩,另一种叫做有损压缩。文中主要介绍目前用得最多和技术最成熟的无损数据压缩技术,按照无损压缩方法采用的压缩技术的不同,从基于统计的压缩思想和基于字典的压缩思想两个方面对其中最具有代表性的无损数据压缩方法进行了详细的分类讨论和优缺点比较,并对基于字典压缩算法的一些成熟的改进算法进行了汇总介绍,便于对无损数据压缩技术感兴趣的同志学习参考。

基于斜面模型图像分割的改进JPEG图像压缩算法

基于Haralick斜面模型进行图像分割,提出了一种改进JPEG图像压缩算法.该算法考虑了图像中存在不同的区域,针对图像分割后得到的不同区域进行程度不同的压缩.实验结果表明,在相同的编码比特率下,重构图像质量要优于传统的JPEG压缩算法.

红外图像动态范围压缩算法研究综述

红外图像的动态范围压缩是红外图像可视化研究领域的重要研究方向。红外图像的动态范围压缩算法将直接决定原始红外图像的细节保留、整体观感等重要可视化指标,某种意义上也可以说是细节增强的基础及保障。基于此,本文调研了当前主流的宽动态红外图像的动态范围压缩算法,将其分为基于全局压缩算法和基于局部压缩算法两大类,并对这两类算法的核心思想、发展过程及优缺点分别进行研究分析并提出了改进方向及发展趋势,为相关研究者提供参考。

文物监测中无线传感器网络数据压缩算法

文物监测数据具有结构单一、冗余性大、误差高容忍度的特点,使得无线传感器网络中现有的数据压缩算法在文物监测中显得计算复杂度高、计算能耗大.将轻计算量型的SDT(Swing Door Trending)算法应用到无线传感器网络的文物监测中并作了改进,分析了大规模情况下数据压缩和网络能耗之间的关系,将改进的SDT算法与目前无线传感器网络中有代表性的分布式小波压缩算法进行比较.实验表明,改进的SDT计算能耗较分布式小波压缩算法的能耗少73%,在压缩率小于25%时,改进的SDT压缩算法性能可与分布式小波压缩算法媲美.在长期、大规模的文物监测下,改进的SDT算法更适合于无线传感器网络数据压缩.

广域测量系统数据在线无损压缩算法

广域测量系统(wide-area measurement system,WAMS)中,相量测量装置(phasor measurement unit,PMU)上传数据频率为100Hz,存储占用空间和写入速度对系统要求很高。旋转门(swing door trending,SDT)压缩算法在保留原始数据足够精度的条件下,压缩效率低,Huffman编码压缩计算时间长,难以适应WAMS实时数据的采样速度。文中给出了一种WAMS实时数据在线压缩算法:对原始数据做初等变换,只保存过程数据的增量,浮点(float)型数据分解为单字节存取,用改进的LZW(Lemple-Ziv-Welch)算法实现WAMS过程数据的在线无损压缩。6000个连续实时数据压缩计算时间为16ms,压缩比小于30%,可以满足电力系统分析计算对过程数据的要求。工程实践表明,该算法有效可靠,可满足WAMS实时数据的存储要求。

基于稀疏矩阵存储的状态表压缩算法

正则表达式匹配对于网络安全应用至关重要。将稀疏矩阵和索引表引入确定的有限自动机的状态转换表,提出了一种稀疏矩阵索引的状态压缩表算法,并给出了稀疏矩阵和索引表的构造方法。而后同字母压缩表算法结合,给出了该算法的优化策略。最后在实际规则集上进行评估,实验结果证明了算法的压缩效果,并进一步得出了算法的适用范围。

应用行程编码的航天器分包遥测压缩算法研究

针对航天器延时遥测存储数据量较大的问题,提出了一种应用行程编码(RLE)的分包遥测压缩算法。根据遥测数据的特点,对压缩算法进行改进,使压缩效果得到进一步提升。此外,对压缩数据生成符合空间数据系统咨询委员会(CCSDS)标准的分包遥测机制进行了阐述。对某卫星的试验表明,使用改进后的压缩算法,能够获得6.11倍的遥测压缩比,可提高延时遥测采样频率,增加航天器在境外的可用遥测数据量。

一种支持ANSI编码的中文文本压缩算法

该文提出了一种高效的中文文本压缩算法CRecode,算法根据中文文本中字词的概率分布特点,对中文字词根据其使用频率,采用8bit、16bit和24bit三种长度的编码重新编码,克服了Huffman编码在压缩中文数据时打乱数据中蕴含的语义信息,致使其压缩数据再压缩性差的缺点。测试中,CRecode在与现有主流压缩软件联合使用时,可提高压缩率4%到30%,最大平均压缩比可达2.86。CRecode作为独立压缩算法,压缩中文文本时可获得优于Huffman编码、接近于LZ系列算法的性能。