基于目标特征的数据压缩预处理方法

随着水下自动监测技术的不断发展,对于数据的实时传输效率和测量精度的要求也越来越高,而高质量无损数据压缩传输技术还存在严重不足。文章利用在广西西江航道上建立的侧扫声呐船舶吃水自动监测系统,提出了一种基于目标特征的数据压缩预处理方法。该方法根据散货船的船体结构和声图成像特点,在进行数据压缩前分别在时间和空间两个维度上实现对目标信号的识别和提取,完成对无关冗余数据的剔除。该预处理方法不仅可以大幅提高数据压缩的压缩比,提高传输效率,节省存储空间,还可以保证用于测量计算的目标关键特征信息不丢失,为进一步突破无损数据压缩的压缩比限制提供新思路。

基于北斗三号短报文的共视数据压缩传输方法

共视时间比对通过交换两地共视数据完成远距离高精度的时间比对。针对无地面通信网地区,本文提出了一种基于北斗短报文的共视数据压缩传输方法,该方法通过将共视数据进行压缩,利用北斗的短报文功能对压缩后的共视数据进行实时传输,在无地面通信网的地区进行了共视时间比对试验。试验结果表明,本文设计的共视数据压缩方法具有较好的压缩效果,可以通过北斗短报文实现无地面通信网的情况下的实时共视时间比对。

气象信息网络传输中数据压缩与传输效率优化研究

气象信息传输是气象监测的前提,气象监测对气象数据的准确性、实时性等要求严格。面对海量气象数据,必须对数据进行有效压缩与传输,才能发挥气象信息数据的价值。以气象信息网络传输中的数据压缩与传输效率优化为中心,运用理论研究法与文献分析法拓展数据压缩与传输效率优化路径,以期为未来工作研究提供参考。

基于IMU模块的数据压缩系统设计

随着信息社会的发展,日常交互的信息量逐渐增加,数据压缩技术受到了日益广泛的关注。然而传统的数据压缩技术,通常为有损压缩,即在解压后会存在数据丢失的现象,并且在压缩与解压缩的过程中需要损耗大量时间,大大增加了系统运行的资源成本。为了解决上述问题,提出了一种基于IMU模块的无损数据压缩系统,该系统通过数据的独特性、数据的结构以及占用内存三种角度来对IMU数据进行压缩处理。在确保数据解压后仍保持完整性的前提下,通过观察数据的压缩比例以及数据的压缩时间,来选择最佳的数据压缩方式。最终要求数据的压缩比例达到压缩前的三倍,压缩所需的时间不能高于压缩前即为最佳方案。

基于生成对抗网络的超声数据压缩方法研究

近年来中国工业超声检测发展迅速,几乎涵盖了所有工业领域,然而随着超声检测的不断发展,超声检测的数据量也变得越来越大,这对于数据的传输和存储造成了一定的困扰。针对以上问题论文利用卷积神经网络,长短期记忆网络和生成对抗网络相结合的一种新的网络框架,对超声数据进行特征提取、编码、传输,在生成器中完成对压缩数据的重建,实现比传统超声数据压缩方法更高的压缩比率,同时保证高的还原度。从而减轻数据传输和存储过程中的负载。仿真结果表明,该方法能过实现比传统压缩方法具有更低的压缩率,同时保证较高的还原度。

一种基于位深度变换的无线电频谱数据压缩方法

电磁频谱数据是刻画电磁频谱态势的量化数字集合,频谱数据具有空间相关性、时间相关性以及频率相关性,在局部范围内的频谱数据和相邻频率上的数据存在冗余。针对上述问题,提出了一种基于位深度变换的无线电频谱数据压缩方法,首先将未经处理的无线电频谱监测数据经过数据转换模块转换成可便于后续压缩的频谱子图,然后采用传统编码方法压缩最高有效字节(HSB)频谱子图,最后设计了一种自回归熵模型来实现最低有效字节(LSB)频谱子图的高性能压缩并引入波前并行操作来加快解码速率。实验结果表明,其压缩率为39.05%,与已有的HUffman等传统无损压缩方法和无损图像压缩方法相比,所提出的方法在保证数据准确性的同时有着更好的压缩性能。

微波数据压缩及定标测试方法的研究

针对星载合成孔径雷达系统回波数据容量大、难以满足星地链路间传输速率要求的问题,根据max⁃lloyd量化方法获得了回波数据量化压缩的门限,提出星载SAR数据自适应量化编码压缩和解压缩的具体实现方法。同时,以理想调频连续波信号为发射定标信号,对星载合成孔径雷达系统数据压缩及解压缩过程中的误差进行了详细的分析,并且根据雷达系统压缩后的回波数据在数据高速传输过程中的帧格式,对雷达回波数据进行了二进制的解码及解压缩操作,获得了数据的真实大小。最后,通过Matlab/GUI编程设计了能够对雷达回波数据进行定标分析、解码及解压缩的软件演示系统。通过人机交互的设计,将数据处理过程中的实验结果以dat数据、图片数据和word文档数据等形式进行了存储和显示。

基于时间窗口聚类的电力时序数据压缩研究

为节约电力时序数据的存储空间,有效实现对电力网络的扩容处理,提出了基于时间窗口聚类的电力时序数据压缩方法。根据时间窗口聚类条件,分别求解时间子序列与窗口子序列条件,从实时存储库中提取电力时序数据样本。定义压缩性能指标,通过稀疏变换数据矩阵的方式,实现对电力时序数据的压缩处理。对比实验结果表明,时间窗口聚类模型可将电力时序数据存储空间控制在3.0×10~7bit内,对于节约数据存储空间、实现电力网络的扩容起到了一定的促进性作用。

低功耗无线智能设备在线监测数据压缩方法

为释放数据存储空间,提升数据压缩率,提出低功耗无线智能设备在线监测数据压缩方法。分析低功耗无线智能设备在线监测数据采集过程,并传输至控制单元内。采用卡尔曼滤波算法,抑制所采集监测数据内的噪声。通过二乘规划与线性特征拟合的过程,获取滤波后低功耗无线智能设备在线监测数据的特征约束点,实现低功耗无线智能设备在线监测数据压缩。实验结果表明,该方法滤波后的监测数据更贴近实际数据,可最大限度释放数据存储空间。

基于北斗卫星导航系统的数据压缩算法

传统通用航空器定位导航和通信系统通常采用GPS定位导航系统和电台等手段。但电台有着费用高,偏远地区覆盖情况不佳等问题。近年来,随着我国拥有完全自主知识产权的北斗卫星导航系统的成功组网,各种相关产业的合作也逐渐活跃。使用北斗无源定位功能获取位置信息,使用北斗短报文功能实现通信功能,从而使通用航空器的定位、导航、监控、调度、通信等功能不受区域限制变成可能。由于北斗短报文限制,导致上报时间间隔过长,单次发送位置信息数据量过少等问题。本文开发一种基于北斗短报文功能的数据压缩算法,通过压缩数据量、增加补偿点的方法解决以上问题。

一种基于元胞自动机的综合测试数据压缩方案

为降低IC测试成本,压缩测试数据量是一种非常有效的解决途径。首先依据元胞自动机产生的随机向量数组,通过穷举法寻找测试集处理的最佳变换规则,把原始测试集拆分为主分量集和残存集两部分,其中主分量集可由元胞自动机生成,随后对残存集采用VariableTail编码进行压缩。实验结果表明,所提方案与传统编码压缩方法及其优化方案相比,具有更高的平均压缩率,且对无关位较少、复杂度较高电路的压缩效果更加明显。

基于数据压缩的超快速区域生长的图像分割算法

介绍了一种基于数据压缩的超快速区域生长图像分割算法,旨在显著提高图像分割的效率和准确性。传统的区域生长算法在处理大规模图像时通常受计算复杂度和时间方面的限制。为解决该问题,引入数据压缩策略,通过降低数据维度来实现更快速的区域生长。首先,采用先进的数据压缩算法处理图像数据,在有效减小数据体积的同时保持图像质量,为后续的区域生长提供了高效的数据基础。随后,设计了一种快速而准确的整合区域生长算法,考虑了图像特征和邻域关系,实现了对目标区域的迅速和精准识别。实验证明,该方法在提高处理速度的同时保持了分割准确性,尤其在大规模图像处理方面表现显著。基于数据压缩的超快速区域生长方法具有广泛的应用潜力,特别在半导体检测领域,为图像分析和处理提供了高效可行的解决方案,进而为图像分割技术的进一步发展提供了宝贵的见解和方法。

一种相邻游程增量编码的测试数据压缩方案

随着集成电路制造工艺的高速发展,其构造越来越复杂,测试成本也越来越高,而压缩测试数据是降低测试成本的有效方法之一。本文在双游程交替编码基础上,提出了一种相邻游程增量编码的测试数据压缩方案。先通过编码表获得当前游程编码长度N,然后得到当前游程减去前一游程的差值M,当M不为负数且比N-1小时,使用M+1个0表示当前游程。在压缩过程中,通过实时对比两种编码的长度,并选择长度小的编码以进一步压缩数据,实验证明本方案有着良好的压缩效果。

数据压缩在大规模存储中的应用研究

在当前大规模分布式数据密集型应用需求快速增长的背景下,诸如Ceph等底层存储服务正面临着日益增加的输入/输出(I/O)压力,即使在数据量巨大且高并发的情况下,存储服务也必须具备高吞吐量的I/O性能。为了满足日益扩大的并行数据传输需求,急需进一步提高带宽的利用率。随着云存储的普及,以视频和图像存储为基础的对象存储服务越来越受到资源有限的用户的青睐,特别是中小型企业和个人用户。这类用户的特点是存储读取操作较少,但对存储价格更为敏感。由于这些资源通常按照使用量付费,因此最大限度地减少存储空间占用并提高带宽利用率变得尤为重要。基于此,本文评估了通过数据压缩来节省存储空间和带宽的潜在优势,并提出了基于深度学习的压缩层技术,尽管数据压缩会增加一定的计算开销,但相对于其带来的成本优势而言,这些开销是可以忽略不计的。

电子信息工程中的数据压缩与传输优化

在电子信息工程领域,数据压缩与传输优化是提高系统效率和处理速度的关键。文中系统地研究了数据压缩和传输优化的理论基础、实现方法及实际应用。首先,概述了数据压缩技术的基本理论和常用算法,分析了其在电子信息处理中的应用及优势。其次,详细探讨了数据传输优化技术,包括传输协议优化和网络资源管理策略。特别地,强调了数据压缩与传输优化技术的结合应用,展示了如何通过这种技术组合提高数据处理效率和传输质量。最后,探讨了这些技术面临的挑战和未来发展趋势,为电子信息工程领域提供了新的研究视角。

面向NVM的IoT时序数据多态协作压缩策略

压缩策略是影响IoT时序数据存储系统性能的重要因素,而现有压缩策略缺乏针对NVM与IoT时序数据特性的优化机制。因此,提出了面向NVM的IoT时序数据多态协作压缩策略。首先,给出了IoT时序数据的组织结构。然后,针对IoT时序数据在一段时间内较稳定以及在用户态与内核态读写NVM适合的粒度差异较大的情况,设计了分层压缩策略。在用户态接收数据时,采用轻量级的数据压缩算法减少需存储的数据量,也减小了对IoT时序数据的存储效率的影响;针对IoT系统以查询和分析异常时序数据为主的特性,设计了深度压缩算法,在内核态对历史IoT时序数据进行深度压缩。其次,针对深度压缩历史IoT时序数据与存储新接收的IoT时序数据之间对NVM带宽的竞争,提出了写带宽保证的动态调整算法。最后,构建了面向NVM的IoT时序数据多态协作压缩策略原型PCCTSMS,并使用YCSB-TS工具进行测试与分析。实验结果表明,与InfluxDB、OpenTSDB、KairosDB和TVStore相比,PCCTSMS最高能提升161.3%的写吞吐率以及减少14.6%的存储空间。

时空和语义结合的船舶轨迹数据压缩方法

大数据时代积累了覆盖范围广、时效性强的船舶轨迹数据。对海量冗余轨迹数据进行压缩,可提高检索效率,降低数据存储和传输负担;然而现有方法容易忽略移动对象的运动特征。因此,本文提出一种顾及轨迹时空特征和航行语义特征的压缩方法。首先,分析船舶轨迹的空间、时间和语义特征,设计顾及时空语义特征的轨迹数据压缩流程;其次,通过道格拉斯-普克和滑动窗口法计算轨迹点的时空和语义特征值;然后,加权融合轨迹点的时空和语义特征,构建轨迹点的重要性排序,并通过指定压缩比例获取保留轨迹点数目,实现船舶轨迹数据压缩;最后,根据压缩算法效率、质量和实例分析,表明本文方法可保留行驶的动态语义信息和时空形态特征,既可根据压缩比例控制压缩过程,又可显著减少数据冗余,为后续轨迹挖掘等应用提供数据基础。

基于改进哈夫曼编码的Haar小波WSN数据压缩算法

针对无线传感器网络采集数据面临较多数据冗余的问题,提出一种基于改进哈夫曼编码的Haar小波WSN数据压缩算法,用于压缩每个传感器节点采集到的数据,并在基站进行数据还原。该算法通过对传感器节点采集到的原始数据进行曲线拟合来将离散信号转换为连续信号,进而对拟合后的信号进行小波变换,并根据给定的阈值条件提取相应的小波系数进行改进的哈夫曼编码来达到减少数据传输量的目的。改进哈夫曼编码的特点在于:使用进制转换将一定位数的二进制编码转换为十进制编码,通过二次压缩进一步压缩存储空间。理论分析和仿真实验表明,该算法能够显著提高无线传感器网络的数据压缩比,并在重构原始数据方面具有一定的精确性。相较于传统小波压缩算法,数据压缩率提高了大约34%,而均方误差基本持平。

面向配电网边缘计算装置的两阶段PMU数据压缩方法

针对配电网高上送速率的同步相量测量装置(phasor measurement unit,PMU)产生的海量数据对通信系统和存储系统造成巨大压力的问题,考虑到配电网边缘计算装置计算与存储资源有限,提出了基于过滤旋转门和指数哥伦布编码的配电网边缘侧PMU数据压缩方法。首先,对旋转门压缩判据进行改进,利用改进的过滤旋转门压缩算法对原始PMU数据进行有损压缩。其次,对有损压缩数据进行差分编码和归一化处理,利用0阶指数哥伦布编码方法进一步无损压缩,降低数据冗余。最后,利用实际的PMU数据,对所提出的方法进行验证。与过滤旋转门压缩算法和通用压缩工具相比,该方法在预先设定的精度要求下,实现了更高的压缩比。

基于DCT自适应量化的频谱数据有损压缩算法

针对由于我国频谱监测设备数量激增产生了海量频谱监测数据的存储和传输难题,提出一种基于DCT自适应量化的频谱数据有损压缩算法。首先将多帧频谱监测数据组合并经过灰度空间映射形成一幅时频图,后将时频图数据矩阵按列三等分,将等分后的数据作为RGB三通道合成一幅彩色图像并对其进行二维DCT变换,利用BP神经网络估计量化阈值后进行量化,最后经过游程编码与二次熵编码完成频谱监测数据的压缩。通过对真实接收机采集的频谱数据的压缩处理,压缩率约为10%,数据恢复后的百分比均方根误差约为11%。实验结果表明,所提算法具有稳定的压缩率和较小的恢复误差,能够有效地对实际采集的频谱数据进行压缩。