基于数据挖掘的电网状态全感知数据压缩存储系统设计

为了实现电网大规模数据的压缩与存储,设计一种基于数据挖掘的电网状态全感知数据压缩存储系统。设计的系统由四个模块构成,其中数据处理模块能够实现挖掘的电网状态全感知数据的上传、存储、分析处理等功能;数据挖掘模块使用多维时序滑动窗口关联规则算法,对电网状态全感知数据进行挖掘;数据压缩模块通过小波变换进行电网状态全感知数据信号的压缩和重建,可以不失真地恢复数据;数据存储模块使用三种数据库及其对应访问与封装技术对压缩的电网状态全感知数据存储。测试结果表明,系统具有良好的性能,其中信号采样压缩比最高可达9.68。

数字化声音数据压缩存储技术及其实现

为了在有限的空间存储更多的声音数据 ,设计了一种声音数据压缩存储技术。介绍了该技术的原理 ,并编写了相应的软件。实践证明 。

基于哈夫曼的k-匿名模型隐私保护数据压缩方案

k-匿名模型作为常用的数据匿名技术,广泛应用于数据发布阶段的隐私保护。随着大数据时代的快速发展,海量数据的产生给数据存储带来了新的挑战。然而,存储器的成本较高且存储空间有限,通过硬件升级来无限制地扩充存储空间并不可行。为此,使用数据压缩技术可以减少存储成本和通信开销。为减少数据发布阶段使用匿名技术产生的数据的存储空间,提出了k-匿名模型隐私保护数据压缩方案。对于k-匿名模型的原始数据,按照设定的规则及原始数据同匿名数据之间的预设泛化层次关系计算两者的差值,并根据差值数据具有的频率特性对差值进行哈夫曼编码压缩。通过存储差值可以间接获得原始数据,从而减少原始数据的存储空间。对于k-匿名模型的匿名数据,根据模型的泛化规则或预设泛化层次关系,匿名数据通常具有较高的重复性,且设定的k值越大,匿名数据的泛化程度越高、重复性越强。对匿名数据设计实现哈夫曼编码压缩,减少匿名数据的存储空间。实验结果表明,所提方案能够显著降低k-匿名模型的原始数据及匿名数据的压缩率。在使用的5个k-匿名模型及不同k值的设定情况下,与Windows 11的zip工具相比,所提方案的原始数据压缩率和匿名数据压缩率平均降低了72.2%、64.2%。

基于FPGA的船舶气象仪数据压缩与存储

介绍了高性能Virtex-4FX20FPGA芯片在船舶气象仪数据存储中的应用。根据船舶气象仪的数据特点,以Virtex-4FX20FPGA为核心控制器,结合LZW数据压缩算法,编写了数据压缩与存储的程序。对船舶气象仪的数据压缩与存储的仿真结果表明,该芯片可以对船舶气象仪的数据进行高速压缩与可靠存储。

基于C/S架构的数据压缩系统设计与实现

针对现场运行数据存储所存在的问题,提出并设计了压缩存储历史数据的方法与系统。该系统基于C/S架构通过服务端读取标签文件和配置文件;初始化后创建命名管道,完成与客户端的连接;经过命名管道读取数据,并启动数据保存线程,以插入的方式分类保存数据。这不仅能够充分利用有限的磁盘空间存储数据,而且提高了数据访问效率。在系统的实际运行过程中,数据信息传输稳定,后台服务存储效果良好。

基于快速DCT对插值数据的压缩储存

在进行三维地质建模中,大数据量模拟往往带来储存难、实现难等问题.从合理及实现角度考虑,将基于二维DCT的JPEG静态图像压缩方法应用于插值数据压缩处理,从而大大节省了磁盘空间.经数据重构后,采用VC开发平台结合OPENGL进行绘制与原始数据的地层三维模拟进行比对,验证了数据压缩的效果能够被认可.那么可以认为,对插值数据进行压缩处理在三维地质建模中具有十分重要的现实意义.

面向ITS共用信息平台的数据处理方法研究

对ITS共用信息平台中的数据进行分类,即静态数据、地理信息数据、动态数据和历史数据。在此基础上着重提出了针对实时交通流和空间数据的存取方式。面向ITS数据处理方法和技术包括数据质量控制、数据集成、数据压缩和抽样存储、数据融合。这些方法对于系统地处理、存储、获取和利用基于ITS共用信息平台的交通数据有较好的实用性和推广价值。

实时数据库在物联网综合业务平台中的应用

在智能电网领域,物联网综合业务平台涉及大量状态监测数据的采集、存储和处理,这些数据具有实时性强、采集频率高、数据增长速度快等特点。实时数据库针对具有时序特性的海量数据具有极高的数据压缩比、事务处理能力和查询检索速度,文章采用实时数据库作为物联网综合业务平台的底层数据支撑,实现了海量实时数据采集、压缩存储、统计分析、越限报警、组态展示等功能,有效地承载了发、输、变、配、用等电力多个业务领域的业务系统。

分块求解三角形线性方程组的一种分布式并行算法

在分布式存储环境下，提出了一种基于“分块”思想的求解三角形线性方程组的分布式并行算法。该并行算法不仅成功运用了数据压缩存储技术，将方程组系数矩阵的存储规模由n^2减少到n（n＋s）/2≈n^2/2，而且较好地实现了计算与通信的相互重叠，从而减少了处理机间的通信开销。数值试验表明：该并行算法具有较高的加速比和并行效率。