基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。

计及负荷转移需求响应的低碳数据中心光储容量优化配置

为了解决高耗能数据中心低碳化转型问题,提出一种计及负荷转移需求响应的低碳数据中心光储容量配置方法。根据延时特性将数据中心负载分为交互性负载与延时性负载,通过比特-瓦特变换与数据中心电能使用效率得出负载与数据中心能耗之间的关系,以总净现值成本最低为目标函数,考虑清洁能源高渗透率水平、数据流需求响应管控约束,获得数据中心的光储容量配置结果。算例验证了所提方法的有效性。

基于过程管理的输变电工程造价管控系统设计

以实现输变电工程造价全过程管控为目的,设计基于过程管理的输变电工程造价管控系统。将输变电工程相关数据导入到数据存储器中,数据由Web应用服务传输到过程管控模块中,利用工程造价模块对输变电工程实施分阶段结算计划制定、工程量分析与对比,采用工程造价估算优化模型实现全过程输变电工程造价管控。结果表明:该系统可靠性高,可移植性好,可有效呈现输变电工程项目结构和造价,具备较好输变电工程造价管控效果。

面向大数据的分布式存储与访问优化框架

文章针对大数据时代的存储与访问挑战,提出一种面向大数据的分布式存储与访问优化框架。提出总体框架设计,明确了分布式存储与访问系统的整体架构和功能模块。针对数据存储问题,研究了数据压缩和存储技术的优化方法,以提高存储效率和数据可靠性。针对分布式访问问题,研究了基于负载均衡的数据访问优化方法,以提高系统的整体性能和吞吐量。通过分析和讨论,探讨了方法的特点和改进空间,为分布式存储与访问技术的进一步研究提供了参考。

针对电池储能系统假数据注入攻击的智能化检测方法研究

电池储能系统(battery energy storage systems,BESSs)的假数据注入攻击(false data injection attacks,FDIAs)可以篡改传感器采集的电池测量信息,影响BESSs的荷电状态(state of charge,SOC)估计,从而威胁BESSs的安全与稳定运行。针对电池储能系统SOC估计的FDIAs,搭建了电池等效电路模型,利用扩展卡尔曼滤波(extended kalman filter,EKF)算法进行SOC估计,构造了不同强度的FDIAs,并提出一种基于T2V-Transformer(Time2Vector-Transformer)的FDIAs智能化检测方法。考虑到Transformer位置编码不能提取序列数据的时间特征,所以采用Time2Vector将时间转换为嵌入向量,提取电池数据的时间顺序特征,捕获序列周期性和非周期性特征。实验结果表明,与当前主流的长短期记忆网络(long short term memory,LSTM)自动编码器、Transformer等方法相比,所提方法可以检测出不同强度的电池储能系统FDIAs,并且在用时接近的情况下,具有更高的检测准确率。

一种新的化工过程历史数据压缩方法研究

为了对化工过程的历史数据进行压缩处理以减少数据的存储空间,给出了一种新的数据压缩方法.该方法基于整数小波变换和多级树集合分割,对原始数据进行5层整数小波分解,得到小波系数和相应的时间方向树,使用多级树集合分割编码对小波系数进行编码,输出位平面,再利用自适应算术编码对输出的位平面进行编码,进一步提高压缩比.应用该方法对一造纸厂的温度数据进行压缩和还原,仿真结果表明,该方法无需浮点运算,编码时利用了原始信号在各尺度下小波变换系数的自相似性,具有计算复杂度低、数据压缩速度快、压缩比高和重构误差小的特点.

浅谈信息数据的安全与加密包装

从信息数据的传统包装技术分析了当前信息网络存在的安全隐患。随着信息技术的日新月异 ,信息数据加密包装技术也应跟上时代的步伐 ,为网络信息数据的安全打下坚实的基础 ,在分析原有的加密包装技术的基础上 ,说明了传统的信息数据包装形式在加密技术上存在的不足 ,阐述了变形换位数据存储这一新兴的数据包装技术的特点和拟解决的关键问题 ,并给出了相应的实现手段和解决问题的策略。

XML文档到关系数据库的转换研究

XML作为网络数据交换的标准技术,广泛应用于计算机软件。目前存储数据的主流手段是关系数据库,因此XML文档与关系数据库之间必须进行转换。通过分析XML文档的层次结构,建立了XML文档树模型,并给出结点定义。依据XML的BNF规则给出了元素与属性的正规表达式和相对应的状态转换图,设计了识别元素和属性的词法分析程序用于解析XML文档。提出了XML文档树到关系数据库存储的转换思想和算法,并结合实例给出转换后的关系表。

改善直接数字合成周期信号频率分辨率的两种波形序列

在利用直接数字合成方法产生周期性宽带通信对抗背景信号时 ,信号的频率分辨率、带宽及频谱复杂度直接受限于合成系统的工作频率和存储容量 .本文提出两种波形序列 ,能够在不改变合成系统工作频率和存储容量并且不影响合成信号的幅频包络和基本时域特性的情况下将其频率分辨率提高四倍以上 ,并且可以提高合成信号的频谱复杂度和可变性 .

建设“数字黄河”工程

“数字黄河”,就是借助全数字摄影测量、遥测、遥感、地理信息系统、全球定位系统等现代手段及传统手段采集基础数据,对黄河流域及其相关地区的自然、经济、社会等要素构建成一体化的数字集成平台和虚拟环境,对黄河治理开发和管理的各种方案进行模拟、分析和研究,并在可视化的条件下提供决策支持,增强决策的科学性和预见性。

基于分数阶Fourier变换的云存储系统重复数据删除算法

云存储系统的重复数据作为大量冗余数据的一种,对其有效及时地删除能保证云存储系统的稳定与运行。由于云存储系统中的干扰数据较多,信噪比较低,传统的重删算法会在分数阶Fourier域出现伪峰峰值,不能有效地对重复数据进行检测滤波和删除处理,因此提出一种改进的基于分数阶Fourier变换累积量检测的云存储系统重复数据删除算法。首先分析云存储系统重复数据删除机制体系架构,定义数据存储点的适应度函数,得到云存储节点的系统子集随机概率分布;采用经验约束函数对存储节点中的校验数据块分存,通过分数阶Fourier变换对云存储系统中的幅度调制分量进行残差信号滤波预处理。采用4阶累积量切片后置算子,把每个文件分为若干个块,针对每个文件块进行重删,进行重复数据检测后置滤波处理,实现存储资源上的重复数据检测及其删除。仿真实验表明,该算法能提高集群云存储系统计算资源的利用率,重复数据准确删除率较高,有效避免了数据信息流的干扰特征造成的误删和漏删,性能优越。

物联网主站远程监控系统的网络设计研究

在物联网主站远程监控系统工程项目的背景下,分析了物联网主站远程监控系统的通信与数据存储需求,并对通信网络进行了设计和分析。通过物联网主站远程监控系统与智能配变终端的通信与数据存储需求分析,得出物联网主站远程监控系统所需的36盘位网络存储设备数量为11个,对应的硬盘需要264块。在物联网主站远程监控系统的GPON设备光纤链路传输中,光缆、分路器、熔接头、活接头和光纤富余度的光纤链路传输衰减分别为2.57 dB、14 dB、0.7 dB、2.5 dB和2 dB,满足ODN传输耗值小于28 dB的要求。

基于数据存储的小波数字水印算法

提出了一种基于数据储存的D W T算法。该算法打破了传统小波变换以整幅图像为研究对象的思路,而是以存放在存储器中的图像数据为研究对象,先将其分成若干块,分别对每一块数据进行D W T之后,再进行水印的嵌入,并在嵌入之前进行图像置乱预处理,以提高安全性和隐蔽性,兼顾了水印的不可见性和鲁棒性。实验结果表明,本文算法在保证水印不可见性的同时,对图像的J P E G压缩、噪声、滤波、剪切等处理,均有较好的鲁棒性。

海量多文件存储模式的CNSDTF-DEM数据转换方法研究

区域高精度CNSDTF-DEM数据的多文件存储模式方便了数据的管理与共享,增加了数据使用的灵活性,但同时也增加了DEM数据使用时数据转换与合并的开销.针对西南某地区应用多文件模式存储的海量CNSDTF-DEM数据作为水库塌岸预测与评价时所带来的格式转换与数据合并的问题展开研究,分析CNSDTFDEM数据与USGS-DEM数据的存储结构,采用C#程序设计语言实现了海量CNSDTF-DEM数据向USGSDEM数据的自动批量转换,并在ArcGIS软件平台下采用VBA宏语言将USGS-DEM数据批量转换为可直接读取的img格式的数据,为区域高分辨率DEM数据的应用提供了便利.

XML在嵌入式系统中的应用

阐述了XML在嵌入式系统中使用的背景,重点分析了嵌入式环境中数据存储和数据交换过程中的XML的验证机制、数据封装、数据打包解包过程,根据实验测试数据,给出了XML技术在实时数据交换中的性能分析报告,测试结果表明实时数据交换平台的性能符合应用要求.

小波包最好基的自适应地震数据压缩

讨论了一种基于小波包最好基的自适应数据压缩方法。该方法对信号进行基于小波包最好基的自适应变换后,将变换系数接其能量进行自适应比特分配和量化,从而达到数据压缩的目的。将该方法应用于地震勘探 CDP 数据压缩,取得了较好的效果。数据压缩10倍时,重建信号的信噪比为37.1dB;压缩16倍时,信噪比为29.6dB。

中文报刊混编订购数据库的建立与应用——邮发报刊订购目录的计算机排序

提出了中文邮发刊、非邮发刊混编订购数据库在图书馆期刊管理工作中的建立和使用问题，提供了中文报刊混编订购数据库目录变换中的邮发报刊订购目录的排序程序。

实时数据库与关系数据库数据交换服务的设计与实现

实时数据库和关系数据库有各自不同的特点,随着信息化水平的不断进步,在实际的过程控制计算机系统和信息管理系统中往往将两种数据库结合使用。数据交换服务为不同数据库之间的互连互通提供加载、转换、传输和存储等功能。本文描述了数据交换服务的设计与实现过程,着重介绍了实时数据库与关系数据库相互通讯时用到的数据转换和存储的方法。

使用小波变换的视频信号处理系统

叙述了视频信号处理中的小波变换的应用。在介绍了视频采集系统基本结构和功能的基础上,首先叙述了用小波变换检测视频信号的各参数的方法,然后讨论了如何在具体设备当中实时实现小波变换,提出了用“双存储器”实现的方法。

面向多源异构数据的牵引变压器故障诊断平台设计

牵引变压器作为铁路牵引供电系统中的关键环节,其安全性影响着铁路供电系统稳定性和铁路运输可靠性,对其进行故障诊断尤为重要。为此,首先根据故障诊断平台的需求分析提出牵引变压器故障诊断平台设计方案;随后对多源异构数据的数据存储方法及数据预处理方法进行分析,优化存储体系和数据预处理方法,同时针对故障诊断中存在的不平衡数据问题,采用PAM-SMOTE-ELM算法对油中溶解气体不平衡数据集进行分析,并通过G-mean指标进行故障分类效果评价;最后,实际应用验证了该故障诊断平台的有效性与实用性。