基于LZO的Hadoop文件归档优化方法

Hadoop分布式框架被广泛应用于各行业大数据处理领域,但在存储大量小文件时会产生更多的元数据信息,导致名称节点的内存占用过多,影响其对外提供高性能和高并发访问的能力。对小文件进行归档存储,是有效解决该问题的常用方案。同时,考虑到数据压缩可有效减少数据存储空间大小与网络数据传输负载,本文提出一种基于实时无损压缩算法LZO的Hadoop文件归档优化方法LA(LZO-Archive)。该方法先对小文件进行归档合并,在索引文件生成阶段融合LZO压缩算法,减少索引文件的生成时间。同时,设计一种文件压缩存储算法,对数据文件和索引文件进行压缩存储,有效减少了数据所占用的数据节点磁盘空间大小和名称节点内存空间占用大小。实验结果表明,相对于原始的HDFS数据存储方法、基准的文件归档方法HAR以及对比方法LHF,本文提出的LA方法在文件归档时间、名称节点内存占用、数据节点磁盘空间占用、文件访问时间等方面表现更好。

基于云计算的配电自动化集群Lzo无损压缩新方法

针对配电自动化监控系统中大数据集信息和压缩存储率低的问题,提出一种基于Hadoop云计算的信息流集群无损压缩新方法;从监控业务信息流出发,将Lzo无损压缩编码融入Map/Reduce计算任务中,实现对大数据集监控信息流的有效压缩;以配电网监控信息流的处理为例,分别取300万和1000万断面记录进行测试,结果表明:每秒可压缩处理记录数从4万提高至8.4万条,处理效率提高了52.4%,同时压缩比也从55.4%提高至62%,适用于动态量测过程的信息处理,提高了压缩处理的效果。

LZO/8YSZ双陶瓷热障涂层CMAS的腐蚀性能

为探究La2Zr2O7(LZO)涂层服役于CMAS环境中其微观结构、力学性能的变化及封阻渗透的原因,采用大气等离子制备了以Al2O3为基体的LZO/8YSZ双陶瓷热障涂层(TBCs),并辅以8YSZ单陶瓷TBCs作对比。利用XRD、SEM和EDS研究了8YSZ和LZO/8YSZ单双陶瓷TBCs的相结构和微观组织;利用维式硬度计和Image Pro plus软件研究了腐蚀后的涂层硬度及渗透深度。结果表明:1250℃CMAS腐蚀12 h后,LZO/8YSZ双陶瓷TBCs中LZO反应厚度约为57μm;反应层物相以球状ZrO2和棒状Ca2La8(SiO4)6O2为主,并伴有少量Ca Al2Si2O8和Mg Al2O4。而8YSZ单陶瓷TBCs腐蚀深度约为300μm(整个8YSZ层厚),截面变为以球状m-ZrO2为主的疏松结构。腐蚀后8YSZ、LZO反应层硬度均有所增加,但提高的面内刚度未引发反应/未反应层间开裂。LZO陶瓷层作为双陶瓷TBCs牺牲防护层,依靠La同CMAS反应生成致密磷灰石(Ca2La8(SiO4)6O2)的封阻作用,有效减少CMAS渗入,抑制了内部8YSZ的不稳定性。

基于LZO算法的嵌入式高速无线数据采集系统

针对油田现场应用中对高速无线数据采集系统的需求,构建了基于ARM的嵌入式无线数据采集硬件平台,采用了STM32系列ARM作为系统的控制核心,并在该平台上实现了LZO数据压缩算法。LZO算法具有高压缩率低、RAM占用率的特点,有效的降低了系统的数据传输量。同时在数据流处理方面,充分利用STM32系列ARM的内部资源,根据＂乒乓操作＂的原理,实现了数据的高速并行处理,有效的提高了数据传输速率。最终在1 Mbps带宽的无线通道上实现了1.5~3 Mbps的实时数据传输率。

基于改进LZO的高灵敏度图像无损压缩方法

针对测控装备图像传输中无损压缩的问题,提出了一种基于改进LZO(Lempel-Ziv-Oberhumer)的高灵敏度图像无损压缩方法。分析了无损压缩算法原理,根据高灵敏度图像特点,利用中值边缘预测消除空间冗余,改进LZO算法流程。试验表明:改进算法无损压缩效率高,性能稳定,能够满足任务图像实时无损的传输需求。

LZO对热障涂层中粘结层氧化的抑制行为研究

为了阐明La2Zr2O7(LZO)对热障涂层(TBCs)中粘结层氧化的抑制作用,利用爆炸喷涂(D-gun)在310S基体上制备NiCoCrAlY粘结层,大气等离子(APS)制备单陶瓷8YSZ涂层和双陶瓷LZO/8YSZ涂层。采用SEM、EDS和XRD表征了不同结构TBCs喷涂态及高温氧化后的微观组织和相结构。结果表明:1100℃下等温氧化(100 h)后双陶瓷LZO/8YSZ与单陶瓷8YSZ热障涂层相对氧化增重分别为2.82和3.13 mg/cm^2,热生长氧化物(TGO)生长速率常数Kp分别为5.79×10^-2和6.26×10^-2μm2/h,厚度分布范围分别为3.75~5.25μm和5~5.5μm。相比单陶瓷TBCs,LZO/8YSZ双陶瓷TBCs中粘结层表现出氧化增重少、TGO生长速率低、粘结层中β相转变慢等明显特征。

热处理参数对LZO膜外延生长的影响

研究了热处理参数对LZO膜外延生长的影响。结果显示实验条件范围内,升高热处理温度、延长热处理时间和加快升温速度有利于提高(400)_(LZO)衍射峰的强度。相对于热处理温度、热处理时间和升温速度,LZO膜的织构类型对热处理时的氧分压十分敏感,氧分压直接影响到能否制备出具有单一织构成分的LZO膜。进一步分析显示,传统的形核生长理论可以很好地解释热处理温度、热处理时间和升温速度对LZO膜外延生长的影响。增加氧分压对LZO膜的外延生长存在双重作用,一方面提高氧分压可以降低膜中的积碳量,有利于LZO晶粒的长大,但另一方面,提高氧分压降低膜中的积碳后将导致对自发形核长大过程的抑制作用减弱,最终使得LZO膜不具有单一的立方织构。因此,更合理地控制/改变不同热处理阶段的氧分压才能在改善LZO膜生长动力学的同时又不影响其外延生长。

化学法动态热处理制备LZO缓冲层

对采用化学溶液沉积技术动态热处理制备La2Zr2O7(LZO)缓冲层进行了研究。结果显示,制备长样品时,侧向进气更有利于驱散热解气体,降低样品织构的不均匀性。当侧向进气方向与样品表面法线方向夹角较小时,更有利于提高LZO缓冲层的织构特性。LZO缓冲层的织构和表面形貌受样品移动速度影响的主要原因是样品移动速度的变化直接改变了样品的热处理时间。优化动态热处理过程后制备出的LZO缓冲层表面致密,LZO缓冲层具有锐利的立方织构,织构锐利度与金属基带织构相当。

用化学溶液方法在Ni-5at% W基底上制备La_2Zr_2O_7过渡层的研究

La2Zr2O7(LZO)过渡层以其独特的物理化学性质越来越受到人们的关注。本文以乙酰丙酮镧和乙酰丙酮锆为前驱盐,丙酸为溶剂配置前驱液,用化学溶液方法(CSD)在具有立方织构的Ni-5at%W基底上制备了LZO过渡层薄膜。研究了前驱液成分、性质以及退火温度对LZO成相以及取向的影响。用常规XRD和X射线四环衍射仪分析了LZO薄膜的相成分和织构。结果显示,在1050℃下退火可以获得强立方织构的LZO薄膜,其中(222)峰的Phi扫描半高宽值为8.95°;(400)峰的Chi扫描半高宽值为6.8°。用高分辨扫描电子显微镜(FE-SEM)观察到LZO薄膜表面均匀致密,没有裂纹和空洞。

基于边缘计算的数据无损压缩方法

工业物联网(Industrial Internet of Things,IIoT)可以将各种工业设备、监测仪表以及传感器进行相互连接,设备的运行状态可通过监测仪表与传感器进行全面感知,并根据感知数据对设备状态进行分析与预测。然而要对海量的感知数据进行分析处理需要大量的存储空间与计算能力,将其传送到云平台势必将占用大量的带宽并产生较大的时延,很难满足对设备状态实时分析与诊断的需求。因此,针对工业设备状态感知的数据,提出了基于最优差分和线性拟合降熵变换的无损压缩方法,在数据采集的边缘侧对感知数据进行无损压缩,从而大大提高传输效率,使得感知数据能快速传送到云平台进行分析与处理。该方法根据数据差值序列方差大小和采集频率高低从最优差分和曲线拟合差值中选取有效的降熵变换进行压缩,并采用LZO(Lempel-Ziv-Oberhumer)压缩算法进行二次压缩。在两类不同的数据集上对所提方法进行了测试,实验结果表明,该方法的压缩率最低与最高分别可达77%和93%,同时验证了其无损重构的特性。

MDSPLUS在EAST低杂波数据管理系统中的应用

随着EAST放电时间的增长,HT-7上采用的关系型数据库已经不能很好的满足要求,因此在EAST低杂波系统中我们采用了专门为核聚变开发的mdsplus数据库。

一种快速解压的无损压缩算法

随着信息技术的不断发展,大量数据给存储和传输都带来了巨大的挑战。数据压缩能够有效减少数据量,方便数据的处理和传输。无损压缩是一种利用数据的冗余特点进行压缩的压缩方法,解压时可以完全还原数据而不会有任何失真。在研究LZO算法的快速解压原理基础上,设计了一种新的压缩算法。该算法通过减少压缩数据中压缩块的数量,降低了解压程序的执行开销。测试结果表明,新算法可实现比LZO算法更快的解压速度。

EAST低杂波监控系统数据传输模式研究

EAST核聚变实验的目的就是为了获取可靠数据,通过实验数据,对实验中发生的物理现象进行详细分析,从而为进一步的实验研究与理论发现提供可靠参考资料。随着核聚变实验放电时间的延长,实验数据将越来越庞大。因此如何高效安全地采集,传输和存储实验数据对核聚变物理研究具有重要的意义。

基于STM32和ZigBee的台站观测环境监测系统设计

为了满足地震台站观测环境实时监测的需求,设计了一种基于STM32F407和ZigBee的无线传感器环境监测系统。系统采用多种传感器对观测环境状态进行实时采集,STM32F407微处理器对采集到的数据进行实时压缩处理,并通过ZigBee无线网络实现数据传输,最后将多个观测点的环境监测数据存储在网关上位机中。文中给出了环境观测终端采集节点、网关协调器的硬件设计和软件流程。经实际应用表明,该系统具有易拓展、自动组网、稳定性好等优点,可广泛应用于多领域的环境监测。

嵌入式设备固件差分升级的策略设计

本文设计了一种适合资源紧凑型嵌入式设备的固件升级策略,使用文件差分和LZO压缩算法生成升级包,将嵌入式设备存储空间划分为BootLoader区域和应用程序区域,并在BootLoader中实现解压缩及解差分,以完成应用程序的升级。最终在STM32平台上进行实验,结果表明在升级过程中,在减少数据传输量的同时还降低了嵌入式设备的内存使用率。

一种轻量级的在线差分升级策略设计

传统的嵌入式平台程序在线升级一般使用全包升级方式,这种方式的升级包体积大,往往需要消耗较多的系统资源。针对这些问题,设计了一种适合资源受限的嵌入式平台的升级方案,使用BSDiff差分和LZO压缩算法生成升级包,以减少数据的传输量;将储存空间划分为Bootloader区域和应用程序区域,并在Bootloader中实现解压缩及解差分,以完成应用程序的在线升级。该方案在STM32平台进行试验验证成功。

基于EMS时间序列数据的实时全息无损压缩方法的研究与应用

针对时间序列数据库存在压缩实时性差、损失数据精度、压缩比低等缺陷,提出了时间序列数据实时全息无损压缩方法。介绍实时全息无损压缩方法利用差值、异或运算等方式实现时间序列数据的快速、无损的高效压缩过程,并在实验室测试中通过实时全息无损压缩方法和Zip、Lzo压缩算法对120 MB的相同时间序列数据文件分别进行正弦数据、递增数据、功率扰动数据和开关量数据压缩测试。测试结果表明,实时全息无损压缩方法的压缩比最高可达到100∶1,可实现时间序列数据的无损、高效、快速压缩,具有强大的容错能力。

基于红旗Linux的FTP搜索引擎服务器的构建

通过分析FTP协议原理和Parker FTP搜索引擎的工作原理,在目前最新的红旗Linux Asianux 3下构建了FTP搜索引擎服务器。实验结果证明该FTP搜索引擎服务器是有效的。

化学溶液法制备涂层导体过渡层La_2Zr_2O_7厚膜的研究

为制备高质量的双轴织构La2Zr2O7(LZO)涂层导体过渡层,本文采用化学溶液法(Chemical solutiondeposition,简称CSD法),以乙酰丙酮镧和乙酰丙酮锆为溶质,丙酸为溶剂配制成前驱盐溶液,在立方织构的Ni-5at%W基底上用快速一步法退火工艺制备了LZO种子层及双层LZO厚膜。SEM观察种子层呈岛状均匀排列,符合种子层形貌特点。XRD结果显示0.06 mol/L浓度种子层上制备的LZO厚膜具有很强的双轴立方织构,其中(222)面Phi扫描和(400)面摇摆曲线半高宽值分别为6.37°和5.82°。SEM观察发现120 nm厚的LZO薄膜表面平整,无裂纹,为后续沉积YBCO提供了很好的模板。

基于InfiniBand的并行绘制系统中的数据压缩

为提高并行绘制系统中的帧率,从数据压缩的角度出发,搭建了基于InfiniBand的并行绘制系统。首先对并行绘制系统中数据进行分类,根据当前帧的数据量大小设置临界值,对达到临界值的几何数据进行无损压缩。本文研究并对比了LZ77,LZW,LZO三种数据压缩算法对系统的影响。实验表明,LZ77,LZW和LZO算法均对系统的帧率有所提高,而LZO算法对系统的帧率提高最明显且稳定性最好,使系统帧率提高近60%。无损数据压缩对提高并行绘制系统性能具有很明显的效果。