一种轻量化高可靠分布式数据处理架构

针对航天型号体系化高带宽智能总线数据的实时处理需求和现有架构数据整理耗时、运维复杂等问题,开展轻量化的高可靠分布式处理架构研究。通过构建元数据模型库和数据解析器完成数据的清洗和转换;采用基于ORC文件格式的分布式文件系统替代原有Hbase分布式列存储方案,增强平台的易用性和可靠性;基于Spark内存计算模型提升平台的计算、分析能力,结合数据流分片存储机制和索引库实现数据查询的优化加速。该分布式处理架构已应用到某装备系统中,保证了系统高密度试验数据的快速处理、稳定存储和高可靠应用,为高带宽实时数据的快速处理和管理提供了一种解决方案。

乡村趣事

这里没有高楼大厦，没有灯红酒绿，没有喧闹繁华：这里有小桥流水人家，这里有青山绿水，这里有数不尽的有趣故事。在乡村，给我印象最深刻的就是刨地瓜了。一到盛夏，乡村的空气中就有一种浓郁甜腻的、混合着叶子淡淡气息的味道，挑逗着我的嗅觉。