基于Avro的异构信息源转换传输中间件设计

针对数字化车间内部存在多种异构信息源转换传输的问题,通过对传统异构信息源集成技术的研究,提出了基于Avro的异构信息源转换传输中间件架构,使用C/S软件架构设计与实现了该中间件模型。通过模拟实验测试,表明使用Avro实现的异构信息源转换传输中间件可跨平台、跨语言、高效地描述和无损传递信息,获得可靠的解析结果,进而有效解决了数字化车间中的多种异构信息源间信息转换传输问题。

五种快速序列化框架的性能比较

该文设计和实现了一种算法框架用来比较五种快速序列化框架对一种对象网络进行序列化和反序列化的时间消耗以及序列化结果的空间消耗,以时空消耗作为序列化的性能指标进行比较,可以选择最适合的序列化框架。

面向生物医学影像e-Science平台的审计监控系统

在面向重大疾病的生物医学成像与临床应用等研究中,常常需要包括基础医学、临床医学、物理学和生物医学工程多学科的科研工作者进行协同交互。为此采用网格技术构建了生物医学影像e-Science平台,实现了跨机构之间大数据的快速共享与交换。由于系统的分布性和节点的异构性,难以避免会碰到系统的软硬件故障。因此,设计了一种基于XMPP协议的审计监控系统,既对e-Science的各个主机系统资源进行实时监测,又对平台中数据业务进行审计跟踪。系统最终被部署应用征e-Science平台,具有良好的便捷性和稳健性。

省级气象大数据存储模型设计

从结构化、非结构化气象数据的存储、索引两方面,基于大数据相关技术设计一套省级气象大数据存储模型。结果表明,非结构化气象小文件利用Avro进行数据模式设计、依据存储规则合并打包为Avro格式文件存储在HDFS上,减少文件数,节省内存资源的消耗;规则的结构化气象数据利用HBase提出表、列字段、行键设计的宽表存储设计思路;利用ElasticSearch设计统一的省级气象大数据存储索引库,统一检索入口,提高检索效率。