船舶物联网平台海量异构数据存储与共享策略研究

海上大型船舶装备了大量的现代化设备,具有较高的智能化、自动化水平,可以进行24 h的海上勘测、船舶信息采集和气象信息采集等功能,研究船舶数据平台的数据存储与处理技术有重要意义。随着计算机技术与物联网技术的发展,船舶物联网平台成为了业内的研究热点。本文深入研究了船舶装备物联网服务平台的组成架构与原理,重点研究了船舶物联网平台海量异构数据存储与共享的策略,对改善海上试验平台的数据分析与处理能力有重要作用。

BioMGE——一个用于采集和分析生物医用材料和多组学数据的数据库

随着机器学习技术的发展,生物医用材料的科学研究也逐渐走向数据驱动,利用生物测序技术来测试生物医用材料的生物功能,需要对生物医用材料进行进一步优化.因此,一个开放、共享的基础设施来存储来自不同研究领域的异构科学数据是多学科交叉联合分析的基石.本文介绍了BioMGE,一个基于灵活的自定义平台NMDMS(国家材料数据管理与服务平台)实现的数据库建设案例,用于收集生物医用材料和多组学测序数据.NMDMS的动态容器框架允许用户定义个性化的数据提交模式,存储来自生物医用材料和多组学研究领域的数据.自2019年以来,BioMGE已收集了1547100个生物医用材料和多组学数据集.BioMGE提供了数据导出接口,方便用户直接导出数据以进行数据分析.以组学数据可视化为例,提供BioMGE-viewer模块以实现对生物染色质结构数据从一维到三维的数据可视化.该数据库可为其他跨领域研究的数据共享提供了新的思路和平台.

基于.NET Core架构的PLC数据采集和监控系统

为了解决工厂设备品牌多样化、通讯协议各不相同、采集难度大等问题,研究了基于.NET Core架构的远程数据采集和监控系统。该系统借鉴了异构的数据存储方式、分布式网络模型和数据分析模型,使用.NET Core框架开发完成。首先将嵌入式工控机和PLC设备通过工业以太网连到同一局域网并进行通信,对可编程逻辑控制器(PLC)设备的运行状态进行实时数据采集,并上传到云端服务器,Web端可以远程查看PLC设备的实时数据,以及对PLC设备的工作参数进行数据分析,当分析结果显示设备出现故障时,云端服务器通过短信通知现场工程师PLC设备出现故障,当现场工程师无法调试设备时,远程工程师还可以通过Open VPN对设备进行远程调试。最后通过实验验证了系统的可行性。

电网调控大数据平台体系架构及关键技术

以数字化技术和能源互联网理念为驱动的“数字新基建”对现有调度自动化系统的数字化转型提出新的挑战,该文考虑调控数据存储规模、数据加工复杂度和数据服务多样化的需求,提出电网调控大数据平台的体系架构。在此基础上,研究了多源调控数据集成与融合、异构数据库分层统一存储、调控数据资产管理、大数据算法引擎等关键技术,实现全业务、全场景的电网调控数据汇集、加工和资产管理。该技术方案为调控云智能分析应用提供了存储、数据和算法的有力支撑。

移动互联网大数据关键技术

随着智能终端的普及,移动互联网得到蓬勃发展。其产生维护了海量的数据信息,包括系统的日志、服务质量、服务调用关系、用户的行为、位置、业务使用偏好等。越来越多的数据使得数据量变得过于庞大、内容过于复杂,难以通过传统的方法进行有效地处理。本文将讨论移动互联网大数据处理的关键技术,包括移动互联网的多源数据采集、海量异构数据管理、实时数据挖掘、高效数据分析与呈现等技术。

存储提升证券业战略优势

一直以来引导证券行业不断创新与发展的信息技术,面临着重新定位与持续创新的问题。

跨平台电网规划数据融合与存储模式

随着电网规划各业务系统平台的建立以及异构业务数据的急剧增加,急需打破各系统平台之间的业务壁垒,建立完善的业务信息共享与交互体系。文章在分析现有业务系统数据格式及存储现状的基础上,深入研究异构数据融合与存储的关键技术,并提出一种跨平台电网规划数据融合与存储模式。通过建立统一业务数据信息模型,完成异构数据的融合处理;构建基于Hadoop的分布式文件存储系统,实现海量异构数据高效快速的存储与索引,为电网规划系统乃至电力行业的海量异构数据与信息共享提供理论指导与体系架构支撑。