Events Sourcing and Command Query Responsibility Segregation Based Fast Data Architecture

With the advent of Big Data, the fields of Statistics and Computer Science coexist in current information systems. In addition to this, technological advances in embedded systems, in particular Internet of Things technologies, make it possible to develop real-time applications. These technological developments are disrupting Software Engineering because the use of large amounts of real-time data requires advanced thinking in terms of software architecture. The purpose of this article is to propose an architecture unifying not only Software Engineering and Big Data activities, but also batch and streaming architectures for the exploitation of massive data. This architecture has the advantage of making possible the development of applications and digital services exploiting very large volumes of data in real time;both for management needs and for analytical purposes. This architecture was tested on COVID-19 data as part of the development of an application for real-time monitoring of the evolution of the pandemic in Côte d’Ivoire using PostgreSQL, ELasticsearch, Kafka, Kafka Connect, NiFi, Spark, Node-Red and MoleculerJS to operationalize the architecture.

基于大数据架构的地球物理观测数据管理系统

中国地震地球物理观测网络的核心业务软件“十五”地震前兆数据管理系统已运行十多年,随着观测数据量的增长,数据库的读取和统计查询的性能逐渐降低。此外,管理系统存在SQL注入和跨站脚本攻击等漏洞的安全问题,系统架构难以满足业务发展的需求。中国地震台网中心基于分布式组件的大数据架构,使用消息中间件和时序数据库等技术对管理系统进行重构,将原来存储于Oracle数据库中的地球物理观测数据、基础信息、产品数据等按照各自特点在时序数据库中建表,并将历史数据和增量数据都迁移到新的时序数据库,显著提升了系统读写和统计性能、数据的安全性和可用性(多副本技术)。分布式和容器化等技术的引入,增强了系统的高可用性,并可通过横向扩展进一步增加系统的处理能力。

区域级智慧海洋大数据中心架构规划及建设实践

智慧海洋大数据中心是智慧海洋工程建设的核心载体和体系中枢,其区域中心的规划和建设对于加快各省海洋强省建设、支撑地方数字政府建设、推动国家智慧海洋工程建设具有重要的支撑意义。本文基于推进重点领域突破的实际需求,提出一种区域级智慧海洋大数据中心的架构设计,阐述了其总体框架、技术架构和数据架构,并给出了实现的研究案例。基于架构设计的浙江省智慧海洋大数据中心提供了数据资源、能力支撑、综合展示、开放创新、应用服务等层面的关键技术,构建了浙江省海洋大数据安全开放的应用环境和自发主动、高效规范的共享模式,形成了国家首个省级海洋大数据中心示范效应和全国可复制可推广的建设经验。智慧海洋大数据中心作为新型信息化平台,将促进海洋大数据资源的共享应用和潜能释放,聚焦数据共享、应用生态、迭代升级和创新驱动,为海洋数据资源全生命周期管理共享和运营服务提供完整解决方案。

生态监测时空信息微服务:架构、技术与应用——以南岭国家站为例

随着物联网、大数据等新一代信息技术和生态系统与生物多样性监测领域的深度融合,持续汇聚的海量、多源异构、多模态时空大数据资源的高效管理与智能应用具有重要意义。以南岭森林生态系统国家野外科学观测研究站(简称“南岭国家站”)积累的时空监测大数据为研究对象,设计了面向森林生态系统与生物多样性监测的时空信息微服务架构,阐明了微服务划分与封装、数据抽取方法等关键技术,研发了南岭国家站生态系统与生物多样性监测时空数据管理平台,有效管理和分析了南岭国家站的时空大数据资源。测试与应用分析表明,森林生态系统与生物多样性监测时空信息微服务架构能够满足生态监测大数据高效管理的核心应用需求,提升了生态监测时空数据资源的科学管理效率,可为森林生态系统与生物多样性监测时空大数据管理提供有力的新工具。

大数据在当代风景园林设计中的应用

新时代最为典型的代表便是新技术的运用,大数据作为其中重要的组成部分,在当代风景园林设计中得到了广泛应用。与大数据有关的新技术有很多,例如BIM、虚拟现实技术等。而本文在对当代风景园林设计进行分析过程中,关于大数据的应用主要选取了BIM以及虚拟现实两种技术作为代表重点探讨,以具体的案例为切入点,梳理了大数据背景下BIM技术与虚拟现实技术应用的优势,并且文章的最后指出大数据在当代风景园林设计中应用前景。

工业大数据与信息系统集成关系研究

随着信息化、智能化技术的发展,工业大数据以智能制造为核心,以“大数据+工业互联网”为基础,运用云计算、大数据、物联网、人工智能等科技引领工业生产方式的变革,推动工业经济创新发展。信息系统集成可以让异构的系统从数据层、业务层、表示层等方面完成统一,既为工业大数据提供数据来源,也为工业大数据提供业务整合、互联共享、智能可视化决策的关键因素。两者的关系互为基础;统一的体系架构;集成要求关注大数据安全。

铁路数据分布式湖仓一体架构分析与设计

科学合理的数据资源分类方法和行之有效的数据湖架构体系,可以支撑起铁路全业务数据的高效存储、组织和利用,并进一步支持并优化各项运营业务。文章首先对现有数据湖架构进行简要分析,确定选用湖仓一体的概念,将铁路数据以主题进行分类以适应业务处理需求;其次设计了铁路数据分布式湖仓一体架构,阐述了路局级子湖仓一体与国铁集团总湖仓一体的架构与功能,以及两者之间的数据流转过程;最后分析了所设计架构的特性与存在的问题,为进一步构建有效的铁路运营数据湖提供了参考。

一种基于数据治理的石化企业工业大数据应用方法

针对石化企业数据面临着数据标准不统一、数据信息分散、数据质量参差不齐等问题,提出一种基于数据治理的石化企业工业大数据应用方法,阐述了工业大数据平台架构及各组成部分功能,并通过构建数据治理体系保障数据资源高效可用,介绍了具体应用实践,以期促进石化工业数据价值释放。

属性关联模型下大数据集群查询仿真

在数据查询过程中,易受冗余数据、服务器异常、虚拟信息等问题的干扰,导致查询时间长、查询稳定性差等现象产生。为了解决上述问题,提出基于属性关联模型的大数据集群查询算法。采用扩展t-SNE算法对大数据集群中的数据节点做降维处理,避免冗余数据对查询过程产生干扰。将降维后的数据输入到属性关联模型中,实现大数据集群的特征提取,并将提取的特征输入到分布式并行架构中,通过查询负载量的计算完成大数据集群的查询。实验结果表明,所提算法的响应时间短,查询开销小于50Mb,且查询稳定性强。

基于大数据的人才管理平台构建研究

大数据时代,企业对人才管理的方式和规程都提出了深层次变革的要求,人才管理工作需要借助大数据技术,以提高人才管理的效率和质量。本文从人才数据的视角,分析了企业人才管理的现状和问题;从大数据技术的视角,介绍了大数据人才管理平台的关键技术,阐述了大数据人才管理平台的构建方案;从应用的视角,简述了大数据人才管理平台的优势,旨在推动人才管理工作向智能化发展。

基于Hadoop架构的设施农业智能监测系统大数据平台的设计与实现

文章设计并实现了一个基于Hadoop架构的设施农业智能监测系统大数据平台。首先,介绍了设施农业智能监测系统的需求和挑战;其次,阐述了基于Hadoop的大数据平台的架构设计,包括数据采集、数据存储、数据处理、数据分析等模块的设计思路和实现方式。在数据采集方面,采用传感器网络和无线通信技术实时采集农业设施的环境数据。在数据存储方面,利用Hadoop分布式文件系统(HDFS)进行数据的存储和管理。在数据处理和分析方面,使用Hadoop的MapReduce计算模型进行数据的处理和分析。

时空大数据下城市建筑空间规划寻优仿真

城市建筑空间规划涉及多个冲突的优化目标,如建筑利用率、交通拥堵和绿地覆盖率等。由于目标之间存在相互制约和矛盾,在对其规划时,难以达到较好的收敛速度和精度。因此,提出时空大数据下城市建筑空间规划寻优算法研究。上述方法针对城市建筑空间规划所需费用、空间紧凑度、适宜性以及环境兼容性等要素分别构建目标函数,并将各要素结合获取城市建筑空间规划模型;在时空大数据支持下,利用多目标寻优算法对城市建筑空间规划模型以及相应要素目标函数展开寻优处理,以此获取较为理想的城市建筑空间规划结果。经实验验证,所提算法的收敛速度快、收敛精度高,且利用以上算法获取的城市建筑空间规划结果与理想结果偏差小。

基于大数据的岭南古建筑保护数字化平台构建

岭南古建筑是岭南文化的重要载体,加强岭南古建筑的保护,对传承岭南文化,建立文化自信有着重要的意义。本文通过深入研究岭南古建筑的数字化保护技术,探讨在这一过程中遇到的关键问题与挑战。研究发现,当前岭南地区拥有一定数量的古建筑数字资源,但是面临着如何统一开发、整合和管理这些珍贵的数字资源的挑战。为此,本文提出构建一个综合性的“全生命-数字化”岭南古建筑保护平台的设想,该平台将促进数字资源信息共享,为古建筑修缮、保育、维护及文化传承与推广提供坚实的基础。

智能化广播电视信号质量检测技术研究

随着广播电视业态和技术的快速发展,传统的人工信号质量监测方式越来越难以适应海量异构数据的处理需求,因此构建智能化信号质量监测与管理系统成为亟待解决的问题。首先,分析了大数据分析和人工智能(Artificial Intelligence,AI)技术在处理数据方面的优势。其次,阐述了在这些技术的支撑下构建智能化信号质量监测系统的可行性。再次,探讨了信号功率频谱特征分析、图像质量评估模型等关键技术,以及应用机器学习和深度学习等算法实现信号的智能化特征提取和质量评估的方法。最后,提出了智能化信号质量监测系统的设计思路。

基于数据感知的数字孪生沈阳故宫文物数据建设研究

通过运用数据感知和数字孪生技术,对沈阳故宫的文物和建筑群数据进行建设与优化。尤其关注沈阳故宫的东、中、西路建筑群,并以此为依据,推荐适合的数据构建策略,旨在降低人工工作量并提高数据处理的效率。通过精确建模和还原,数字孪生模型为文物保护提供了一种强大的工具,不仅帮助研究人员和保护专家理解文物和建筑群的特征与结构,为文物保护和修复提供科学依据,而且促进了公众对文物和建筑群的认识。

基于大数据技术的融媒体平台建设研究

基于大数据技术的融媒体平台是当前媒体行业的发展趋势。该平台通过将信息、数据和技术有机结合,能够有效构建媒体融合大生态,提升新闻舆论引导力。首先阐述了融媒体平台的核心特征和功能,其次探讨了基于大数据的融媒体平台总体架构设计,包括数据管理、分析和应用等关键环节,最后提出了平台建设要点,包含完善管理模块的数据支撑能力、加强分析模块的数据处理能力以及提升应用模块的决策支持能力,旨在为融媒体平台的高效运作和持续创新提供理论支撑和实践指导。

基于大数据的网络通信系统架构设计

文章主要以当前先进的大数据技术作为依托,对网络通信系统的设计与实现进行分析。包括大数据技术的基本概述,网络通信系统及其在当今时代中的发展,以及大数据技术支持下的网络通信系统整体架构设计及其实现分析。经分析发现,在现代大数据环境条件下,要想充分发挥出网络通信系统的应用优势,研究者与技术人员就需要结合实际需求,对该系统架构加以合理设计,并采取合理的措施来进行系统验证,以此来确保其应用效果。希望可以为网络通信系统中的大数据应用及其整体通信系统架构的合理设计提供参考。

基于大数据架构的环境污染精准监测与决策平台的建设

在大数据时代背景下,利用大数据技术构建环境污染监测系统的优势在于可以将大量的数据源整合在一起,通过分析这些数据,实现更加准确、及时地进行环境污染监测和管理,从而为环境保护工作提供了有力的支持。基于此,文章重点研究基于大数据架构的环境污染精准监测与决策平台的建设,旨在促进企业绿色生产,保护生态环境。

基于大数据技术的高职学生互动推荐算法设计与应用

大数据技术通过处理和分析海量数据,为学生提供更加个性化、高效的学习建议和资源推荐。文章先介绍大数据技术在教育领域中的应用背景,随后详细阐述高职学生互动推荐算法的设计过程,包括数据的采集与预处理,以及算法开发的完整流程。此外,文章特别关注推荐算法在高职学生互动中的具体应用,如应用场景的描述、系统架构的构建、实施步骤的规划。系统阐述基于大数据技术的高职学生互动推荐算法的设计与应用,涵盖从数据采集、预处理到算法开发的全过程,以及该技术在实际教学互动中的应用实例和实施策略。

基于大数据分析的电力工程智能化评审管理系统设计

电力工程评审涉及大量的数据分析计算,导致评审结果的精度难以得到保障。为此,文章提出基于大数据分析的电力工程智能化评审管理系统。在构建了电力工程智能化评审管理系统逻辑架构的基础上,利用大数据分析的方式制定了电力工程评审标准,并开展具体的评审分析。测试结果表明,该系统评审精度始终稳定在90.0%以上,具有实际应用价值。