一种工业多源异构大数据组织模型和集成框架的研究与应用

本文旨在设计一种面向工业多源异构大数据环境的组织模型和集成框架,为工业生产领域的软件开发者和决策者提供大数据集成的参考体系结构。该框架能够对结构化和非结构化数据进行有效管理,提供复合视图显示、全文检索、数据共享等功能,为软件系统开发提供数据访问接口,实现海量多源异构数据以及应用业务的聚合和扩展,使软件开发者在此框架基础上实现生产管理和决策系统的应用。

云平台环境下多源异构大数据均衡调度仿真

针对传统的多源异构大数据均衡调度方法存在数据流丢失率较高、网络吞吐量较低以及网络时延较长等问题,提出基于云平台环境下的多源异构大数据均衡调度方法。将渲染应用特点以及作业调度算法相结合,将任务划分为不同的子任务,引入Min-min以及Max-min思想构建时间负载均衡模型。利用遗传算法的染色体以及交叉方式对时间负载均衡模型进行优化,经过优化后获取最优时间跨度,将其与负载均衡作为双适应函数,用于搜寻虚拟机节点的资源,将最优解的空间进行扩展,在迭代的过程中不断进行搜索,在保证负载均衡的同时得到最优资源。实验结果表明,所提方法能够有效降低网络时延以及数据流丢失率,提高网络吞吐量,具有较强的适应性。

基于多源异构大数据融合技术的路网运行监测预警平台

为深入贯彻落实国家大数据发展战略,加速构建以数字资源为关键要素的高速公路运行管理新格局,切实提升国有企业共享和释放数字红利的能力,辽宁交投高速公路运营公司以数字化转型为契机,以路网运行监测与服务工作为突破口,通过整合信息数据资源、融合现代信息技术、聚合设备设施功能等方式,在“数字化运营”的转型变革中迈出了坚实的一步。基于多源异构大数据融合技术路网运行监测预警平台是数据管理与数字技术的充分结合的重要载体,在辽宁省高速公路运行管理工作中承担了重要角色。

融合多源异构教育大数据的高校科研服务系统设计研究

[目的/意义]创新高校科研服务应用模式,提升科研管理水平及效率。[研究设计/方法]首先,剖析教育大数据融合中的相关问题,构建面向高校科研用行为视角的多源异构教育大数据维度视图;其次,以科研对象的个性化需求作为切入点,设计了融合多源异构教育大数据的科研服务平台,分析了高校科研应用服务的大数据工作流程;最后,以科研全量数据实践体系、高校科研应用五类典型服务场景为例,给出了相关应用实践。[结论/发现]实现了科研数据的深度分析与挖掘,为当前高校科研管理方法提供新思路。[创新/价值]为科学提升高等院校个性化科研服务质量,客观评价科研个体及团队研究水平,辅助分析科研个体及团队优势与不足,科学指导决策者提升管理效率提供一定的方法指导。

地质大数据分析的若干工具与应用

大数据科学研究范式是大数据时代的必然结果。在大数据时代,地质学研究正面临着前所未有的挑战与机遇,亟需地质大数据分析的基础支撑。本文介绍若干种有价值的地质大数据分析工具及其应用。知识图谱以其强大的语义处理能力和开放组织能力,为大数据时代信息的知识化组织和智能应用提供了有效工具。它旨在描述真实世界中存在的各种实体或概念及其关系,构成一张巨大的语义网络图,以节点表示实体或概念,边则由属性或关系构成。机器学习与卷积神经网络模型仍然是当前地质大数据研究的热点。演化算法借鉴了自然界中生物进化与自适应过程的思想,是一种基于种群的元启发式最优化算法。它具有无需先验知识、能在全局范围内进行隐并行搜索的优点,可以用来精确地获取大数据中隐含的演化趋势与时空特征。图形社区发现技术将网络划分为若干个内部节点相似社区,为分析和理解网络提供有力的技术支持。随着空间分辨率、时间分辨率和辐射分辨率不断提高,遥感技术已广泛成为地质数据获得的主要技术手段。遥感大数据的数据存取和智能处理是最重要的发展方向。这些地质大数据分析方法已有成功的应用案例,并将广泛用于各种地质研究,如城市土壤污染智能监测、模拟、管控与预警研究,得益于地质大数据研究支撑系统的恰当选择以及地质大数据技术的强力支持,建立了可解释的多源多层城市土壤污染知识图谱,源于多源异构大数据有效融合的主要障碍正在去除。

环境监测大数据科研云平台的设计及关键技术研究

当前国内正全面推进环境大数据平台建设,但以支持环境科学研究为视角探索科研云平台的构建较少。基于国内外环境大数据平台研究现状的综述及环境大数据科研支持平台的调查,得出科研平台应具有支持多源异构数据整合、交互协作实验及数据可视化等主要功能。构建了以XaaS为架构理念的环境监测大数据科研云平台框架,平台所需的关键技术包括多源异构数据整合技术、Web服务技术及数据可视化与人机交互技术,在此框架下开发的环院大数据科研云平台已呈现一定效果。