基于分布式存储与计算技术的健康医疗数据共享应用实践

目的单纯的以集中汇聚为主要特征的健康医疗数据应用模式,已无法满足大健康的跨部门共享的需求,迫切需要应用新技术探讨解决方案。方法在原有健康医疗数据汇聚的基础上,探讨基于分布式存储与计算技术的健康医疗数据共享应用模式的可行性。结果厦门市在实践过程中,通过应用分布式技术,摸索出一套创新性的做法。结论基于分布式存储与计算等新技术的健康数据共享应用思路,是满足未来健康数据共享应用需求的一种理想解决方案。

PetroV分布式数据存储与分析框架设计

随着三维地震数据采集、油气田开发等系列新技术带来的快速数据更新,大数据背景下三维数据体的高效存储与处理分析变得越来越复杂。在参考GFS(Google File System,谷歌文件系统)设计理念和消化其关键分布式处理技术的基础上,本文设计了PetroV(Petroleum Valuation,勘探部署决策一体化软件系统)最新软件架构并研发了系列大数据存储与分析的关键软件技术。利用三维空间下八叉树结构与编码的快速空间定位和多分辨率机制,实现对三维大数据体的结构分层、分块存储与二级内存缓存框架,支持并发访问和不同分辨率流式显示。由数据存取客户端、元数据服务和子数据块存取服务组成的八叉树分布式存储框架,屏蔽了基于八叉树切分后子体数据块在上百台计算机的后台冗余或备份存储事实,实现了几乎与单机文件系统接口一致的分布式文件存取接口;由任务执行客户端、任务管理服务和面向地震、数字岩心或测井数据的系列专业解释算法服务组成的分布式大数据分析框架,利用八叉树分块存储的特点实现"分而治之"并行编程模型,显著降低并行编程模型实现的复杂度。大数据下PetroV软件体系架构设计及衍生的系列专业软件版本,最终目的是希望能够推动应用导向与新技术发展深度结合,持续追求卓越,增强自主创新能力。

云计算环境下的分布式存储

伴随着科学技术的不断发展和进步,云计算作为一种新的计算模式,已经越来越成熟,并且逐渐运用到科学计算、商业计算等领域。其中云计算环境下的分布式存储主要是控制和管理数据中心,分布式存储是云计算环境下的关键设施,然而数据失效现象使得云计算的推广和应用受到限制,本篇文章对当前分布式存储技术进行了简要地阐述,并且指出该技术的优缺之处,对云计算环境下的分布式存储发展前景进行了设想,希望能够对云计算环境下的分布式存储发展提供一定的建议和启发。

可扩展的云计算架构:面向大规模移动信息处理的设计研究

文中探讨了可扩展云计算架构的设计和关键要素,提出了分层架构设计、微服务与容器化、数据流与消息队列等策略。以Google Cloud Platform和AWS IoT为例,分析了它们在分布式存储与计算、弹性伸缩机制、边缘计算与数据处理、消息队列与事件驱动架构等方面的应用。

结构静力有限元分层并行计算方法

根据分布式存储并行计算机的体系结构特点,提出了一种结构静力有限元分层并行计算方法.该方法在两级分区两次缩聚策略的基础上不仅实现了大量数据的分布式存储,提高了数据的内存访问速率;而且实现了计算过程的三层并行,有效提高了通信效率;此外,它还进一步降低了界面方程的规模,大幅度减少了界面方程的求解时间.因此,它能够充分利用分布式存储并行计算机的体系结构特点提升大规模并行计算效率.最后通过典型数值算例验证了该方法的正确性和有效性.

结构动力数值仿真两级并行计算系统开发及应用

根据分布式存储并行计算机的体系结构特点,设计了一个结构动力数值仿真两级并行计算系统.首先通过两级分区为并行计算准备数据,并将数据分布式存储在各节点的局部存储器上;在结构动力分析过程中,通过进一步缩减问题规模和有效地提高通信效率大幅度减少了界面方程求解时间以及系统求解总时间.文中详细阐述了该系统工作原理、并行计算流程和系统实现的相关软件开发工具.最后通过典型数值算例验证了该系统的有效性.

基于Hadoop的海量数据存储系统设计

随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。

大规模并行结构动力分析分层计算方法

多核分布式存储超级计算机的兴起为大规模并行结构动力分析提供了强有力的计算工具。根据多核分布式计算环境的特点,提出了一种大规模并行结构动力分析分层计算方法。该方法在传统隐式动力分析的区域分解法的基础上,利用两级分区和两次缩聚策略进行求解。不但通过进一步缩减求解问题规模有效提高了界面方程的收敛速度,而且通过三层并行计算有效提高了通信效率。该方法并不对有限元模型引入近似,属于精确的动力子区域分层计算方法。典型数值算例表明,该方法计算精度与商业软件ANSYS完全法求解精度相当;同传统区域分解法相比,该方法能够获得较高的并行计算性能。

用电采集系统云计算技术构架的分析与研究

随着用电采集范围的逐步扩大,以采集系统全覆盖为支撑,深入挖掘采集系统数据,深化应用采集系统功能,利用基于实时数据库、云计算一体相融合技术应运而生,即实现由传统的"集中分析->集中处理->统一展示"到"分布式分析->分布式处理->统一展示"的过度,用电采集信息数据入库采用实时数据流处理技术,底层数据管理采用Data Cube分布式基础架构,基于云存储文件系统,以实现类关系型数据库的复杂关联查询。主要研究内容:(1)研究基于用电信息采集系统的数据实时处理支撑技术,解决用电信息实时高效存储、实时分析、实时计算等时效性比较高的一系列需求;(2)设计通用的数据接口,为配电生产指挥平台、营销业务应用系统、营销GIS系统等提供数据分析及数据处理支持;(3)研究针对海量数据实时在线分析挖掘和统计的功能,为有序用电智能决策分析提供强有力的依据。

支撑集团级全域数据整合的大数据中心架构设计研究

当前,航空制造型企业全域数据愈来愈呈现出“工业大数据”特征,基于海量数据分布式、并行化存储和计算技术,搭建跨层级、跨地域、跨部门、跨业务、跨系统的数据管理信息基础设施环境,建立集团级大数据中心一体化平台,可有效支持产品、管理和资源类数据归集管控和共享,高效支撑数据资产管理、业务智能BI、人工智能AI等领域的数据应用,促进企业数字化转型。

内蒙古自治区气象大数据管理云平台设计与实现

文章介绍了内蒙古自治区气象大数据管理云平台利用分布式存储与计算架构,构建数据采集子系统、数据加工处理子系统、数据存储管理子系统、业务监视子系统、数据共享服务子系统和数据展示子系统,实现部门内外常规气象观测资料、服务产品、行业部门相关数据的集约化、标准化、统一存储管理,对接内蒙古自治区政府“云上北疆大数据平台”和“政务资源共享平台”,完成了行业的互补和延伸,开辟了气象信息化发展的新舞台。

基于Chukwa的大规模日志智能监测收集方法

针对传统分布式计算模型和日志监控收集在编程实现上的困难、实际应用扩展性低和数据处理阶段耦合度高的问题,提出基于Chukwa的大规模日志智能监测和收集方法。在利用MapReduce并行计算模型以提高日志采集效率的基础上,提出数据监测收集阶段的细分方法和解耦过程,弥补MapReduce只能处理大文件数据的缺陷,进一步提高日志处理的灵活性和扩展性。该方法主要包括日志监测、日志收集、数据转存、数据应用几个步骤。实验验证了该方法能提高日志监测采集的效率,具备良好的实际使用价值。

基于Hadoop的学生推荐选课系统的设计与实现

随着各种在线选课系统的广泛使用,教学管理部门对学生选课的管理变得越来越方便高效;但是,大多数选课系统在学生选课时不能准确地为学生提供个性化的推荐课程,针对目前在线选课系统中存在的个性化推荐缺失的问题,该研究采用易于扩展的开放式推荐流程和架构,基于Hadoop平台展开探讨,通过对Hadoop运行机制的研究,结合对推荐系统和推荐算法的分析,设计并实现了学生推荐选课系统。系统基于协同过滤算法,通过对学生信息、课程信息和选课信息的数据分析与挖掘,最终为用户计算出最可能需要的推荐课程。

基于定制化云服务平台的构建及应用创新

目前唐钢的信息化建设沿用传统IT模式,存在扩展能力不足,设备种类多,部署周期长,通用性差,升级难度大,需重复建设多,数据呈离散式管理的问题。为解决唐钢固有的信息化建设存在的问题,采用即需即用的分配方式,提高了企业信息化构建效率,节约了建设成本,实现了企业信息平台数据的共享,推进了企业在生产经营、统筹管理、供应链协同服务等多领域的提质增效。

基于大数据的决策支持平台建设研究

文章根据大数据的特点,构建了大数据分析平台,该平台利用分布式存储与计算技术解决了企业数据信息高效存储和管理的需求,通过数据分析与挖掘,将企业的海量数据转化为有效的信息来辅助企业决策层进行准确决策。

南宁城市轨道交通供电系统大数据平台设计与架构

详细分析南宁既有数字化城市轨道供电系统存在的问题,在总结和剖析大数据基本概念和技术特点的基础上,梳理并找出既有数字化城市轨道供电系统应用于大数据平台的需求分析,详细设计基于大数据平台的城市轨道交通供电系统功能架构。通过典型场景搭建分析,描述所设计大数据平台在南宁城市轨道交通供电系统的应用。最后,阐述南宁基于大数据平台构建的城市轨道交通供电系统面临的挑战,并对下一步发展的方向进行初步探讨。

企业融合架构云服务平台的构建及应用创新

随着大数据、智能化、移动互联网和云计算等新一代信息技术的融合与突破,云计算助推各类产业特别是制造业转型升级的成功案例不断涌现。本文采用融合架构、分布式存储等技术,将计算、存储、网络等资源进行池化和服务融合,对河钢唐钢的信息化资源进行升级扩展,打造基于融合架构的统一云计算平台。该平台以服务为导向,采用即需即用的分配方式,提高了企业信息化构建效率,节约了建设成本,实现了企业信息平台数据的共享,推进了企业在生产经营、统筹管理、供应链协同服务等多领域的提质增效。

智能园区管控平台集成架构设计及关键技术

随着智能配用电园区规模的扩大,配电自动化、用电信息采集等应用系统的推广应用,配电网中会产生指数级增长的海量异构、多态的数据,配用电环节的管理需求也逐渐复杂起来,因此需要建立高效的管控平台。基于海量数据的运行监控、用电管理等基本功能高度融合,智能运维、能源服务、售电管理等多种智慧功能按需集成的智能园区管控平台是未来智能园区管控系统的发展方向。针对智能园区海量数据的高速采集、高效处理、高速存储与计算,以及统一服务等需求,提出了管控平台的集成架构设计方案。通过关键技术性能验证了智能园区管控平台集成架构的优势和可行性。

国产大型地理信息系统软件——吉奥之星

介绍自主研发的国产优秀软件吉奥之星在基础测绘数据生产、空间数据管理、地理信息服务与共享方面的应用及主要功能。