基于云计算的流数据集成与服务

当前,大数据的管理和处理是云基础设施的重点用武之地,而服务是落实云计算环境中各类资源及能力交付和使用模式的主要方式.随着感知设备的普及,系统规模急剧扩张,数据多元异构复杂性提升,流数据并发数量及速度剧增,传统的流数据系统在处理能力、可扩展性、容错性等方面面临瓶颈问题,而云计算技术依靠其良好的可伸缩性、数据的并行化处理能力、对服务使用模式的支持、容错性等特点,可作为流数据管理与处理的基础.基于云计算对来自不同类型设备的大规模流数据进行集成、处理及服务化正是文中关注的焦点所在.从应用需求出发,该文对大规模流数据集成和实时处理及服务的概念框架、集成方法、流数据查询处理、定制化服务、可伸缩性保障和可靠性保障以及相关评测基准等要点进行了剖析,归纳了大规模流数据的集成与服务研究面临的挑战,探讨了云计算环境下求解相关问题的思路.

一种云计算环境下的XML查询数据服务的优化方法

在云计算环境中提供数据服务逐渐成为研究热点。在云计算环境中结合已有XQuery查询处理引擎,实现了云计算环境中XML数据查询服务。为提高云计算环境中XML数据查询效率,采用基于XPath投影的方法预先对XML分块处理,仅保留与XQuery语句相关的数据。实验表明,该方法有效缩小了数据分块的规模,缩短了XML数据服务的查询处理时间。

海量车牌识别数据集上基于时空划分的旅行时间计算方法

城市路段旅行时间计算是智能交通领域的一个研究热点.车牌识别数据作为近年来新兴的一种针对城市道路行驶车辆的实时监测数据,具有持续生成且数据量大、时间空间相关等特性.为了利用车牌识别数据集进行高效、准确的旅行时间计算,给出了基于车牌识别数据集的旅行时间计算定义,在此基础上提出一种基于时空划分的流水线式并行计算模型,并给出了该模型基于实时MapReduce的实现.通过一组基于海量真实车牌识别数据集的实验表明,本文方法在亿级车牌识别数据集上的旅行时间计算性能方面相对于直接基于Hadoop的实现可以提高3倍以上,同时具有适合细粒度划分及受路网规模影响小的特点.

eGovCloud:一种基于云服务的电子政务框架

针对电子政务建设过程中涉及的异构资源即时共享和跨部门业务协同等核心问题,提出一种基于云服务的电子政务框架eGovCloud,其核心思想是通过"虚拟资源中心"实现资源物理上的分布存储和逻辑上的集中管理,并建立政务领域元数据规范作为统一的语义基础设施,进而支持跨部门异构信息资源的共享和统一管理,以此为基础进一步提出支持跨部门业务协同的"政务虚拟组织"。探讨了eGovCloud体系结构以及涉及的关键技术,并展示了其在构建电子政务系统中的应用。

HTML5混合式移动社交应用中缓存管理机制的研究

随着移动互联网的发展,混合式开发作为一种快速开发的方式已经成为一种趋势,这种方式既可以体现Web应用可以同时适用于IOS平台和Android平台的特点,又能解决Web应用中不能调用操作系统底层资源的问题。当今社交类应用中普遍存在大量的图片,重复图片从服务器多次存取会消耗客户端流量、增加访问延迟,当今混合式开发框架中的缓存机制并不能解决这个问题。因此提出一个可以适用于混合式移动社交应用的图片缓存管理机制,提供缓存图片管理的原生模块供开发者在混合模式下使用,并将其应用于社交应用中。同时提出了一种基于社交关系的图片缓存替换算法,该算法结合了社交应用中用户之间的社交关系亲密值、LRU算法、图片占用空间大小。实际应用表明,该算法可以提高混合式移动社交应用中的缓存命中率。

北京市物联网应用标准体系框架研究

近年来,物联网应用在各行各业大量涌现,与之形成反差的是物联网相关标准的建立相对滞后,应用建设缺乏协调统一,阻碍了物联网的进一步规模化应用。本文充分分析北京市物联网的发展现状及下一步建设思路,以全面支撑北京市物联网应用建设为出发点,结合物联网应用建设特点和标准化系统工程要求,构建了北京市物联网应用标准体系框架模型,设计了能够全面覆盖"感、传、知、用"4个层次的物联网应用标准体系框架。最后,本文对北京市物联网标准规范体系框架的推进思路进行了分析,提出北京市需要重点建设应用层和应用支撑层标准,并以应急领域为例,重点讨论建设物联网应用需要制定的几类标准。此项工作将有利于保障北京市物联网建设的标准化、物联网业务的互联化,促进物联网发展的科学性与合理性,进而为促进并带动物联网产业链的健康发展奠定基础。

保护私有数据的云工作流调度方法

为解决云工作流中数据资源的私有性问题,提出一种保护私有数据的云工作流调度方法。针对云工作流中数据资源之间依赖关系和互斥关系并存的特点,提出扩展中国墙的云工作流私有性策略模型,对资源分配中的利益冲突问题进行精确描述;提出云工作流私有性策略描述语言,采用基于逻辑语言的分析方法,将策略形式化表达为一组逻辑规则集,通过对规则的逻辑推理可对策略的一致性进行分析和检验;基于上述策略模型和描述语言,提出保护私有资源的云工作流调度方法,并证明了该调度方法不会违背用户设定的数据资源私有性策略。

基于MapReduce的城市道路旅行时间实测计算

城市道路旅行时间计算一直是智能交通系统中研究的核心问题之一,准确高效的旅行时间计算可以有效地帮助道路管控,减少交通拥挤。然而面对巨大而且快速增长的城市道路交通检测数据,如何将分布式计算模式融合到传统的旅行时间计算问题中已成为一个亟待解决的问题。论文基于海量道路车牌识别数据,设计了基于MapReduce编程模型的城市道路旅行时间实测计算的算法。并利用Hadoop环境进行了实现,可以支持对自定义路段集下不同时间段道路旅行时间的计算。通过实验证明,相对于传统的旅行时间计算方式,在计算时间上基于MapReduce的旅行时间计算模式可以提高十倍以上。

面向高校教学云服务的虚拟机动态调度方法

随着教学信息化的不断深化,高校云平台越来越普及,但是实际应用中资源利用率仍然较低,核心问题在于当前的虚拟机调度机制未考虑高校教学应用的特征,从而导致负载不均和资源浪费。为了解决这一问题,从高校教学应用需求出发,提出了一种虚拟机动态调度算法(CRS),定义了课程虚拟机模型和物理机负载模型,并实现了基于OpenStack开源云平台的可对虚拟机进行动态调度的校园云平台。实验表明,提出的虚拟机动态调度方法达到了降低能耗及实现负载均衡的目标。

一种用户为中心的即时服务组合方法

针对现实中存在的业务需求在问题求解过程中动态变化、逐渐明确的情况,提出了一种以用户为中心的即时服务组合方法.基于动、静两类业务规则定义服务组合模型,在组合过程中,用户自主选择服务,通过否定性规则提高组合的灵活性,通过肯定性规则降低解空间;提出了基于规则的服务推荐方法和即时服务流程构造方法,为用户推荐无冲突的候选服务,帮助用户快速找到所需服务;定义了服务流程状态,为用户呈现服务流程的状态,实时为用户提示所构造流程的正确性.通过案例和相关工作比较说明:用户在服务组合过程中处于主导地位,流程实例边构造、边执行;系统通过规则状态判定服务流程状态,为正确构造服务流程提供支持;基于业务规则推荐的服务更准确,更能适应实际业务的需要.

面向信息资源聚合的物联网智能信息中心框架

物联网技术以主动感知、智能分析和反馈控制为基本要素,实现对"物体"的识别、监控和管理,在诸多领域取得显著的应用成效,同时也暴露出应用建设分散、缺乏体系、重复建设现象严重等问题。从回顾物联网的发展历史出发,对物联网技术架构和相关工作进行分析,提出面向信息资源聚合的物联网智能信息中心框架,通过对多源、分布、异构资源的汇聚、整合、分析与再加工,为实现资源共享、提高资源利用率、解决重复建设问题提供基础性支撑,并重点讨论了传感设备的标准化封装与接入、信息资源的一体化管理等关键技术。最后,通过在农业物联网中的应用示例分析了该框架的效果。

基于数字指纹的智能终端缓存一致性技术的研究

针对智能终端存在与服务器数据不一致的问题,提出基于数字指纹的数据一致性保障方法.数字指纹又叫hash指纹,采用改进的BKDR哈希算法将消息数据和实体文件数据映射成相应的哈希码.将需要进行一致性处理的数据集按合适的粒度进行划分,并在SOAP消息中附带hash指纹提取协议,智能终端通过Web服务从服务器端获取需要的hash指纹信息文件,然后通过比较智能终端和服务器的hash指纹信息文件消除差异,从而保障智能终端缓存与服务器数据的一致性.

一种可扩展集成化的云平台监控机制

随着云计算技术的发展,云平台的资源表现出多样性、动态性和规模巨大的特点,为了适应云平台资源的特点,并对云平台资源进行更好的监控和管理,提出一种可扩展集成化的云平台监控机制.运维人员可以根据需求集成多种监控软件,通过一体化的监控界面,方便运维人员和最终用户查看云平台的运行状态,从而有效缓解运维的工作压力,提高工作效率,确保云平台运行的稳定性与服务质量.通过实验验证了该机制可以适应云平台表现出的特点,是解决云平台监控难题的一种有效途径.

基于分词矩阵模型的模糊匹配查重算法研究

针对中文文本查重的需求,利用分词的结果,将待查重的目标文本和查重样本文本转换为分词矩阵模型,然后扫描和分析矩阵,得到查重结果。由此提出了一种查重算法,并通过实例验证了该算法具有一定的实用效果。

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。

基于云存储的二阶段动态优化调度机制

在分布式存储的研究中,如何高效地利用存储空间是个热点问题。存储集群中,每个数据节点存储容量不可能完全一致,由于主节点选择数据节点的随机性,被选中数据节点磁盘可能接近满额,此时主节点会自动做存储负载均衡,占用数据传输带宽,不仅影响数据传输的性能,而且会引起传输数据的不可靠。论文提出一种基于云存储的二阶段动态优化调度机制:第一阶段通过计算副本存储优选比率,采用基于贪心算法的局部优化存储方案,选择存储节点,均衡副本放置空间;第二阶段采用实时监控存储集群,动态调整副本放置节点,达到存储资源的高效利用。最后通过实验,验证了该调度机制可有效地放置副本,减少节点间的数据传输,并提高文件访问效率。

面向移动客户端的数据服务推荐策略研究

将移动设备所具有的随时随地、灵活按需的特点和云平台中的海量数据和服务无缝集成已成为云计算和移动计算共同的研究热点.在移动客户端上进行数据服务的推荐,可以减少用户在狭小的屏幕空间上进行浏览和选取带来的不便.同时,将位置信息作为推荐的依据可以增加推荐的准确性.提出一种面向移动客户端的数据服务推荐策略,综合使用图论模型、协同过滤模型等方法来进行推荐,可以支持移动用户快速准确地找到自己需要的数据服务.通过实例验证表明,该策略可以有效提高用户获取服务的效率,改善用户体验.

基于缓存的分布式统一身份认证优化机制研究

企业在进行应用系统集成时,普遍使用独立的身份认证系统来实现平台中身份信息的交换和共享。如何应对高并发、大用户流量的用户请求,是保障认证系统稳定、高效运行的重要问题。针对单认证中心负载过重,容易出现单点失效及系统响应慢的问题,提出了将认证服务器集群化的方案;将认证票据存储在缓存使得多个认证节点共享认证信息,并将重要且频繁使用的数据预存到缓存中以提高响应速度;结合复杂多样的用户行为提出了基于Hybrid的多因素缓存替换算法。实验结果表明,所采用的基于缓存的分布式认证架构能够保证系统的稳定性,提高系统的响应速度,改进的缓存替换算法提高了缓存命中率。

支持高并发数据流处理的MapReduce中间结果缓存

针对面向大规模历史数据的高并发数据流处理需求,为改进MapReduce的实时处理能力,提出了一种内存Hash B树、外存SSTable文件的key/value中间结果缓存,该结构具有可划分性、可扩展性和高效性.在此基础上,利用B树的平衡性特征提出了一种基于概率的B树构造算法和多路查询算法,利用读写开销估算和缓冲区信息改造了外存文件读写策略和内外存替换算法,进一步优化了中间结果的高并发读写性能.算法分析和实验证明了该缓存的有效性.

面向大规模感知数据的实时数据流处理方法及关键技术

为了在大规模历史感知数据基础上实现针对高速传感数据流的实时计算,提出一种面向大规模历史数据的数据流处理方法RTMR,通过中间结果缓存、流水化和本地化改进了MapReduce的数据流处理能力。在此基础上,为了适应性地构造RTMR集群,利用模型分析方法根据应用特征和集群环境配置节点类型和拓扑结构。为实现集群的负载均衡,通过计算负载状态转换关系分组空闲节点和过载节点,将NP难的动态负载均衡问题快速分解为规模较小的子问题,并且综合执行时间和数据移动代价作为子问题的优化目标,提高应对负载倾斜的反应速度。实验表明,上述方法和技术能够保障大规模历史数据上数据流处理的可伸缩性。