分布式数据流上的高性能分发策略

随着大数据应用的普及,高效可扩展的数据流操作在实时分析处理中扮演着越来越重要的角色.分布式并行处理架构是应对大流量、低延时数据流处理任务的一种有效解决方案.然而在Key-based分组并行处理中,由于数据的倾斜分布及数据流本身的实时、动态和数据规模不可预知等特性,使得数据流分布并行处理系统存在持续且动态负载不均衡现象,这会造成系统时效性降低、硬件资源浪费等问题.现有的研究工作处理均衡负载有两种方案:(1)基于key粒度的迁移,使得并行处理节点负载达到均衡;(2)基于元组粒度级别的拆分,采用随机分发使系统均衡.前者将系统调整至给定的均衡容忍范围内,类似于一维装箱的NP问题;后者对key的拆分势必带来新的为维护Key-based操作的正确性而增加的额外代价,如内存及网络通信成本.综合两种方法,提出对key按需拆分、尽量合并的方法,通过轻量级均衡调整算法以及保证Key-based操作特性的拆分方法,使系统既能达到后者的均衡,又能减少细粒度均衡所带来的额外代价.

DB-Tree:一种高性能的闪存数据库索引结构

闪存性能的优势使得闪存数据库系统成为目前研究的一个热点,索引是提高闪存数据库效率的一个重要手段。基于B+树索引结构,提出一种适用于闪存数据库的索引方法:DB-Tree。该方法将更新操作以一棵"伪B+树"的结构形式存储来避免检索时扫描整个更新日志区;以分支合并的方式使更新操作有针对性地聚集于闪存页;引入更新缓冲区大小及合并频率的自适应机制使闪存数据库适用于不同的读写负载。通过与经典的日志更新IPL B+TREE及无日志的μ-Tree索引方法的实验比较,证明所提出的DB-Tree在有效降低更新代价的同时大幅度提高了索引的查询性能。

一种具有自适应机制的闪存数据库索引结构

针对闪存数据库系统索引技术中基于日志更新策略存在的检索效率低、日志空间分配不合理及合并带来的高昂更新代价等问题,提出一种具有自适应机制的索引结构LM-B+TREE。LM-B+TREE将索引的更新缓冲页映射于传统B+TREE的相应节点,并根据闪存索引的读写负载及读写代价差异,动态地分配缓冲更新区,自适应地调整索引架构。实验证明LM-B+TREE能够动态地调整索引架构来适应索引的读写负载代价,在减少索引更新代价的同时,有效地提高了索引的查询性能。

支持通信数据查询分析的分布式计算系统

本文详细介绍一种基于分布式内存的通信数据管理平台,可以有效支持针对通信数据的实时处理以及在线查询分析任务.首先,通过对分布式技术、内存技术进行分析,依据通信业务的特点进行技术选型;然后,基于高性能的分布式内存计算环境,设计、实现针对通信数据的实时处理与在线查询分析平台;最后,利用内存技术对平台实现方案进行技术优化.实验结果表明,基于内存的分布式计算系统在查询响应速度、实时数据处理效率、系统资源利用率以及数据吞吐量上较基于硬盘的系统较大的性能提升.

分布式可扩展数据流连接算法

Join-Matrix是一种高性能的连接矩阵模型,方便部署于分布式环境下,支持任意连接谓词的数据流连接操作.由于采取随机分发元组作为路由策略,Join-Matrix可利用对元组内容的不敏感性来有效抵御数据倾斜.为了实现工作节点的负载均衡以及网络传输代价的最小化,基于连接矩阵模型设计一种高效的数据划分方案尤为重要.针对数据流连接处理,本文设计并实现了一种新颖的连接算子,可灵活地进行划分方案的自适应调整,以应对实时动态变化的数据分布.具体来说,我们根据数据流流量的采样信息和系统额定负载,通过一个轻量级的决策器制定出一个数据划分方案和相应的数据迁移计划,在保证输出结果完整性与正确性的情况下,实现迁移代价的最小化.本文在多种不同的数据集上进行了大量对比实验,结果证明,在资源利用率、系统吞吐率与时间延迟等方面,该连接算子较对比系统具有更高的性能体现.

基于改进灰关联分析的专利影响因素评估模型

采用改进的灰关联分析方法,构建了专利发展影响因素评估模型。研究并发现对贵州省专利发展影响较大的因素,为相关部门或人员决策提供了科学的参考依据。

农业适度规模经营的实践与思考--以潍坊市智慧农业为例

中共十九大会议上,习近平总书记提出加快农村农业现代化是党全面建设社会主义现代化国家的重要任务,也是党在现代化建设新阶段的重要目标。为了实现乡村振兴任务、帮助农村实现经济快速发展,推进土地适度经营以及增大财政投入,提高农业技术水平必不可少。潍坊市拥有首个国家级农业开放发展综合试验区,在农业改革发展道路上具有鲜明的代表性,是我国农业改革发展的先锋。本文立足于研究我国农业适度规模的发展道路,借鉴潍坊市智慧农业的成功先例,分析其特色道路、发展问题,总结其成功经验、应对策略,以期为我国农业现代化道路提供参考。

基于数据库原理实现的数据库实践教学方案

数据库作为计算机中基础软件的三大件之一,在现实应用中占据了举足轻重的地位。《数据库原理与设计》作为计算机专业一门重要的专业课程,为培养优秀的数据处理人才提供了有效的途径。当前随着诸如HBase、Redis和MongoDB的NoSQL普及,数据处理方式呈现出了多样化的形式,学生往往对数据管理工具的具体实施原理感觉较为迷惑。具体来说,目前数据管理工具的使用在学生视野内往往呈现出知其然而不知所以然的现象。本文拟通过设计一套易于被学生接受的数据库原理实践方案,通过从数据库实施原理的角度促进学生对数据库中查询、事务及存储的操作理解,进而提升学生对《数据库原理与设计》内容的理解效率。

支持非等值连接的分布式数据流处理系统

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.