分布式数据流处理系统管理中负载均衡问题建模与求解

对分布式数据流处理系统管理中,处理节点负载均衡问题进行了研究。阐述了分布式数据流处理系统的运行机理以及节点负载不均衡的成因,并提出了对系统负载均衡调整的优化方案;对提出的优化方案建立模型,并对模型的适用条件进行理论分析;然后采用蚁群算法对模型进行求解,并针对分布式数据流处理系统实时性的需求对算法进行改进;最后用实验证明本文所建立的模型及其求解方法对于解决分布式数据流处理系统管理中节点负载均衡问题的有效性。

支持非等值连接的分布式数据流处理系统

实时处理的分布式数据流系统在当今大数据时代扮演着越来越重要的角色.其中,连接查询是大数据分析处理中最为重要且开销较大的操作之一.然而,由于现实应用产生的数据普遍存在倾斜分布现象,加之数据流本身的无界性与不可预知性,给在分布式数据流系统上进行连接查询处理提出了严峻的挑战.目前工业界较为主流的数据流系统处理连接查询的通用性较低,没有提供专门针对连接操作的接口;学术界推出的数据流连接查询原型系统虽然提供了接口,但大多面向等值连接,或仅能支持部分theta连接,且存在资源开销大、负载均衡性能低等问题.本文对比分析三种典型数据流系统,将基于Join-Matrix的连接处理技术与Storm系统相结合,设计并实现了通用的、可支持任意连接查询的数据流处理系统.实验展示了本文设计的系统具有更加良好的吞吐量与资源优化表现.

面向分布式流处理系统的故障检测及容错策略

为解决智能手机主要依靠的客户端-服务器计算模式所面临的蜂窝网络瓶颈问题,提出将智能手机作为分布式计算平台,直接在手机上处理感应数据的方法,设计一种可以直接在智能手机上运行的分布式流处理系统Mobi Streams。研究在智能手机上部署DSPS系统所面临的故障检测及容错策略问题,利用部署在美国的一项SignalGuru手机应用进行性能评估。仿真结果表明：从服务器平台迁移到智能手机平台有效解决了蜂窝网络的瓶颈问题。与传统基于服务器的DSPSs相比,吞吐量提升0.78-42.6倍,延时降低10%-94.8%。

基于智能手机的分布式流处理系统设计

当前智能手机应用中仅仅将手机当作廋客户端,通过蜂窝网络把感知信息发往服务器进行处理,使得蜂窝网络成为瓶颈,影响了应用的总体性能。文中提出一种在手机上运行的分布式流处理系统Mobi Streams,该系统可以把计算任务从远程服务器转嫁给本地手机,缓解了蜂窝网络的压力。另外,该系统通过设计的检测点策略有效解决了在智能手机上部署DSPS系统所面临的容错问题。

一种基于移动设备的分布式流处理系统设计

当前智能手机应用主要依靠客户端-服务器计算模式,仅仅将手机当作瘦客户端,通过蜂窝网络把感知信息发往服务器进行处理,这使蜂窝网络成为瓶颈,影响了应用的总体性能。提出一种可以直接在手机上运行的分布式流处理系统MobiStreams。该系统可以把计算任务从远程服务器转嫁给本地手机,缓解了蜂窝网络的压力。另外,该系统通过设计的检测点策略有效解决了在智能手机上部署DSPS系统所面临的容错问题。利用部署在美国和新加坡的两个实际应用进行性能评估,结果表明从服务器平台迁移到智能手机平台解决了蜂窝网络的瓶颈问题,使吞吐量提升0.78-42.6倍,延时降低10%-94.8%。

分布式数据流挖掘技术综述

网络信息技术的高速发展产生了新的数据模型,即数据流模型,并且越来越多的领域出现了对数据流实时处理的需求,庞大且高速的数据以及应用场景的实时性需求均推进了数据流挖掘技术的发展。首先介绍了常见的数据流模型;然后根据数据流模型的特点总结数据流挖掘的支撑技术;最后,分析了分布式数据流挖掘的重要性和有效性,给出了算法并行化的数学模型,并介绍了几种具有代表性的分布式数据流处理系统。

从几个国防课题研究看实验力学在航空工程发展研究中的优势和重要作用

介绍十五年来，在四川大学工程信息技术研究所，作者主持和直接参加的几项航空工程重大课题研究的情况，这些课题有的获得了国家（国防）发明奖、发明专利；有的为我国新型歼击机的研制提高综合性能、保证飞行安全提供了关键重要试验数据，并为有关军标的制定提供试验设备和技术；有的被编入我国的大型“航空发动机设计手册”。研制工作经验特邀在国家教委召开的国防科技委成立大会上做了题为“民口高校承担某些军品型号任务研制可以做到花钱少、技术高、周期短”的经验交流报告。 从介绍情况中，可以看出实验力学在解决国防工程研究中具有的优势和重要作用，文中提出了工作中的几点认识，其目的是拟说明如何才能做好这些工作。

Developing a Risk Assessment Model for Typhoon-triggered Debris Flows

A methodology is developed for interactive risk assessment of physical infrastructure and spatially distributed response systems subjected to debris flows.The proposed framework is composed of three components,namely geotechnical engineering,geographical information systems and disaster management.With the integration of slope stability analysis,hazard scenario and susceptibility,geological conditions are considered as temporary static data,while meteorological conditions are treated as dynamic data with a focus on typhoons.In this research,the relevant parameters required for database building are defined,and the procedures for building the geological database and meteorological data sets are explained.Based on the concepts and data sets,Nantou and Hualien in Taiwan are used as the areas for case studies.

Continuous query scheduler based on operators clustering

Data stream management system (DSMS) provides convenient solutions to the problem of processing continuous queries on data streams.Previous approaches for scheduling these queries and their operators assume that each operator runs in separate thread or all operators combine in one query plan and run in a single thread.Both approaches suffer from severe drawbacks concerning the thread overhead and the stalls due to expensive operators.To overcome these drawbacks,a novel approach called clustered operators scheduling (COS) is proposed that adaptively clusters operators of the query plan into a number of groups based on their selectivity and computing cost using S-mean clustering.Experimental evaluation is provided to demonstrate the potential benefits of COS scheduling over the other scheduling strategies.COS can provide adaptive,flexible,reliable,scalable and robust design for continuous query processor.