铁路机务数据集成共享平台设计与应用

为解决铁路机务数据集成难、治理复杂以及共享效率低的问题,文章提出了一套机务数据集成共享平台建设方案。其首先通过多源异构数据采集技术,实现将不同系统数据自动定时采集进入数据仓库中;然后针对数据仓库中数据进行分级、分类标准化治理,形成业务主题及专题库,同时提供了基于安全管控下的实时及离线数据共享模式,实现了数据面向不同场景下的数据共享。通过该平台在现场的建设,实现了节省机车预排检修计划时间70%以上、降低机车整备平均停时约20 min的效果。这表明该机务数据集成共享平台有助于促进多系统数据共享融合、提升铁路机务信息化水平、生产效率和管理能力。

n-of-N数据流模型上高效概率Skyline计算

研究概率数据流上的q-skyline计算问题.与只支持滑动窗口数据流模型的已有方法相比,所提出的方法能够支持更为通用的n-of-N数据流模型.采用将q-skyline查询转换为区间树上刺入查询的方法支持n-of-N数据流模型.提出PnNM算法维护支持n-of-N数据流模型所需的相关数据结构,高效处理了不确定对象候选集合更新和区间更新等维护工作;提出PnNCont算法实现连续查询处理.理论分析和实验结果表明,算法能够有效地支持概率数据流n-of-N模型上的q-skyline查询处理.

基于约束分析的Skyline属性相对重要性发现算法

skyline查询广泛应用于多目标决策等应用领域.优先skyline关系通过引入属性相对重要性扩展了传统的skyline关系;并且应用优先skyline关系能够减小skyline查询的结果集.提出了基于约束分析的skyline属性相对重要性发现算法CABDA.CABDA算法直接分析构造优先skyline关系所必需满足的约束集合的特征,从而确定每个属性与其他属性之间的相对重要性,最终得到满足约束的优先skyline关系.实验表明,与已有方法相比,CABDA算法能够以更少的时间开销计算出能够有效减小skyline查询结果集的优先skyline关系.

一种最大向量平均个数的估计方法

提出一种估计n个d维向量中最大向量平均个数的方法。该方法通过分析单个向量与其他向量子集的支配关系,求出最大向量平均个数的解析式。证明解析式满足已知的递归关系,得到最大向量平均个数的近似估计。与已有方法相比,该方法可应用到估计k个其他向量支配的平均个数问题。

不确定Skyline查询技术研究

当前不确定数据广泛存在于诸如传感器网络、RFID网络、基于位置服务、移动对象管理网上购物和市场监控等各种实际应用中.不确定Skyline查询作为不确定数据管理的一个重要方面,由于其在决策制定、市场分析、环境监控和数据挖掘等方面的重要作用,近年来在数据库和网络计算领域受到广泛关注.首先,概述了各种不确定数据类型上的Skyline查询定义,包括离散、连续概率分布模型以及不完全数据上的Skyline查询定义;其次,分析了不确定Skyline查询的特点,并在此基础上综述了现有的各种不确定数据集上的集中式和分布式Skyline查询方法,重点分析了各种算法的原理和优缺点;再次,介绍了不确定数据流上的Skyline查询定义并综述了各种不确定数据流上的Skyline查询方法;最后,基于最新研究动态指出了未来不确定Skyline查询研究的趋势.

TypeSampler:一种基于gossip的类型采样方法

在很多P2P应用中,节点可以根据其兴趣或资源划分为不同的类型,而以特定类型节点为目标的基于覆盖网的路由也就成为实现数据分发及查询的关键.非结构化覆盖网具有维护开销低、鲁棒性高的优点,却也因此难以保证路由效率.提出了一种基于gossip的类型采样方法——TypeSampler,它以等概率采样不同类型的节点(称为类型采样),以此保证在任意节点发现特定类型邻居节点的概率下界,进而保证非结构化覆盖网中的路由效率.为了实现类型采样,TypeSampler首先通过基于gossip的节点采样及反熵聚集估计各类型节点的比例,然后,TypeSampler再根据这些比例估计值周期性地维护每个节点的类型采样表.理论分析与实验结果表明,TypeSampler能够实现精确的类型比例估计以及近似均匀随机的类型采样,并能适应动态的网络环境.而且相对于已有的方法,TypeSampler能够支持更高效的路由,且具有更好的可扩展性.

面向车载数据洪峰场景的分布式流数据处理性能优化方法

在轨道交通领域中,车辆智能运维系统运用了各种大数据技术对车辆状态数据进行实时计算分析,从而实现状态监控和故障预警,指导关键设备现场维修作业,有效地提高了车辆运维人员的工作效率。然而,由于车地网络通信环境的不稳定,会导致某些单车下发的车载数据出现数据洪峰,而使用通用配置的大数据流数据处理框架处理此类场景时会出现性能瓶颈。文章针对产生该性能瓶颈的原因进行了深入分析,提出了基于自定义Kafka分区规则和使Spark Streaming处理框架参数最优化的方法,其将不同车辆的数据写入不同的Kafka分区中,并且控制Spark计算节点从Kafka读取数据的速率。实际项目应用结果表明,该方法能有效解决数据洪峰场景下的流数据处理速率跟不上数据读取速率而导致的性能瓶颈问题。