多媒体云计算下的大规模数据流调度方法研究

传统的多媒体数据流调度方法在云平台环境下,未考虑服务器信息调度的差异性,容易形成数据调度冲突,调度效率低。为了解决上述分析的问题,通过构建多媒体云计算下数据流调度平台,实现对多路大规模多媒体数据流的合理调度,利用多级分层结构将多媒体云计算下的多服务器大规模数据流调度过程划分成管理层面、控制层面以及数据层面,可确保将数据包均匀的分配给各个服务器,充分发挥云计算下的多服务器可并行处理的特性,增强数据流的调度质量。对调度平台的软件框架进行了详细的描述,依据该软件框架的多层次实现大规模数据流调度优化,分析了大规模数据流调度的具体实现过程,并给出大规模数据流调度平台软件代码的设计。实验结果表明,所提方法增强了多媒体云计算下的大规模数据流调度的并发性能,提高数据流调度质量。

面向大规模数据流处理的偏最小二乘法

用光谱分析鉴别生物特征,导致数据量大,而实际需要必须实时处理。偏最小二乘法是使用最广泛的鉴别算法,但是对于大规模数据流该算法无法达到实时性。为了解决这个应用矛盾,提出了一种基于NVIDIA CUDA架构下的并行计算策略,利用具有大规模并行计算特征的图形处理器(GPU)作为计算设备,结合GPU存储器的优势实现了偏最小二乘算法。实验的测试结果表明,在GPU上使用CUDA实现的偏最小二乘算法比在CPU上实现该算法快了47倍,性能得到了显著提高,从而使偏最小二乘算法应用于大规模数据流处理成为可能。

大规模数据流统计中冷热流替换策略优化

对大规模数据流统计的问题进行了研究,针对大流统计的典型结构Elastic Sketch替换策略中存在的问题进行优化,优化策略解决了冷流被误判为热流插入重部的问题。针对重部中保存的不一定是最大流的问题进行优化,提出了基于最大值和组相连的替换策略,保证了存储在重部的一定是最大的流,提高了大流统计的精度,同时大大降低了热碰撞发生的概率。相比于传统的测量统计方法,在提高了测量精度的同时,减少了内存占用。

干扰状态下大规模网络数据流的分发协调技术研究

干扰状态下大规模网络数据流具有实时性、波动性、突发性等特点,当前数据流分发协调方法无法保证数据流的平稳传输及分发协调的实时性。为此,提出一种新的干扰状态下大规模网络数据流分发协调方法,通过网络数据流预测值和实际值之间的误差滤除干扰状态下的干扰数据,保证剩余数据流的纯正性。将大规模网络数据流分发协调问题转换成多目标优化问题,以提高大规模网络数据流分发协调的整体性能为目的设定一个目标函数,提出一种大规模网络数据流分发协调预测技术,通过比较处理器计算资源和未来的预期负载确定数据流分发协调策略。实验结果表明,采用所提方法对干扰状态下大规模网络数据流进行分发协调,不仅效率高、实时性好,而且CPU资源利用率很高。

易变数据流的系统资源配置方法

大规模数据流管理系统往往由上层的关系查询系统和下层的流处理系统组成。当用户提交查询请求时,往往需要根据数据流的流速和分布情况动态配置系统参数。然而,由于数据流的易变性,频繁改变参数配置会降低系统性能。针对该问题,提出了OrientStream+框架。设定以用户自定义查询延迟阈值为间隔片段的微批量数据流传输机制;并利用多级别管道缓存,对相同配置的数据流进行批量处理;然后按照数据流的时间戳计算出精准查询结果;引入基于异常检测的增量学习模型,用于提高OrientStream+的预测精度。最后,在Storm上实现了该资源配置框架,并进行了大量的实验。实验结果表明,OrientStream+框架可进一步降低系统的处理延迟并提高系统的吞吐率。

基于实时大数据分析的流量异常检测研究

本文针对传统流量异常检测方法在大规模数据流下检测力不足的问题,在深入研究相关具有代表性的时间序列机器学习分类算法后,结合先进的流式计算引擎,设计基于实时大数据分析的流量异常检测系统。系统改进了CICFlowMeter流量探针,增加Kafka支持,降低了系统的耦合度。在流式数据预处理阶段,采用Spark Streaming对统计特征数据进行降维和编码。在模型训练阶段,采用CSE-CIC-IDS2018作为模型训练集。系统通过运用多种机器学习算法进行在线检测,实现大规模数据流实时检测和流量异常预警,有助于提升信息系统的安全防护能力。