大数据测试技术研究

在对大数据分析平台研究的基础上,根据国内外大数据测试的研究现状和在交通信息大数据分析平台测试中遇见的问题,对大数据测试技术进行了深入研究。首先分析了大数据测试的特点和难点,分析了在Hadoop处理过程各个阶段测试的主要特点与挑战;然后从功能测试和非功能测试两个方面,分析了大数据分析系统的测试方法。针对于大数据的"4V"特性,分析了测试的难点和解决方案,分析了对于具体业务背景的大数据分析系统在测试前期需要的准备工作和测试环境的搭建要注意的问题;讨论了现有的大数据测试基准及大数据测试中常用的测试工具;分析了大数据自动化测试的技术框架,并研究了在此框架内需解决的关键技术。最后分析讨论了大数据测试技术值得进一步研究的主题。

基于MapReduce的多元线性回归预测模型

针对传统的多元线性回归预测方法处理时间长且受内存限制的特点,对时序样本数据设计了基于MapReduce的并行多元线性回归预测模型。模型由三组MapReduce过程组成,分别求解由历史数据所构成叉积矩阵的特征向量和标准正交特征向量,用来预测未来参数的特征值和特征向量矩阵和未来时刻回归参数的估计量。设计并实现了实验来验证提出的并行多元线性回归预测模型的有效性。实验结果表明,基于MapReduce的多元线性回归预测模型具有较好的加速比和可扩展性,适合于大规模时序数据的分析和预测。

基于MapReduce的最小二乘支持向量机回归模型

针对最小二乘支持向量机处理大规模数据集耗时长且受内存限制的特点,将局部多模型方法与MapReduce编程模式相结合,提出一种并行最小二乘支持向量机回归模型。模型由两组MapReduce过程组成,首先按照输入样本集对样本数据进行聚类操作,再对聚类后得到的子类按输出样本集进行二次聚类操作,分别得到局部模型数目和各局部模型综合加权输出计算结果。实验结果表明,并行最小二乘支持向量机回归模型具有较好的加速比和可扩展性。

基于深度学习的短时交通量预测研究综述

短时交通量预测是智能交通领域的研究热点,对交通控制与管理具有重要的意义。传统的交通量预测方法难以准确地描述交通量数据内部的本质特征,而深度学习通过其深层结构,能够学习到交通量数据内部复杂的多因素耦合结构,进而对交通量做出更精准的预测,这也使得深度学习成为当前短时交通量预测领域的研究热点。文中首先介绍了传统交通量预测方法和深度学习的研究现状;然后按照生成型和判别型深度结构对现有基于深度学习的短时交通量预测方法进行分类,并总结了深度学习在短时交通量预测研究领域的主要方法,对其性能进行了对比研究;最后对深度学习在短时交通量预测领域存在的问题和发展趋势进行了探讨。

一种监测函数语义信息访存地址序列的方法

准确地获取应用程序在真实系统上运行的访存地址序列(traces)是进行内存系统调度及结构优化的基础.HMTT是自主研发的软硬件结合的内存监测分析系统,能够实时获取完整的全系统访存traces.但是得到的traces与应用程序上层事件之间存在语义鸿沟问题,比如上层函数执行流与访存traces的同步问题.针对该问题提出了一种软硬件结合获取包含函数级别语义信息访存traces的方法,软件方面通过二进制插桩的方式,直接修改内存中的进程映像,在目标函数的入口及出口各插入标记tag访存指令,进而能够被HMTT卡监测并识别.采用二进制插桩不需要程序的源代码,不需要对程序重新编译链接,而且引入的运行开销很小.实验表明采用软硬件结合的方式能够有效地获取包含函数级别语义信息的访存traces,对于SPECCPU2006中的访存密集型程序引入的性能开销只是原程序的62%,而使用Pin工具的纯软件方式获取访存traces将导致至少10.4倍的性能开销.