Evaluation and Control of Cyclic Variation in Spark Ignited Engines by a Thermodynamic Model

An evaluation method of engine cyclic variation is proposed based on fuzzy mathematics concept. The degree of engine cyclic variation is divided into 4 levels: stable, slight variation, moderate variation and serious variation based on the statistic standard deviation of residual gas temperatures within the specified simulation cycles and the function of cyclic variation is also inducted for the cyclic variation control. Because the degree of engine cyclic variation can be estimated qualitatively, the effective control means can be applied to appease the undesired cyclic variation. Simulation result shows that for a very serious cyclic variation through the proper adjustment of the spark angle and the cyclic variation will disappear.

一种基于Spark的配置优化技术

在快速进行海量数据处理的电力应用中,Spark变得越来越重要,但其配置参数空间大且参数之间关联关系复杂,基于经验通过手动调整参数以获得最佳性能极其困难,故而提出一种基于Spark的配置优化方法。选取对Spark性能影响活跃的配置参数,通过MCMC采样和生成对抗网络(GAN)生成数据集;通过分层建模构建性能模型;通过粒子群算法在参数空间有效搜索应用程序的最佳配置。实验结果表明,采用所提出的方法使得Spark的性能相比经验调优平均提高了25%。

基于Spark的并行化组合测试用例集生成方法

软件系统的正常运行受很多因素影响,各种因素及其相互作用可能引发软件故障,需要设计测试用例检测这些故障.如果因素数量较多且取值情况较复杂,则所需测试用例的数量将非常庞大.如何设计规模较小的用例集是测试用例生成研究的一个关键问题.组合测试能够从待测软件的大规模组合空间中,生成小规模的用例集,实现对各因素取值组合的充分覆盖.已有研究表明,组合测试的最小测试用例集生成问题是一个NP完全问题.目前已有一些研究尝试使用启发式搜索算法生成尽可能小的用例集.启发式搜索算法将组合测试用例集生成问题转化为搜索问题,并使用元启发式算法生成用例集.启发式搜索算法通常能够生成较小规模的用例集,但需要较长的计算时间.为了解决这个问题,文中提出了一种基于Spark的岛模型并行化遗传算法,利用Hadoop分布式文件系统实现了Spark运行节点间交换信息的方法,进而实现个体在子种群间的迁移.该算法首先从初始种群创建Spark的弹性分布式数据集;然后,将该数据集划分为多个子种群分布到集群的多个节点中;接着,各个子种群在各自的节点上计算适应度函数值和独立进化,并每隔一定的进化代数选择一些个体在各个子种群间迁移,提高了种群的多样性以及搜索最优解的有效性和性能;最后,算法返回满足覆盖准则的最优测试用例集.这种基于Spark的并行化遗传算法是大规模并行化在组合测试用例集生成方面的一个有效尝试.在实验部分,首先对文中提出的并行化算法进行系统的参数调整,给出适合组合测试用例集生成的推荐参数配置;接着将文中所提算法与串行遗传算法和独立运行遗传算法进行比较.实验结果表明,文中所提算法在生成用例集规模和消耗时间上均显著优于这两个算法.在运行所选实例时,该算法比串行算法加速约4至30倍,比独立运行遗传算法加速约2至3倍.相对于已有的组合测试用例集生成方法,文中所提算法在生成用例集规模上也具备显著优势.

一种基于Spark的改进协同过滤算法研究

为提高协同过滤算法在大数据环境下的可扩展性以及在高维稀疏数据下的推荐精度,基于Spark平台实现了一种分层联合聚类协同过滤算法。利用联合聚类对数据集进行稀疏性处理并构建聚类模型,运用层次分析模型并结合评分密集度分析联合聚类模型中用户和项目潜在类别权重,由此进行项目相似度计算并构建项目最近邻居集合,完成在线推荐。通过在GroupLens提供的不同规模MovieLens数据集上实验表明,改进后的算法能够明显提高推荐的准确度,并且在分布式环境下具有良好的推荐效率和可扩展性。

面向Spark的图书借阅数据关联模型的研究

为了方便读者能在海量的图书资源中快速有效的找到需要的书籍,利用Map Reduce框架分块处理,结合关联分析Apriori算法,将数据挖掘技术应用到图书管理系统中。但需要多次扫描数据库和产生大量候选集,对Hadoop平台处理速度带来了巨大挑战,因此,针对传统的Apriori算法,提出基于内存计算、弹性分布式数据集处理的Spark平台为读者推荐书籍,指引读者的借阅行为。

基于Spark平台和多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测

分布式能源系统负荷预测是系统规划与经济运行的可靠前提和依据,在当前海量高维数据的背景下,有效的在线数据处理平台与精确的负荷预测方法是当前的研究重点。基于分布式能源系统负荷数据特点,在缺失数据处理、坏数据分类以及特征选择的基础上,建立了基于Spark平台与多变量L_2-Boosting回归模型的分布式能源系统短期负荷预测方法。首先,利用Spark平台分割全部数据得到多个子数据模型,通过并行计算提高数据处理效率,采用特征提取方法得出模型需要的输入向量;其次,将得出的有效数据信息输入到多变量L_2-Boosting回归模型进行训练学习,得到训练后的多变量L_2-Boosting回归模型;最后,利用测试数据测试模型。算例结果验证了所提模型的有效性。

基于Spark的线性模型在广告投放系统中的应用研究

针对在线广告投放中对实时性和高精确度的要求,对比了Hadoop和Spark两种主流平台在实现流程及效率方面的差异,提出了将线性模型结合Spark技术应用在广告投放系统中,并从数值特征、迭代和步长等方面对模型进行优化.经测试表明,调优后的精确度有5%至10%的提升.

Spark并行化基于物品协同过滤算法

针对传统的基于物品(Item-Based)协同过滤算法处理海量数据时耗时过长和效率低下问题,提出基于Hadoop分布式平台以及Spark并行计算模型的Item-Based协同过滤算法。综合考虑推荐系统的执行效率和推荐质量,通过对ItemBased协同过滤算法的改进,实现一个Spark并行化的音乐推荐系统。选取部分KDD Cup比赛数据集在推荐系统中进行测试,为目标用户生成音乐推荐结果和评定推荐误差,实验结果表明,改进后的算法在执行效率和推荐质量方面有了显著提高。

基于Geomagic spark的手扶式插秧机变速箱箱体重构

变速箱是插秧机的核心部件之一。本文针对插秧机变速箱箱体改造,应用逆向工程软件Geomagic spark来重构变速箱箱体,并对其进行优化设计。首先,利用手持式激光扫描仪对变速箱箱体进行扫描,获取三维点云数据;再利用正逆向混合软件Geomagic spark对扫描得到的点云数据进行三角形网格模型重建;依据三角形网格数据重构变速箱箱体的三维几何模型。根据得到的三维几何模型对模型进行优化,最后在SolidWorks Simulation中进行有限元分析,为箱体的优化设计提供了理论基础。利用逆向工程技术对插秧机变速箱箱体进行优化,可以缩短设计周期,降低设计成本。

基于Spark框架的图书馆个性化服务系统设计

为给图书馆用户提供更个性化的推荐服务,引进Spark框架设计图书馆个性化服务系统。首先,请求录入用户注册系统后在图书馆中的主动浏览行为,过滤无用信息,实现用户个性化行为提取;其次,设计图书馆服务类目服务请求分发程序,根据用户提出的主动服务需求,响应其请求并提供推荐服务;最后,引进协同过滤算法,设计面向用户的个性化服务项目主动推荐行为,完成系统开发。实验结果表明,开发的服务系统可以提高推荐服务项目与用户需求项目之间的适配度,从而满足图书馆用户对服务的个性化服务需求。

基于美国SPARK课程理念下的中小学体育课程构建

面对我国中小学体育教学中存在的种种问题,分析了美国"SPARK"课程教学过程及相应特点,借鉴美国"SPARK"课程开发的成功经验,提出了我国中小学体育教学模式改革的模式及策略。

基于隐马尔科夫模型的spark作业异常分析

随着大数据技术的不断发展,数据分析越来越受到人们的关注,Spark作为大规模数据处理的快速通用的计算引擎,由于它的高速性而被各大商家应用于实际生产过程中。本文通过隐马尔科夫模型(HMM),选择在实际生产过程中,在进行海量的数据分析过程中出现的异常进行分析,以实际任务执行时的:内存溢出、垃圾回收异常、序列化异常为指标,根据实际出现异常时的提示,来确定HMM状态空间、确定相应的观测值、计算相关的参数,进而构建针对于Spark作业工作过程中的出现异常时的隐马尔科夫模型,用来揭示引发异常的类型,来对实际生产过程中出现此类问题时提供可靠的类型诊断。

基于Spark的并行SVM算法研究

随着数据规模的不断增加,支持向量机(SVM)的并行化设计成为数据挖掘领域的一个研究热点。针对SVM算法训练大规模数据时存在寻优速度慢、内存占用大等问题,提出了一种基于Spark平台的并行支持向量机算法(SP-SVM)。该方法通过调整层叠支持向量机(Cascade SVM)的合并策略和训练结构,并利用Spark分布式计算框架实现;其次,进一步分析并行操作算子的性能,优化算法并行化实现方案,有效克服了层叠模型训练效率低的缺点。实验结果表明,新的并行训练方法在损失较小精度的前提下,在一定程度上减少了训练时间,能够很好地提高模型的学习效率。

基于Spark的船舶航行轨迹聚类方法

依托船舶自动识别系统(Automatic Identification System,AIS)数据,利用云计算并结合聚类算法,对船舶历史数据进行轨迹聚类分析,构建船舶航行正常轨迹模型,为实时检测船舶异常轨迹奠定基础,进而为提高水上交通监管智能化水平提供新方法。针对目前轨迹聚类算法效率低等问题,基于Spark内存计算技术及数据分区思想,提出一种改进的并行子轨迹聚类算法SPDBSCANST(Parallel DBSCAN of Sub Trajectory Based on Spark)。以长江航道武汉段船舶航行数据为例进行试验验证,并通过可视化方式呈现。结果表明,改进后的算法的聚类效率和效果都有明显提升。

Spark在集成学习文本情感分析中的应用

针对使用集成学习方法进行大规模文本情感分析实验中计算时间瓶颈的问题,提出基于Spark平台的集成学习模型并行化算法。使用三个数量级的文本进行集成学习的对比实验。结果表明,该算法大幅缩短了文本分类时间,F-score等相关评价指标与单机版本接近,且算法的可拓展性良好,大幅降低了模型优化和调参的时间成本。

基于Spark的遥感影像金字塔瓦片构建

随着传感器技术发展和大容量存储设备价格的下降,遥感影像数据量飞速增长并达到海量存储的程度,传统的单机集中式存储和检索技术已经不能满足数据高效存储和快速访问的要求.本文在传统的影像金字塔的构建方法上,采用基于内存计算的计算引擎Spark来构建遥感影像金字塔并给出了算法的构建过程,实现了基于Spark的遥感影像金字塔的并行构建.实验表明,相对于传统的遥感影像金字塔构建,性能和计算效率都有较大提高.

基于Spark的分布式交通流数据预测系统

在大数据时代,在城市复杂交通环境中,实现实时、准确的交通流预测,是实现智能交通系统的必要前提。提出了一种在Spark平台上基于梯度优化决策树的分布式城市交通流预测模型(distributed urban traffic prediction with GBDT,DUTP-GBDT);并提出了分布式情况下梯度优化决策树模型实现的优化方法,包括切分点抽样、特征装箱和逐层训练三种,提高了分布式情况下梯度优化决策树训练效率。基于Spark分布式计算平台高效、可靠、弹性可扩展的优势,以及梯度优化决策树模型准确率较高和时间复杂度较低的优点,利用时间特征、道路状况特征以及天气特征等特征参数,建立了DUTP-GBDT模型,实现了实时、准确的交通流预测。通过与GABP、GA-KNN、MSTAR等模型的对比,证明了利用Spark平台,DUTP-GBDT模型在分布式环境下准确率和训练速度方面均有所提高,符合城市交通流预测系统的各项要求。

基于Spark的电商网站用户行为分析预测系统研究

以Spark软件为工具,对电商网站用户行为分析预测系统进行探讨,在此基础上,对一家电商平台进行了一系列的预处理,包括在一定的时间段内,对用户的行为进行处理,提出时间序列规则处理原始数据动态滑动窗口。用户行为分析实验表明,XGBoost的训练模式表现最好,而决策树的学习效果最差。XGBoost模型无需对全部的训练进行集合,是通过XGBoost在每一个滑行窗口内使用XGBoost来输出最后的预测。XGBoost在预测结果正确率、稳定性方面均较好。Spark平台主要由数据读入、RDD的创建、用户行为预测计算三部分构。相比Hadoop平台,基于Spark平台系统效率提高了近8倍,系统运行速度降低幅度较大,减少了电商网站运营成本,Spark平台系统可靠性较高。

基于Spark大数据计算模型的多种群并行进化遗传算法

由于经典SPGA缺乏多种群并行进化能力,当问题规模较大时,计算效率偏低。为此,深入研究Spark大数据计算模型并行机制与多种群并行进化机制的潜在关系,将多种群并行进化机制引入经典SPGA,形成一种新的SPGA——MPE-SPGA;将提出的算法应用于TSP,选取EIL51、CH130和TSP225三种数据集,分别代表小型、中型和大型数据集。实验结果表明,提出的MPE-SPGA在小型数据集上计算时间比原算法减少3%,计算性能有小幅提升;在中型和大型数据集上,计算时间分别减少了22%和31%,性能提升显著。

Spark作业性能建模及参数优化

Apache Spark分布式大数据计算框架应用广泛,但是其配置参数繁多导致使用难度较大,且不合理的配置将严重影响作业执行性能,研究Spark参数对性能的影响并进一步对参数进行自动优化具有重要意义。该文分析了Spark作业中影响系统行为的关键参数,建立了性能模型,并进一步探索了Spark参数自动优化的方法和策略。通过提取作业执行过程中对性能有影响的参数,对主流的19种回归模型进行了对比测试,获得通用性和拟合效果都比较好的6种回归模型,并针对不同类型的Spark任务在特定集群上建立性能模型,最后依据建立的性能模型在参数空间中利用改进的多起点爬山搜索算法寻找最优的参数组合。实验证明经参数优化后Spark作业性能有较大提升。