HybridTune: Spatio-Temporal Performance Data Correlation for Performance Diagnosis of Big Data Systems

With tremendous growing interests in Big Data, the performance improvement of Big Data systems becomes more and more important. Among many steps, the first one is to analyze and diagnose performance bottlenecks of the Big Data systems. Currently, there are two major solutions. One is the pure data-driven diagnosis approach, which may be very time-consuming;the other is the rule-based analysis method, which usually requires prior knowledge. For Big Data applications like Spark workloads, we observe that the tasks in the same stages normally execute the same or similar codes on each data partition. On basis of the stage similarity and distributed characteristics of Big Data systems, we analyze the behaviors of the Big Data applications in terms of both system and micro-architectural metrics of each stage. Furthermore, for different performance problems, we propose a hybrid approach that combines prior rules and machine learning algorithms to detect performance anomalies, such as straggler tasks, task assignment imbalance, data skew, abnormal nodes and outlier metrics. Following this methodology, we design and implement a lightweight, extensible tool, named HybridTune, and measure the overhead and anomaly detection effectiveness of HybridTune using the BigDataBench benchmarks. Our experiments show that the overhead of HybridTune is only 5%, and the accuracy of outlier detection algorithm reaches up to 93%. Finally, we report several use cases diagnosing Spark and Hadoop workloads using BigDataBench, which demonstrates the potential use of HybridTune.

基于VAE-LSTM模型的无人机飞行数据异常检测

无人机飞行数据是反映其自身飞行安全的重要状态参数,通过对飞行数据进行异常检测,是提高无人机整体飞行安全性的关键举措。尽管基于数据驱动方法不需专家先验知识和精确的物理模型,但缺乏参数选择且检测网络结构模型单一,使得检测模型由于参数过多导致过拟合以及无法有效捕捉数据异常模式的问题。文中结合变分自编码器和长短期记忆网络的优势,提出了一种基于VAE-LSTM的无人机飞行数据异常检测模型方法。首先,引入肯德尔相关性分析方法用于选择相关依赖的飞行数据参数集;其次,将具有相关性的参数集对所设计的VAE-LSTM深度混合模型进行训练,学习不同数据特征之间的关系映射;最后,以无监督异常检测方式在真实多维无人机飞行数据进行验证。实验结果表明,VAE-LSTM的精密度、检测率、准确率、F1分数及误检率的各项平均性能指标分别达到95.24%、98.71%、98.8%、96.82%、1.31%,相比于KNN、OC-SVM、VAE、LSTM模型,整体上展现出较好异常检测性能。

Spatio-temporal correlation between human activity intensity and land surface temperature on the north slope of Tianshan Mountains

Research on the spatio-temporal correlation between the intensity of human activities and the temperature of earth surfaces is of great significance in many aspects,including fully understanding the causes and mechanisms of climate change,actively adapting to climate change,pursuing rational development,and protecting the ecological environment.Taking the north slope of Tianshan Mountains,located in the arid area of northwestern China and extremely sensitive to climate change,as the research area,this study retrieves the surface temperature of the mountain based on MODIS data,while characterizing the intensity of human activities thereby data on the night light,population distribution and land use.The evolution characteristics of human activity intensity and surface temperature in the study area from 2000 to 2018 were analyzed,and the spatio-temporal correlation between them was further explored.It is found that:(1)The average human activity intensity(0.11)in the research area has kept relatively low since this century,and the overall trend has been slowly rising in a stepwise manner(0.0024·a-1);in addition,the increase in human activity intensity has lagged behind that in construction land and population by 1-2 years.(2)The annual average surface temperature in the area is 7.18℃with a pronounced growth.The rate of change(0.02℃·a-1)is about 2.33 times that of the world.The striking boost in spring(0.068℃·a-1)contributes the most to the overall warming trend.Spatially,the surface temperature is low in the south and high in the north,due to the prominent influence of the underlying surface characteristics,such as elevation and vegetation coverage.(3)The intensity of human activity and the surface temperature are remarkably positively correlated in the human activity areas there,showing a strong distribution in the east section and a weak one in the west section.The expression of its spatial differentiation and correlation is comprehensively affected by such factors as scopes of human activities,manifestations,and land-use changes.Vegetation-related human interventions,such as agriculture and forestry planting,urban greening,and afforestation,can effectively reduce the surface warming caused by human activities.This study not only puts forward new ideas to finely portray the intensity of human activities but also offers a scientific reference for regional human-land coordination and overall development.

EcoVis:visual analysis of industrial-level spatio-temporal correlations in electricity consumption

Closely related to the economy,the analysis and management of electricity consumption has been widely studied.Conventional approaches mainly focus on the prediction and anomaly detection of electricity consumption,which fails to reveal the in-depth relationships between electricity consumption and various factors such as industry,weather etc..In the meantime,the lack of analysis tools has increased the difficulty in analytical tasks such as correlation analysis and comparative analysis.In this paper,we introduce EcoVis,a visual analysis system that supports the industrial-level spatio-temporal correlation analysis in the electricity consumption data.We not only propose a novel approach to model spatio-temporal data into a graph structure for easier correlation analysis,but also introduce a novel visual representation to display the distributions of multiple instances in a single map.We implement the system with the cooperation with domain experts.Experiments are conducted to demonstrate the effectiveness of our method.

我国老年人口健康预期寿命变动分析——基于人口普查数据的实证研究

目的:探究我国2010—2020年60岁及以上老年人口健康预期寿命的性别差异及时空分布特征,为促进健康预期寿命性别平等和地区均衡提供实证依据。方法:基于全国第六次和第七次人口普查数据,使用沙利文法计算我国60岁及以上老年人口健康预期寿命并比较其性别差异及时期变动,采用空间自相关(Moran s I)分析健康预期寿命余寿占比的空间分布特点。结果:健康率随年龄增加而降低,男性老年人口健康率高于女性,性别差异主要集中在高龄段且随着时间缩小。女性的平均预期寿命和健康预期寿命均高于男性且提升幅度大于男性。健康预期寿命余寿占比,随时间扩大的基础上表现为男性高于女性,但性别差异呈缩小趋势;其空间分布特征为东部优于西部,且地区间的聚集程度增强。结论:十年间,我国老年人口健康水平提高,女性在长寿方面存在优势,但生存质量与男性相比仍然存在一定差距;老年人健康预期寿命余寿占比扩大,符合“疾病压缩”假说;同时,健康水平性别差异不断弥合,但地区间非均衡性加深。

基于L-DCGAN的风机齿轮箱时序温度数据生成模型

针对DCGAN网络生成的数据独立同分布无法很好地生成随时间演变自相关特性数据的问题,文章在原有网络上加入处理时序数据有着良好表现的LSTM网络构建新的生成网络和判别网络,得到改进的生成对抗网络L-DCGAN。在利用CNN自适应特征提取能力提高数据质量的同时,利用LSTM融合输出变量与其他输入变量在时间维度上的时序关联性,从而准确追踪数据的时间变化趋势,生成具有时间自相关特性的数据。以风机实际运行数据对模型进行验证,同时利用统计学以及结构相似性指标分别对DCGAN以及本文模型生成数据的真实性和相似性进行评估,评估结果表明,本文模型能够生成更加准确且相关性更高的数据。

增材制造工艺过程在线监测与诊断系统开发

3D增材制造产品成型过程中,各个关键参数的实时监控具有十分重要的现实意义。这里搭建了3D打印数采分析系统,提出了以ABB机器人、DeviceNet模块等为主体硬件,DeviceNet为实时通讯协议,C#为开发语言及SQL Server为数据库的设计方案,同时通过ARIMA时序机器学习模型,对采集的数据进行自相关函数分析。研究表明,数采分析诊断系统可以对机器人在3D打印过程中的各项数据进行实时监控,通过ARIMA模型的训练可以在焊接过程中对异样参数进行提前预警,从而对工艺参数的优化和产品质量的提升都有实际参考价值。

调度自动化系统主子站通道异常数据辨识

调度自动化系统的异常数据辨识和数据质量是电力系统精准调度和预测的基础,为数据分析提供了可靠的保障。针对异常数据对调度自动化系统的影响,提出一种调度自动化系统主子站通道异常数据辨识模型。首先,构建基于参数自适应的密度噪声空间聚类算法(Parameter Adaptation-Density Based Spatial Clustering of Applications With Noise,PADBSCAN)对异常数据进行辨识。此外,基于自相关性理论和数据传输的周期性,分析和挖掘传输数据以及用电行为中的潜在规律,通过用电相似度判据消除时间偏移的影响,对伪异常数据进行辨识。基于山东省某市的调度自动化系统主子站通道实测数据对本文方法有效性进行验证,结果表明所提方法能够有效辨识异常数据,能够满足实际工程需要。

基于伪自相关的侵彻数据处理方法

针对侵彻数据处理中,用固定频率进行滤波的处理时,侵彻介质层硬度、厚度以及滤波频率都会影响处理后的波形,不能真实地反映出侵彻过载变化,提出了基于伪自相关的侵彻数据处理方法。该方法用自乘进行线性调频脉冲压缩,然后进行低通滤波,提取出平滑的侵彻信号包络线。仿真结果表明:该方法提取出的信号包络线更加平滑、真实,可以增强减加速度值之间的差异,得到的波形能很好地反映出侵彻过载的情况,峰值数目为侵彻介质层的层数。

基于ESDA的福建省县域经济差异

基于ESDA方法,利用福建省1998年、2002年及2006年各县域人均GDP数据,对福建省县域经济发展水平的空间差异程度进行了分析.结果表明:福建省1998年、2002年和2006年全局Moran′s I指数均达到显著的空间正相关,区域经济发展呈现出明显的空间集聚现象;1998年至2006年,全局Morans′I值有降低的趋势,县域经济差异扩大.福建省经济发展的局部空间集聚现象亦十分显著,"高-高"关联的县域主要分布在闽东南和闽东部分地区,"低-低"关联的县域分布在闽北地区及闽西部分地区.总体上,经济发展水平呈正关联的县域数量远高于呈负关联的县域数量.并提出了解决差异扩大化的可行性建议.

海上地震资料多次波特征分析

多次波是海上地震资料的主要干扰波,压制多次波的前提是正确地识别多次波。由于多次波有多种类型、多个周期,形成机制又相当复杂,因此研究多次波特征就显得十分重要。本文以B区海上资料为例,通过炮集多次波时距关系分析、海水速度计算、多次波速度谱特征总结、共炮检距道集自相关分析、SRME波动方程多次波预测,系统地研究了复杂地震资料多次波的基本特征,初步掌握了该区多次波的形成机制,从而为多次波的压制提供了理论依据。

离散白噪声序列循环自相关函数估计的误差分析

在理想情况下，平稳白噪声在某一循环频率α上的循环自相关函数为零，因此对于具有循环平稳特性的信号利用循环自相关函数取代传统的自相关函数可以有效地抑制噪声。但在实际场合中由于数据长度有限，噪声循环自相关函数的估计量并不为零，因此将影响循环平稳方法的性能。本文推导了有限长数据下噪声循环自相关函数与数据长度之间的量化关系，给出了相应的物理解释，并通过Ｍｏｎｔｅ－Ｃａｒｌｏ实验验证了有关结论。

利用自回归模型的平稳时序数据快速辨识算法

由于自回归模型的参数估计可归结为求解一个线性方程组的问题,所以其在平稳时序数据的辨识过程中具有广泛的应用场合。提出了一种基于自回归模型的快速辨识算法,以递推的方式对平稳时序数据自相关函数矩阵的秩的下界值进行估计,再以该估计值作为自回归模型的起始阶数对系统进行依次的递阶辨识。最后,基于F检验对相邻阶次的拟合误差的变化趋势进行显著性检验,并以检验结果作为算法的结束条件。新算法在保证较高辨识精度的条件下,其计算效能及辨识精度的稳定性均优于现有的自回归模型辨识算法,实验结果验证了新算法的有效性和先进性。

中原经济区城镇化区域差异时空演化研究

对2008—2011年中原经济区所涉及5省30个市、县的影响城镇化水平的多个指标进行主成分分析,计算中原经济区各地级市的综合得分,运用探索性空间数据分析(ESDA)法,在工具型软件ArcGIS 9.3与空间统计分析软件GeoDa的支持下,对中原经济区城镇化综合水平进行区域差异分析。通过计算全局空间自相关指标和局部空间自相关指标,探讨中原经济区各地级市城镇化水平存在的空间差异性,并对差异原因进行剖析。分析得知中原经济区城镇化综合水平在空间上表现出较为明显的局部空间自相关集聚格局,由西北部向东南部呈降低趋势。针对分析的结果,提出提高城镇化水平的一些建议。

基于空间自相关性和模糊集的空间数据噪声点检测算法

大数据时代数据纷繁复杂,同时在数据挖掘过程中数据质量又至关重要,数据质量的高低将直接影响数据挖掘结果的好坏,但现实中数据缺失和噪声数据的现象在所难免。针对上述问题,通过引入空间对象的自相关性理论和模糊集理论,提出一种基于空间自相关性和模糊集的空间数据噪声点检测算法。该算法首先运用邻域对象的空间自相关性理论,计算出特定对象与邻域内其他对象的距离,进而将距离以模糊隶属度的概念予以表达,最后通过与该属性的置信水平进行比较,以此来判定噪声数据。理论分析和实验对比结果均表明,该算法对于处理空间数据噪声点问题是有效可行的。

无线传感器网络中缺失数据估计算法

为了提高无线传感器网络(WSN)中缺失数据估计值的精度,提出了一种自决策插值算法。该算法能够根据数据集的空间相关性以及缺失数据的连续性选择不同的缺失数据估计策略,并将自回归滑动平均(ARMA)模型引入到对缺失数据插值的研究中。与传统缺失值估计算法相比,该算法不仅考虑到无线传感器网络的特性,而且考虑到数据集本身的特性。在真实数据集上测试结果表明,该算法提高了对缺失值估计的精度。

B&K 2033A与APPLE-Ⅱ联机实现振动噪声分析的扩展功能数据处理系统的研究

本文以丹麦B&K公司出品的高分辨频谱分析仪2033A与APPLE-Ⅱ微机联机实现自相关与倒频谱分析。这种联机系统是在2033A同样功能扩展的各种系统中最经济并且相当实用的系统本文给出了具体的联机汇编程序,使用本系统于噪声振动等项目,尤其是轻轨车辆的噪声振动分析,充分显示了它的优点。

基于GIS-ESDA的区域经济时空差异分析

区域经济差异一直以来是国内外学者广泛关注的热点问题。本文从时空一体化角度出发,采用ESDA的全局和局部自相关分析方法以及nich指数,在ArcGIS9.3和GeoDA空间软件的支持下,利用陕西省1993-2008年县域人均GDP数据,对陕西省县域经济总体和局部空间差异进行了实证分析,揭示其空间相关性和空间异质性。通过对陕西省1993-2008年人均GDP的空间自相关系数的计算,可以得出:陕西省高水平的县域人均GDP比率经济空间格局呈现出"西南—东北"方向增加的态势,各个县域Moran's I指数存在着正的空间相关性,说明其空间集聚效应显著增强。研究结论对于揭示陕西省区域经济差异的演变具有重要的意义,同时也为政府决策部门在统筹经济发展上提供一些理论上的依据。

射孔资料自动化处理

射孔校深资料磁定位曲线的接箍深度记号数值一直采用人工方式用尺子丈量 ,放磁自然伽马曲线与裸眼井的自然伽马曲线以人工方式每 2 5m进行 1个井段校深。从相关对比原理和磁定位原理出发 ,研制了计算机自动校深、自动识别接箍的方法 ,编制了相应软件 ,使射孔校深的质量和时效发生了质的飞跃。对套管井的自然伽马曲线和裸眼井的自然伽马曲线进行的井段校深对比长度可以任意选择 ,使 2条曲线最大程度地校深在同一深度上 ,其一致性的提高大大减少了人为误差 ;计算机处理解释校深结果只须 3min就可完成 ,实效性明显提高。

基于典型相关分析和数据自回归处理的BP神经网络在聚丙烯熔融指数预报中的应用

由于聚丙烯生产是一个大量参数相互耦合的强非线性过程,使得传统的机理建模受到一定的限制。提出基于典型相关分析和数据自回归处理的BP神经网络软测量建模,通过可测变量来推知聚丙烯熔融指数。应用典型相关分析选择与输出熔融指数关系较大的独立输入变量,数据自回归处理校正一系列带有误差的量测数据,而BP神经网络用来刻画过程的非线性特征。最后,将提出的算法应用到聚丙烯大型生产工艺中进行熔融指数的预报建模并进行实例仿真,仿真结果表明该算法有较强的建模精度。