利用布隆滤波二次拆分的数据倾斜处理算法

MapReduce进行大数据分布式计算时,数据集倾斜特性将导致子任务间完成时间差异明显,影响计算性能。提出基于布隆滤波二次拆分的处理算法。考虑硬件配置、计算资源等约束,提出基于布隆滤波的改进Hash分区函数,缩小映射操作的选择范围。在Reduce阶段设计学习自动机分区算法,使用均匀分布抽样获取任务类型与规模,以Reducer范围为约束条件搜索Mapper与Reducer的近似最优映射。与不考虑Reducer异构的常规算法相比,所提算法网络开销与负载变化率可降低2.4%和28%以上,负载均衡度则提升7.31%以上,表明所提算法具有更高的计算效率。

数据驱动二次相关滤波器红外目标检测

针对传统红外目标检测算法易受目标和背景先验样本质量、目标姿态和视角及噪声等的影响,提出了一种新的基于稀疏编码的数据驱动二次相关滤波器目标检测算法,其中给出了目标自相关矩阵基字典的概念,该数据驱动滤波器模型能包容多种姿态和视角的目标,并能抑制噪声和样本质量的影响,同时可以舍弃对无规律背景样本的依赖,通过对行人和车辆的实验验证了该算法的有效性.所提算法的设计思想对诸多滤波器算法的改进具有很好的借鉴意义.

二次雷达目标信息处理中的滤波算法研究

讨论了ＳＳＲ 雷达数据的误差特点，提出了一种方便的平滑去噪滤波算法．

基于变维滤波算法的Kalman最佳平滑器在滑坡监测数据处理中的应用

本文研究如何对滑坡监测数据进行去噪。利用变维滤波算法能够很好描述滑坡变形的特性,建立了滑坡运动的数学模型,并引入变维滤波对滑坡监测数据进行降噪。为了提高滑坡预报精度,提出了一种基于变维滤波的Kalman最佳平滑算法。实例仿真结果表明利用该方法不仅预报精度高,而且也为寻找滑坡监测数据中的变点提供了新的思路。

航管二次雷达数据处理

为了持续稳定跟踪和询问到空中客机,基于航管二次雷达工作原理,设计了航管二次雷达数据处理功能模块。在Vxworks嵌入式操作系统上采用交互多模滤波技术完成了对客机改变航道或转弯时的航迹跟踪和数据处理。外场试验结果表明,通过航管二次雷达数据处理功能模块的合理划分以及采用交互多模滤波跟踪技术能实现对空中客机的实时监视,并与其保持正常通信。

制冷系统数据采集及二次处理软件的开发

讨论在制冷循环系统中,利用Visual Basic设计开发HP34970A数据采集器二次处理软件的过程。内容包括软件的人机界面设计、采集数据的获得、数据库的调用、采集结果的显示以及软件开发过程中需要注意的问题等,并结合部分程序源代码进行分析。尽管设计基于的系统是以蒸发器、冷凝器、节流阀、压缩机四大部件为组成部分的蒸气压缩式制冷系统,但对其他形式的制冷系统,程序开发方法和技术同样具有重要的参考价值。

基于数据缓冲池技术的二次设备状态评价数据处理方法

提出了一种在主站端针对大量二次设备状态监测数据进行分析、处理、评价的解决方案。通过监测数据解析任务读取监测信息,并从数据库中找到需要进行状态评价的数据对象,将其填入数据缓冲池中,状态评价任务循环访问数据缓冲池,对缓冲池中的数据对象进行处理、评价,完成后将缓冲池中的数据对象和评价结果在数据库中进行更新入库保存,实现了多任务并行处理。通过标记状态评价对象在缓冲池中的任务状态,避免了重复评价相同的数据对象,提高了系统使用效率。

基于算子计算的试飞数据二次处理软件设计

试飞数据二次处理作为试飞数据事后处理的关键环节,通常数据种类复杂、数据量大并且计算复杂,根据实际工程情况设计一种基于算子计算的试飞数据二次处理软件系统。该系统由试飞科目准备、数据处理和数据分析三个模块组成,系统内置多种试飞参数计算算子库,可方便数据处理工程师自动调用、增加、删除或者修改计算算子;同时系统实现了多型号、多科目和多架次的数据快速批处理以及数据可视化分析的功能,可方便数据分析与排故,为数据综合处理提供便利。通过多次试验测试,软件具有良好的可靠性和稳定性,在试飞数据二次处理中得到了广泛应用。

试论智能变电站二次系统异常智能处理

文章针对智能变电站二次系统在运行过程中可能出现的异常情况,提出有效解决措施,避免故障问题进一步扩大。通过分析智能变电站二次系统的基本构成、常见的异常类型及其成因,包括母差保护故障、智能终端故障以及通信故障,根据故障提出针对性解决措施。

基于最小二乘法的均衡滤波器在高密度电法数据处理中的应用

最小二乘法均衡滤波器是二维滤波器,其滤波窗口是一个面积单元。最小二乘法均衡滤波器对原始数据中的单点及线型跳度异常具有很强的压制作用。使用该滤波器时应首先剔除飞点,然后再选择合适窗口对原始数据进行滤波处理。内蒙古某露天煤矿采空区勘探及陕西南部某铁路路基勘探表明,选用与平滑点相邻的8点组成的面积单元进行均衡滤波,可有效突出高阻异常及低阻异常,并准确推断土岩界面、采空区巷道、破碎带及断层位置。

网络消费动态价格指数的二次平滑处理与预测

传统消费价格指数的静态测度特征表现出局限性,文章根据二次平滑处理原理,利用滞后偏差对物价的发展变化进行动态调整,构建网络消费动态价格指数(DPI),该指数的优点在于:第一,测算精准度高,误差率相对传统消费价格指数低,且能通过显著性检验;第二,对消费价格趋势具有较强的预测能力,可依据t期内的消费价格实际值预测t+1时期的价格。网络消费动态价格指数(DPI)也存在一定的局限性,即对参数?值的依赖性大,需通过蒙特卡洛模拟进行参数校准得到准确的?值,才能进行下一步计算,否则指数准确率将大大降低。利用构建的网络消费动态价格指数(DPI)预测,自2009年我国网络消费进行快速期后,未来20年是网络消费井喷期。

基于高程异常拟合二次多项式模型的矿山测量数据处理方法研究

针对矿山测量数据存在精度差、易受外界因素干扰、测绘难以维持且基准不统一等问题,采用高程异常拟合二次多项式模型,推导出了模型显著性检验的算法与方法以及随机模型误差对函数模型显著性检验的影响;通过对Reilly线性化函数的使用,实现了应用模型拟合残差对未知点随机信息的推估;并且使用残差推估方程与Reilly函数,计算了高程异常拟合后残差推估,矿区高程异常拟合实现证明,利用协方差函数推估高程异常拟合残差的可行性与有效性,研究为解决矿山测量数据存在的问题提供一定理论依据。

二次平滑数字滤波

本文介绍了五点二次平滑数字滤波的原理及其算法,分析了采样周期对滤波器的影响,并给出了实例及共结果。

基于二次平滑处理的沈阳市房地产价格指数研究

传统房地产价格指数的滞后特质表现出较大的局限性,一元指数平滑法虽然克服了移动平均存储数据量较大及近期数据等权不合实际的问题,但依旧存在明显的滞后性,因而采取二次平滑处理的方法,通过构建房地产动态价格指数完成了未来10年沈阳市房地产价格走势的预测。由于二次平滑处理对房地产价格参数φ值的依赖性比较大,利用蒙特卡洛模拟进行了房地产价格参数φ值的校验,进而通过价格指数预测得出了未来10年沈阳市房地产价格呈波动式上升的结论。

匹配数据的平滑滤波技术

讨论了匹配测量数据的平滑、滤波和外推问题。所谓匹配测量数据是指位置参数和速度参数呈求导的匹配关系。提出了利用数据的匹配特性这一先验信息来改善多项式最小二乘滤波器的设计 ,对测量数据中的位置和测速数据进行统一处理 ,在最小方差意义下给出了平滑滤波公式及其效率方差比。由于充分利用了先验信息 ,减少了待估计参数的个数 ,显著提高了参数的估计精度。仿真计算结果表明该方法能显著改善目标运动参数的估计精度。

基于二次指数平滑预测的虚拟机调度方法研究

针对数据中心的高能耗问题,提出了一种基于负载感知和预测的虚拟机调度方法,采用二次指数平滑法预测物理主机资源负载情况,利用MMT与MM相结合的策略选择待迁虚拟机,使用资源最佳适配策略(BRF)选择目标物理主机。该调度方法的预测模型能提高迁移触发准确率,随着调度轮数的增加,对资源需求互补的虚拟机会被整合到相同物理主机上,从而减少迁移次数。通过Cloud Sim仿真平台与FT_MMT、CDLC、AR_MMT调度策略进行了对比,结果表明该调度方法在能耗节约、迁移次数方面均有所提升。

前向-后向平滑滤波在GNSS动态数据处理中的应用

针对GNSS动态数据处理中，信号失锁导致GNSS定位精度下降问题，研究了前向一后向平滑滤波算法，给出了本文所使用的Kalman滤波观测模型。对一组实测的GNSS数据进行了处理，结果表明，前向一后向平滑滤波算法能够有效提高GNSS信号失锁期间的定位精度，其对三个分量定位精度的提高在30％以上。

二次滤波法提取图象边缘信息方法及其应用

提出噪声图象边缘信息提取的一种实用方法。该方法以锐化处理结果为基础，二次滤波完成图象预处理。研究表明，单纯对噪声图象进行锐化处理，只可增加视觉感观效果，不会使边缘提取效果增强；必须对锐化结果再次进行滤波处理后，才可获得满意的边缘信息。

人体运动实时捕捉设备传输数据的滤波与处理

简介人体运动实时捕捉设备的工作原理,对设备探测并传输来的数据进行特性分析,根据分析结论,提出了干扰数据识别与修复、纵向平滑滤波、首帧收敛化处理和值域限定等滤波和处理方法,并详细阐述了这些方法的综合运用。系统使用这些方法,经运行调试后,传输数据稳定,系统对Marker点的探测精度也符合系统设计的要求(6mm),为实现各点坐标计算提供了必要条件。

Savitzky-Golay平滑滤波器的最小二乘拟合原理综述

介绍了Savitzky-Golay滤波器的推导方法——多项式的最小二乘拟合法及其推导过程,以及如何由Savitzky和Golay提出的多项式卷积计算方法进行最小二乘拟合计算,对Savitzky-Golay滤波器的二维算法进行了简单介绍,对其一维和二维的MATLAB代码进行了分析处理,并将Savitzky-Golay滤波器同其他低通滤波器进行了简单比较,简要说明了其优势以及一些应用方向。