Web日志数据挖掘的数据预处理方法研究

主要介绍了Web用户访问日志数据挖掘数据预处理过程,综述了国际上的研究现状,流行的预处理方法。在对用户访问行为的合理假定基础上,最后提出了基于综合最大前向参引模型和时间窗口模型的新方法。

基于色谱-质谱平台的代谢组学数据预处理方法

代谢组学的概念自20世纪90年代被正式提出,已被广泛应用于医学研究领域,其一般研究流程包括样本采集、样本检测、数据预处理、数据分析和生物学解释等。常用的样本检测技术有核磁共振（nuclear magnetic resonance,NMR）和高分辨率色谱-质谱联用技术，本文所述方法针对后者。

一种数据预处理方法及其应用

本文提出一种基于技术判别法、系统聚类分析和噪音平滑技术的混合数据预处理方法,并将它应用于煤炭发热量和灰份的原始数据预处理,效果良好。

城镇地籍建库数据预处理方法研究

城镇地籍数据库建设是第二次全国土地调查工作的核心部分，其数据的质量和完善性等因素直接影响到数据库的运行效率。本文，笔者以汝南县城镇地籍数据建库为例，在城镇地籍建库过程中，对在数据处理过程遇到的问题进行了研究，提出了图形和属性数据在入库前处理的方法。

基于聚类分析的风电功率预测数据预处理方法

为了提高预测模型精度以及降低模型的复杂程度,减小模型的训练时间,文章提出一种基于改进模糊C均值聚类算法的数据预处理方法,以提高风电功率时间序列的预测模型的预测性能。首先,对实测风电功率混沌时间序列进行了相空间重构;其次,对相空间中的各维输入序列与输出功率序列进行相关性分析,使用相点与相对相关系数的加权建立聚类判据;然后,结合减聚类算法对模糊C均值聚类的收敛速度进行改进,改进的模糊C均值算法将输入序列聚为4类,对每类数据建模。结果表明,对原始数据进行聚类预处理后,预测模型的精度得到了提高。

一种基于Rosetta的神经网络数据预处理方法

提出一种基于Rosetta的神经网络数据预处理方法,解决试验过程中因样本参数多而导致故障分类模型收敛速度慢的问题。详细介绍如何利用Rosetta软件实现粗糙集理论,对样本参数进行预处理。首先,选择条件属性和决策属性进行属性编码,对构造的信息表连续变量离散化,通过属性约简去除冗余参数,得到最小规则集,继而在MATLAB中训练神经网络故障诊断模型,最后对比Rosetta约简前后训练结果。

基于数据挖掘的电力装备企业多价值链协同数据预处理方法研究及应用

在电力装备制造企业的数字化转型中,需要对数据空间中多价值链协同的高维数据进行挖掘与分析,本文针对电力装备制造业进销存大数据的预处理问题展开了研究。首先,给出了变点法和局部异常因子算法(local outlier factor method,LOF)组合的数据异常值检验校正预处理方法;其次,提出了基于LASSO(least absolute shrinkage and selection operator,LASSO)算法的栈式稀疏自编码器(stack sparse auto-encoder,SSAE)数据降噪降维组合机器学习处理方法(SSAE-LASSO),对特征进行压缩降维提取,去除严重干扰数据回归分析的噪声信息,并过滤影响度低的冗余数据,从而实现数据的降噪降维处理。最后,将本文提出的方法应用于不同的算法进行检验,通过对两种预处理的数据对比发现,本文提出的方法有效提高了电力产品销售量智能预测的精度。

电磁监测试验卫星高能粒子探测器数据预处理方法研究

该项目主要研究基于GEANT4软件包编写HEPP模拟程序，通过Monte Carlo模拟高能粒子探测器HEPP-L的探测过程，构建探测器质量结构模型，根据AE8和AP8模型模拟电子和质子的通量及能谱输入，生成类似星上探测得到的原始数据，进行粒子种类鉴别、粒子能量反演、粒子方向重建（投掷角）和粒子通量计算等，从而研究数据还原的逻辑和数据预处理方法。

数据预处理在IT基础设施监控系统中的应用

数据质量的优劣对数据挖掘的成败有着举足轻重的影响,而作为数据挖掘过程第一步的数据预处理就是为了确保数据质量而设,其研究方兴未艾。从数据质量的概念出发,介绍了数据预处理的体系结构和常用方法,根据IT基础设置监控系统中的数据特点,探讨了数据预处理技术在该类数据上的典型应用。

Web挖掘数据预处理的研究

通过对Web挖掘和预处理技术的研究,提出了针对不同类型Web挖掘的数据预处理方法。

近红外光谱的数据分析方法研究进展

数据预处理、特征选择和建立模型是近红外光谱分析技术中三个重要的过程。从降低噪声、消除基线漂移、校正散射光三方面介绍数据预处理方法;介绍基于区域的光谱特征选择方法和基于单变量的光谱特征选择方法;并根据应用不同,论述了定量分析和定性分析两类建模方法。现就这三个过程中常用方法的基本原理、优缺点进行综述,为相关研究者提供参考。

多类不平衡数据分类方法综述

现实中许多领域产生的数据通常具有多个类别并且是不平衡的。在多类不平衡分类中,类重叠、噪声和多个少数类等问题降低了分类器的能力,而有效解决多类不平衡问题已经成为机器学习与数据挖掘领域中重要的研究课题。根据近年来的多类不平衡分类方法的文献,从数据预处理和算法级分类方法两方面进行了分析与总结,并从优缺点和数据集等方面对所有算法进行了详细分析。在数据预处理方法中,介绍了过采样、欠采样、混合采样和特征选择方法,对使用相同数据集算法的性能进行了比较。从基分类器优化、集成学习和多类分解技术三个方面对算法级分类方法展开介绍和分析。最后对多类不平衡数据分类研究领域的未来发展方向进行总结归纳。

大规模数值模拟数据的无损压缩

针对数值模拟数据的特点，对数据进行预处理后，进一步采用小波变换和洗牌（Shuffle）算法，再使用通用无损数据压缩算法Gzip对科学数据进行无损压缩。数据预处理：为了使用第二代小波变换，数据的预处理就是使用内存拷贝的方法把浮点数转换为整数，对数据的符号位、指数部分和尾数部分分别进行了预处理。由于科学数据数值变换平缓的原因，高频部分通常比低频数据小若干数量级，该数据预处理方法在小波变换及逆变换过程中不会出现溢出现象。

基于不确定性的空间聚类

空间数据挖掘是指从空间数据库(空间数据仓库)中提取用户感兴趣的空间的和非空间的模式和规则的过程,空间聚类是空间数据挖掘最基本的任务。本文首先分析了空间数据挖掘过程中的不确定性,并以空间聚类为例具体分析空间聚类过程中的数据预处理方法。在此基础上,以EM算法为基础,顾及空间聚类的随机性和模糊性以及基于Delaunay图的空间对象的空间邻近关系,构建了基于不确定性的空间聚类算法。

偏最小二乘法结合傅里叶变换近红外光谱同时测定卷烟焦油、烟碱和一氧化碳的释放量

采用多元校正技术偏最小二乘法结合具有代表性的烟气总粒相物萃取液的傅里叶变换近红外透射光谱220个,分别建立了焦油、烟碱和一氧化碳的校正模型,并对光谱数据预处理方法和异常值诊断进行了讨论。所建的焦油、烟碱和一氧化碳模型相关系数分别为0.9922、0.9828和0.9734;均方预测残差(RMSECV)分别为0.3392、0.0329和0.3478;预测范围分别为预测范围分别为11.0～15.0mg、1.15～1.45mg和13.0～17.5mg。通过对模型进行t检验,在显著性水平大于0.05的条件下,其测定结果与标准方法的测定结果对比,两者无显著性差异。该分析方法应用于同时测定卷烟焦油、烟碱和一氧化碳的释放量,结果令人满意。

红外光谱结合偏最小二乘法快速检测油茶籽油脂肪酸组成的模型建立与评价

为建立快速检测油茶籽油中脂肪酸组成的方法,利用傅里叶红外光谱仪扫描86个油茶籽油样品,红外光谱数据分别通过Savitzky-Golay平滑(SG)、多元散射校正(MSC)、标准正态变换(SNV)、一阶导数(FD)和二阶导数(SD)等5种方法进行降噪处理,然后以气相色谱测定的脂肪酸组成作为标准值,采用全波长偏最小二乘法(PLS)、区间偏最小二乘法(iPLS)和联合区间偏最小二乘法(siPLS)分别构建油茶籽油中主要脂肪酸(油酸、棕榈酸、亚油酸)的定量回归模型。结果表明:油酸、棕榈酸、亚油酸的红外光谱数据预处理分别以SG、SNV、SD较好;siPLS通过有效波段的选择可去掉更多的噪声,比PLS和iPLS建立的模型精确度高,油酸、棕榈酸、亚油酸的校正集和预测集的相关系数(R)分别为0.9479和0.8539、0.9008和0.9101、0.9793和0.9505。红外光谱结合siPLS更适用于油茶籽油脂肪酸组成的快速测定。

GNSS星载原子钟性能分析与卫星钟差建模预报研究

GNSS星载原子钟是决定导航、定位和授时性能的导航卫星核心载荷之一,开展卫星钟相关研究对于系统的正常维持和运行具有重要的理论意义和实践价值。本文采用GNSS卫星钟差产品对钟差数据预处理、钟差产品质量评定、星载原子钟性能分析及卫星钟差建模与预报进行了系统的研究。论文主要成果和创新点如下:(1)设计了一种基于中位数(MAD)方法的长时间段钟差数据预处理策略。该策略首先提取长时间段卫星钟差数据的非空历元,基于MAD方法对其进行预处理,然后用MAD方法对每天的钟差数据进行再次预处理得到最终处理后的钟差数据。预处理试验的结果验证了所提策略的有效性。(2)提出了一种基于小波分析的异常钟差数据预处理方法。该方法首先对频率数据进行小波分解,得到分解后的低频小波系数和各层的高频小波系数,然后结合小波系数图和阈值公式判断小波系数中异常点的位置并对其进行处理,最后将处理后的小波进行重构,还原得到处理后的钟差数据。从新法对粗差点的处理效果、不同尺度小波分解对处理结果的影响以及不同小波函数预处理效果的差异三个方面,验证和分析了所提方法的有效性及其相关特性。(3)给出了一种能够同时考虑星载原子钟多种性能指标的GNSS卫星钟长期性能评估体系:基于长时间段的卫星钟差数据,利用改进的中位数方法进行数据预处理分析卫星钟差数据的特点,使用卫星钟差二次多项式拟合模型分析卫星钟的相位、频率、钟漂及钟差模型噪声的长期变化特性,根据频谱分析的方法分析卫星钟差的周期特性,分别采用重叠Allan方差和重叠Hadamard方差计算并讨论星载铯钟和铷钟的频率稳定性,计算并分析频率准确度和日漂移率的长期变化规律。此外综合上述方法及其结果,较为全面地评估了BDS和GPS BLOCK IIF卫星钟的长期性能。(4)顾及星载原子钟物理特性、钟差周期性变化与随机性变化的特点,建立了附有周期项和ARIMA的二次多项式模型(组合模型)以及基于抗差最小二乘配置理论的卫星钟差模型(LSC模型)。钟差预报试验及其结果分析表明:顾及钟差周期特性与随机特性能够进一步提高钟差建模的准确性和钟差预报的效果,组合模型能一定程度克服单独使用ARIMA模型进行钟差预报时的不足,针对LSC模型所给的协方差函数确定方法及其对应的参数取值范围是有效的,两种新模型均能有效地预报钟差且效果优于常用模型。(5)对钟差一次差分预报原理进行了改进,并设计了钟差一次差分数据的预处理方法。在此基础上,分析了常用钟差预报模型在钟差一次差分数据条件下的预报特性,且从原理上推导证明了钟差一次差分数据符合一次多项式模型;同时结合对IGS RTS卫星钟差改正数的分析,提出了一种钟差改正数预报方法,其30 s的预报精度可达0.06 ns。(6)根据卫星钟差的特点,基于小波神经网络(WNN)提出了一种能够改善卫星钟差预报效果的方法。首先相邻历元钟差数据进行一次差分得到对应的钟差一次差分序列,然后对该序列进行预处理,并基于预处理后的一次差分数据对WNN进行建模;在建模的过程中,采用遗传算法优化WNN的初始网络参数。模型确定后,根据时间序列预报一次差分值,最后将预报的一次差分值还原得到对应的钟差预报值。试验结果表明:一次差分方法使得预报钟差的WNN不但模型结构简单而且预报精度高,针对钟差一次差分序列所设计的预处理方法通过降低数据粗差的影响能够进一步改善WNN的预报性能,新方法1天内的预报效果优于IGU-P钟差且其中长期预报性能优于几种常用模型。

IGS站点坐标时间序列噪声特性与季节性变化分析

分析IGS站点坐标时间序列的噪声特性、季节性变化以及地表质量负载对各坐标分量的贡献,对IGS站点坐标数据的干扰改正、测站季节性运动物理机制的研究以及地固参考框架的稳定性维护具有重要的理论意义及实用价值。本文以IGS再分析中心JPL产出的单日解坐标序列产品为研究对象,对站点坐标时间序列的数据预处理方法,噪声特性分析,地表质量负载形变模拟,站点时变季节性变化提取以及站点坐标质量负载形变修正等方面进行了研究,主要内容和结论如下.