Box-Cox和Johnson方法在油气井数据预处理中的研究

Box-Cox方法和Johnson方法是数据预处理中2种最常用的正态变换方法,研究2种方法的差异和适用数据对象,能够为数据预处理提供参考,为提出适用性和效度更好的方法做理论上的探索.该研究从数理逻辑上对2种方法进行分析,再通过多组不同分布特征的随机数据样本对2种方法的准确性和适用数据对象进行验证.通过研究发现:Box-Cox方法是单向变换的,Johnson方法是双向对称变换的;Box-Cox方法对偏度的改变效果明显,Johnson方法对峰度的改变效果明显;在应用中,Johnson方法较复杂,整体效果也较好;Johnson方法适用于对偏态不明显的变量正态变换,但对偏态明显的变量的变换效果较差,Box-Cox方法在对偏态不明显的变量的变换中反而会增加偏度,在对偏态明显的变量的变换中表现较Johnson方法好.

Pretreating and normalizing metabolomics data for statistical analysis

Metabolomics as a research field and a set of techniques is to study the entire small molecules in biological samples.Metabolomics is emerging as a powerful tool generally for pre-cision medicine.Particularly,integration of microbiome and metabolome has revealed the mechanism and functionality of microbiome in human health and disease.However,metabo-lomics data are very complicated.Preprocessing/pretreating and normalizing procedures on metabolomics data are usually required before statistical analysis.In this review article,we comprehensively review various methods that are used to preprocess and pretreat metabolo-mics data,including MS-based data and NMR-based data preprocessing,dealing with zero and/or missing values and detecting outliers,data normalization,data centering and scaling,data transformation.We discuss the advantages and limitations of each method.The choice for a suitable preprocessing method is determined by the biological hypothesis,the characteristics of the data set,and the selected statistical data analysis method.We then provide the perspective of their applications in the microbiome and metabolome research.

基于Johnson转换的非正态过程能力研究

在统计过程控制(SPC)技术中要求质量特征服从正态分布。而在实际生产中,许多稳定的过程不一定满足正态分布的假设。许多学者和质量工程师纷纷提出将非正态数据转变成正态数据的方法,以便使用SPC技术对这些数据进行分析,从而得出合理有效的结论。解决这个问题的一种方法是使用Johnson分布系统对这些非正态数据进行转换。文章提出了一套系统的处理非正态数据并计算其过程能力指数的方法,结合使用Johnson分布系统百分比拟合法,并给出具体的步骤和做法,最后应用该方法对实际案例进行研究,并计算其过程能力指数,与实际相比照,证实了该方法的有效性和实用性。文章用相应的matlab和m initab分析软件来辅助实现这个方法,具有可操作性,可以用于指导生产实践。

非正态数据变换为正态数据的方法

约翰逊设计的分布体系包括由变换产生的三族分布。根据该分布体系可将非正态数据变换为正态数据。本文利用Slifker和Shapiro的样本分位值的方法[1 ] 研究非正态数据的正态性变换 ,并以实例说明应用约翰逊分布拟合非正态数据的方法。

油气放射性方法勘查的数据预处理效果

本文根据川中某地１５０ｋｍ２范围内应用的７种放射性方法，在同一测点上获取的９个参数，共１９０２个测量数据，进行了统计分布特征研究。研究结果表明：７种放射性测量方法所获的原始数据具有３种统计分布类型──近似算术正态型、对数正态型、混合型。利用广义幂正态转换方法［１］将上述３种分布类型归结为一种分布──正态分布，获得了客观的区域背景值和异常下限值。为进一步的统计分析提供了一个较为合理的数学模型。

考虑风速分布与日非平稳性的风速数据预处理方法研究

风电场采集的风速数据受到较多气象条件的影响,容易引入多种噪声信息,具有较强的不稳定性。因此,在进行风速预测前引入数据预处理的步骤是十分必要的。研究了一种考虑风速数据分布特性与日非平稳性的数据预处理方法,采用Box-Cox变换与分时标准化处理风速数据,基于最小二乘支持向量机(LSSVM)进行短期风速预测,实例证明,该方法能够有效提高LSSVM模型的预测精度。

制药过程中非正态数据的分析

目的:工业化药品生产过程中采集到的样品数据经常为非正态分布,需要采用合适的方法将数据转换后,再计算过程能力并绘制控制图,以便正确判断实际的生产状态。方法:使用Minitab软件,结合Box-Cox幂转换模型、Johnson转换法,提出一套系统的处理非正态数据并计算其过程能力和绘制控制图的方法。结果:将某栓剂灌装过程中采集到的装量数据为实际案例,对该非正态数据进行分析,进而判断生产工艺的能力。结论:该非正态数据的转换和评估方法有效并容易操作。

小麦近红外光谱数据预处理

本文目的是针对光谱数据可能存在的基线漂移、散射、噪声以及数据量纲等问题,可使用数学方法对光谱数据进行校正。方法是在Wheat kernels数据集上,使用导数法和SNV对数据进行预处理,对比预处理前后数据集上构建模型的效果。得出的结论是使用多元线性回归、偏最小二乘回归、岭回归、支持向量回归方法在预处理后的数据集上构建的模型效果明显比原始数据集上构建的模型效果好。