结合多重假设检验的随机森林长期降水预测方法及应用

为解决随机森林方法经验性选取预测因子时存在的错误发现率问题,引入多重假设检验领域控制错误发现率的方法对预测因子的筛选进行质量控制,将因子筛选由经验依赖转化为数据依赖,从而提出一种基于多重假设检验的随机森林方法长期降水预测方法。以巴西巴拉那河上游流域为研究区,利用逐月气候系统指数,应用提出的方法对研究区2018-2020年54个雨量站点的逐月降水量进行模拟预测、检验和交叉验证。结果表明:与传统的随机森林方法相比,该方法预报精度更高,对不同站点1-12月的预测平均合格率达到64%,其中6月预测合格率达到84%,表明该方法可以作为流域长期降水预测的有效工具之一。

多重假设检验及其在经济计量中的应用

基于错误发现率(FDR:False Discovery Rate)的多重假设检验(MHT:Multiple Hypothesis Testing),已成为一种有效解决大规模统计推断问题的新方法。本文以错误控制为主线,对多重假设检验问题的错误控制理论、方法、过程和最新进展进行综述,并对多重假设检验方法在经济计量中的应用进行展望。

多重假设检验中FDR的控制与估计方法

近年来,基因组学、蛋白组学和代谢组学等高通量检测技术得到迅速发展〔1-4〕,由此产生变量数目巨大的数据（如m〉2000）,而样品数目较小（如10≤n≤100）,用传统的统计检验方法对生物标志物进行鉴别会产生大量的假阳性结果 （如检验水准取α=0.

多重假设检验及其在大数据特征降维中的应用

现有的特征降维方法大致可分为特征提取和特征选择。在特征提取过程中,数据中的原始特征通过某些数据变换被映射到一个低维空间。提取出的特征尽管与原始特征相关,但不再具有原始特征的物理意义,即特征提取改变了原始数据的表达形式。与特征提取不同,特征选择则在原有的特征集中选择一个子集,选择出的特征子集中不再含有与数据分析任务相关性不大或冗余的那部分特征,其结果可能引起信息丢失。因而现有的数据降维方法几乎都不是保真降维,其降维后的数据仅适合特定的后续数据分析任务,因而只能算是特定数据分析任务的前期数据预处理。从多重假设检验方法的角度分析了高维数据保真降维的方法及研究的关键所在。

基于多重假设检验市长公开电话文本的自动分类

提出一种基于多重假设检验的特征加权朴素贝叶斯分类算法,该算法通过特征选择方法得到多个特征词集合,再按多重假设检验错误率为每个特征词集合配以不同的权重系数并参与到分类器的构建中.该方法已经应用到市长公开电话的文本分类中,通过构建的3个特征加权朴素贝叶斯分类器实现了投诉文本的计算机自动分类,且相对传统方法提高了分类器的效率和精度.

率或比的多重假设检验方法探讨

采用方差分析所使用的最小显著性差异技术,为大样本情况下率(比)提出一种多重假设检验方法。其思想为:首先计算所有对子的u检验统计量,然后指出其u值超出以u检验个数调整的合适显著性概率百分点者为显著性差异对。为了改善正态近似性,用自然对数尺度来构造成对u检验统计量。

多重假设检验中参数估计问题研究

在多重假设检验中,真正原假设的个数m_0是未知的,但是它有着很重要的影响,因此,它在最近的统计文献中备受关注。文章综述了三种主要的估计方法:最低斜率法、三次样条法、均值估计方法。然后将上述三种方法结合起来,提出了新的估计方法:均值三次样条法,并主要研究了其在微阵列数据上的应用。大量的模拟研究表明,和其他方法相比,新的估计方法具有较小的偏差和标准差。最后利用真实数据来对估计方法进行评估,并找出了差异表达性基因。模拟和实际数据表明此方法具有显著性提高。

基于方向性多重假设检验和信息熵的函数型数据聚类新方法

近年来,针对函数型数据的聚类分析得到了一定程度的发展.但当数据属于无限维空间时,会给聚类带来一定的难度.传统聚类方法的局限性在函数型数据的聚类过程中日益凸显.因此,本文提出了一种针对函数型数据的新聚类方法,能够更好地适应数据的特点,实现较好的聚类效果.首先基于错误发现率的方向性多重假设检验和信息熵的理论,提出了新的平行度统计量,用以描述函数型曲线的形态差异.在此基础上提出了新接近度的计算公式,最终改进了凝聚式层次聚类算法.新的聚类方法被应用到4个不同类型的函数型数据集中,并与现有的其它方法的聚类结果进行分析和比较,证明了改进后的凝聚式层次聚类方法的有效性.

多重假设检验及其在经济建模中的应用

近几年,伴随着数据研究数量的增加,多重假设检验的使用也受到了关注。因此,要同时检验多个假设,需要开展多个显著性的检验过程,怎样更好地操控第一种的错误出现概率,是研究工作面临的主要问题。建立在错误发现率上的多重假设检验,已经成为了一种最有效的大规模统计推断问题的解决方式。本文以错误控制为主要研究线索,对多重假设的检验问题错误控制方式、基础理论、一般操作流程以及全新的发展线索开展综合评述,并且对多重检验方式在经济计量过程中的实际应用效果进行了探究。

基于有序分类数据的多重假设检验研究综述

随着海量数据的涌现,多重假设检验越来越多地被用来做大规模统计推断。基于有序分类数据,对常用的统计分析模型和多个样本组差异性的多重假设检验方法,包括秩和检验法和潜变量模型法,及其最新进展进行了综述,并对多重假设检验在各个学科领域的分析应用进行了探讨。

多重假设检验及其在股票超额正收益检验中的运用——基于上证180

研究股票的超额正收益,对投资者的股票选择上起到参考作用。对多只股票进行超额正收益的检测,股票的数据量大维度高,运用单重假设检验方法并不能正确筛选出具有超额正收益的股票。因此,文章引入多重假设检验中总第一类错误率(FWER: Family-wise error rate)的概念,运用三种模型来控制FWER,分别为Holm's Step Down, Bootstrap & Step Down以及Resampling Based on All True Null Hypothesis,对2014年6月3日—2015年6月3日这一时期内的上证180当中152只成分股进行了超额正收益的检验。

P值检验和假设检验

P值检验与假设检验是统计学上的两种方法。假设检验是根据所提供的样本信息对未知总体分布某些方面的假设作出合理的判断,通过所提供的样本信息计算各种统计量的P值,使之更准确地说明总体。在多重比较中仍然可以使用t检验,此时用p值代替a来计算全部检验正确的概率。

基于真假设比例广义推断的多重检验方法

研究了多重假设检验方法的改进问题,基于真假设所占比例的广义推断,利用其广义置信上限对现有的多重假设检验方法进行改进.该方法更好地利用了水平,在功效上有很大提升.采用广义推断方法,即使在假设个数比较小时,也能对真假设所占比例做出较好推断.模拟结果表明,该方法显著提高了传统方法的功效.

基于改进隐马尔科夫模型的畜禽全基因组关联分析中的多重检验方法

为了改进在畜禽全基因组关联分析中,利用隐马尔可夫模型(HMM)进行多重检验时的过学习问题,提出将人工神经网络算法(ANN)作为预处理,引入畜禽全基因组关联分析中,较好地弥补了已有的多重检验方法的缺陷,提高了统计推断性能,其运算速度也显著提高。

多重检验技术在大数据分析中的应用

在对大数据进行假设检验时,为了控制假阳性,需要采用多重检验技术。多重检验技术有多种,本文通过对大数据进行实际分析,比较各种算法的优缺点,给出不同方法的适用场合,从而对数据分析人员给以理论上的指导。文章首先阐述多重检验的必要性以及多重检验的相关概念;其次分别介绍对总体错误率和错误发现率进行控制的两类方法;最后将这几种多重检验方法应用到基因大数据中对基因的表达与否进行判断。实验结果表明,控制错误发现率的方法优于控制总体错误率的方法,在控制错误发现率的方法中,q值法的结果最好。原因在于q值法考虑了原假设的先验信息,能很好地控制错误发现率的大小,因此具有较高的精确性和检验功效。

基金经理投资能力研究——基于多重假设检验两类错误控制的方法

对基金的超额收益进行假设检验是判断基金是否具有投资能力的重要方法。在多重假设检验中必须采用合适的调整方法以控制第一类错误和第二类错误。本文研究多重假设检验各种调整方法的两类错误,并在筛选各种调整方法基础上检验国内基金经理的投资能力。本文发现,在2011—2015年,Storey(2002)的方法是更为合理的多重假设检验调整方法,而在2016—2020年,Benjamini and Hochberg(1995)的方法更为合理。运用筛选出来的多重假设检验调整方法,本文检验了国内开放式股票型以及偏股型基金的投资能力,研究发现,在2011—2015年,基金经理整体上并不具有投资能力,而在2016—2020年,半数以上的基金经理表现出了显著的投资能力。

放射生物组学数据分析中的多重假设检验免费

随着高通量测序技术的发展,组学研究中获得的高维海量数据对统计分析提出了新的要求。在此情况下,传统的单个假设检验理论不再适用,多重假设检验问题日益得到重视。本文着重介绍多重假设检验中常用的3种错误测度——总体/族错误率(FWER)、错误发现率(FDR)和阳性错误发现率(pFDR)及其控制过程在放射生物组学数据分析中的应用,以期为放射生物学数据的统计分析提供参考。

基于标准置换检验的差异序列模式挖掘算法

为了去除差异序列模式挖掘算法返回结果中的假阳性差异序列模式,提出了一个基于标准置换假设检验的算法SP-DSP。该算法首先运用GSP算法挖掘频繁序列模式,然后基于growth rate阈值生成差异序列模式候选集,并运用标准置换检验计算候选集合中每个模式的p-value,最后运用多重假设检验度量过滤假阳性差异序列模式。实验结果证明SP-DSP算法能够去除掉一定数量的假阳性模式并尽可能地保留真差异序列模式,从而促进后续分类任务正确率的提升。

最大熵先验下正态分布模型的Bayes模糊假设检验

研究了正态分布总体在方差已知，总体均值为正的条件下，获得最大熵先验分布，并根据贝叶斯风险准则求得多重模糊假设检验问题的最优决策．最后用算例说明其有效性．

Knockoff方法研究进展综述

随着现代科学技术的快速发展,大数据时代正向我们走来.此时,统计方法的可重复性对于提高科学研究的严谨性至关重要.Barber和Candès[48]提出的knockoff方法是一种可结合任意特征重要性得分的变量选择算法,在发现真实效应的同时严格控制错误发现率(false discovery rate,FDR),其核心想法是构造称为knockoff的合成变量来模仿原始变量之间的相关结构.该方法无需计算p-值而在近年来受到广泛关注,成为当今统计和机器学习最热点的研究领域.本文主要介绍knockoff方法的最新研究进展,并简要探讨未来可能的研究方向.