超高维数据下部分线性可加分位数回归模型的变量选择

在超高维数据中,一方面,协变量的维数可能远远大于样本量,甚至随着样本量以指数级的速度增长;另一方面,超高维数据通常是异质的,协变量对条件分布中心的影响可能与他们对尾部的影响大不相同,甚至会出现重尾以及异常点的复杂情况。文章在协变量维度发散且为超高维的情况下研究了部分线性可加分位数回归模型的变量选择和稳健估计问题。首先,为了实现模型的稀疏性和非参数光滑性,引入了一种非凸Atan双惩罚,并采用分位迭代坐标下降算法来解决所提方法的优化问题。在选择适当正则化参数的情况下,证明了所提双惩罚估计量的理论性质。其次,通过模拟研究对所提方法的性能进行验证。模拟结果表明,所提方法比其他惩罚方法具有更好的表现,尤其是在数据存在重尾的情况下。最后,通过基于癌症筛查病人血液样本数据的实证来验证所提方法的实用性。

最大相关和最大差异的高维数据特征选择算法

针对高维数据存在冗余信息且维度过高的问题,提出基于信息量的最大相关最大差异特征选择算法(MCD)。首先,利用互信息(MI)度量特征和标签之间的相关性,对特征进行排序,选择互信息最大的特征加入特征子集;然后,引入信息距离度量特征之间的信息冗余性及差异性,设计评价准则对每个特征进行评价,使特征子集中特征和标签的相关性、特征之间的差异性最大;最后,用前向搜索策略结合评价准则进行属性约简,最优化特征子集。采用2种不同的分类器,在6个数据集上和mRMR(minimal-Redundancy-Maximal-Relevance criterion)、RReliefF等5个经典算法进行对比实验,利用分类精度验证MCD的有效性。在支持向量机(SVM)分类器下,平均分类精度提高了5.67~23.80个百分点;在K-近邻(KNN)分类器下,平均分类精度提高了2.69~25.18个百分点。可见,MCD在绝大多数情况下,能有效去除冗余特征,分类精度有明显提高。

高维面板数据降维与变量选择方法研究

从介绍高维面板数据的一般特征入手,在总结高维面板数据在实际应用中所表现出的各种不同类型及其研究理论与方法的同时,主要介绍高维面板数据因子模型和混合效应模型;对混合效应模型随机效应和边际效应中的高维协方差矩阵以及经济数据中出现的多指标大维数据的研究进展进行述评;针对高维面板数据未来的发展方向、理论与应用中尚待解决的一些关键问题进行分析与展望。

高维数据回归分析中基于LASSO的自变量选择

生物信息学背景下普遍存在着高维数据，所谓的“高维”即待估计的未知参数的个数是样本量的一个或几个数量级，例如Van’t Veer（2002）心0等学者收集的乳腺癌数据集共包括259例乳腺癌患者，25000个微阵列基因数据，研究变量个数25000远远大于样本量259，存在“高维”现象。传统的方法进行参数估计和统计推断的一个必要前提是待估参数的个数小于样本量，这样统计推断的结果才是稳定、可靠的。

基于高斯过程隐变量模型的图像数据降维算法

针对传统谱算法在数据降维计算复杂度高的缺点,提出一种基于高斯过程隐变量模型的图像数据降维算法。首先,通过高斯过程(Gaussian Process,GP)建立图像数据的概率模型,得到图像数据的隐变量模型;其次,利用概率最大化原则得到最优超参数,通过最优超参数求取最优数据降维结果;最后,实现图像数据降维。选取Yale,ORL两类数据集与传统算法进行人脸识别对比实验,实验结果表明:所提出的算法针对图像数据降维问题有较好的效果,结合支持向量机算法,可有效地对人脸图像进行识别,且有较高的识别率,从而体现出算法对高维数据降维的准确性。

基于NMI-SC的糖尿病混合数据特征选择

针对糖尿病预测精度受高维混合数据影响的问题,提出基于NMI-SC的糖尿病特征选择方法,通过邻域互信息(NMI)计算混合属性特征邻域半径内的联合概率密度,构建相似度矩阵,通过糖尿病特征之间的相似性构建无向图,基于谱聚类(SC)将糖尿病特征切分为多个特征相似组,实现非线性特征间的聚类,根据特征分类重要性选出相似组中的代表特征。并将其与原始特征集在支持向量机分类器上的准确率进行比较,该特征选择方法在删除46个冗余特征后,准确率提高了13.07%。实验结果表明,该方法能有效删除冗余特征,得到糖尿病分类性能优异的特征子集。

光谱数据的特征挖掘降维方法

"去繁存精"的光谱数据解耦方法可去除高维光谱数据的大量冗余,提炼其特征谱段,是光谱仪器得以广泛应用的重要基础。应用各异性和光谱特征优选方法普适性所构成的矛盾,在一定程度上制约了光谱仪器的应用。本文提出了序列前向选择(Sequential forward selection,SFS)的光谱特征自适应数据挖掘方法,生成最优变量组合作为支持向量机(Support vector machine,SVM)分类模型的输入,在对光谱数据降维的同时,实现了高精度的数据分类。本文方法可有效解决大量光谱数据的多类分类问题,并在红木分类中得到了实际验证和应用,为破解因光谱特征峰高度混叠而难以进行主观经验特征选择的困境提供了新思路。

一种新的高维数据降维方法

一、前言现实世界中存在着大量的复杂事物及现象，人们希望揭示隐藏在这些纷繁芜杂的表象下的事物和现象的客观规律。随着信息技术的发展，我们面对的数据越来越复杂，往往具有如下特点：（1）样本点数量巨大；（2）数据收集的频率越来越高；（3）数据内部存在结构化的特征；（4）指标变量众多。例如天气状况，用来描述气象特征的指标非常多，像温度，湿度，气压，

高维数据的特征选择研究

特征选择是机器学习的重要研究内容之一.相对于低维数据的特征选择而言,高维数据的特征选择更具挑战性,尤其是高维小样本的特征选择问题,因而吸引很多研究者的关注.高维特征选择问题称为稀疏建模问题,其目标是解决现有特征建模方法在高维特征空间失效的问题.本文对高维数据的特征选择研究成果进行了相应的总结和展望.

基于弹性网降维及花授粉算法优化BP神经网络的短期电力负荷预测

电力负荷预测为电力系统规划和运行提供可靠的决策依据。随着智能电网的全面发展,数据采集与监视控制系统(SCADA)获取数据量增加,数据的结构也更加复杂,负荷的频繁变化以及地区性的气象因素等都将影响负荷的预测的准确性。提出一种弹性网(EN)进行大数据降维以及花授粉算法(FPA)优化BP神经网络的短期电力负荷预测方法。首先采用弹性网对负荷和气象等高维大数据进行选择和降维。弹性网通过在惩罚项中添加L1范数和L2范数,兼具了最小绝对值收缩及变量选择(LASSO)和岭回归的优点,克服了LASSO降维时因为数据内部存在共线性和群组效应而影响降维效果的问题;然后,考虑到BP神经网络权值和阈值容易受到初值的影响、收敛速度慢以及容易陷入局部最优,引入花授粉算法(FPA)优化BP神经网络,通过与粒子群算法(PSO)对比得出花授粉算法寻优速度更快,效果更好。本文方法应用于实际电力负荷预测,结果表明能有效提高预测精度。

质谱数据的特征降维新方法

由于质谱数据的维数较高,处理时运算量也特别大,同时还降低分类精度.研究者提出一些降维方法,产生了较好的效果.一般降维方法分两类:特征提取和特征选择.两类方法各有优劣,本文提出对特征提取的主成分进行特征选择,提出了将几种特征提取方法与特征选择方法结合的框架,来对数据集进行维数约简.在三个质谱数据集上的实验结果证明新提出的框架对于质谱数据有好的效果,加入特征选择后,建模精度得到了提高.

基于动态特征选择的恶意网络行为检测仿真

恶意网络行为检测中易受噪声数据干扰,影响检测效果。为了降低检测错误率,提出一种基于动态特征选择法的恶意网络行为检测方法。构建超融合架构,将网络数据输入到架构中,采用超融合框架中的自编码器对网络数据实行降维处理,运用改进的PCNN模型消除数据中存在的噪声,避免检测过程受到噪声干扰,提升检测准确率。采用动态特征选择法更新网络数据的特征权重值,利用特征加权熵完成特征选择,剔除权重值小于阈值的特征数据,动态选择重要的特征分量,降低检测时间,通过聚类算法识别出恶意行为簇,完成恶意网络行为检测。实验结果表明,所提方法的检测时间短、检测准确率高、检测错误率低,可以有效保证网络运行的安全性。

高维回归中的几种变量选择方法

高维数据的变量选择是统计学家面临的主要问题之一。随着现代科学与技术的发展,统计分析者面临的数据越来越复杂,数据量也越来越大,海量的高维数据和超高维数据让统计分析工作颇具挑战性,各种各样的污染数据和异常数据也掺杂其中,如何有效地分析所得到的高维数据,是现代统计学面临的挑战之一。变量选择作为处理高维数据的一种主要思路,以模型的稀疏性假定为前提,即假定只有少量的解释变量对响应变量有显著影响,从而利用各种选择方法估计模型,提高模型的解释性。本文主要介绍几种处理高维数据和超高维数据的变量选择的方法,阐述各个方法的同时也对方法之间的改进和优缺点做了对比,发现方法之间的合理结合会产生良好的变量筛选效果。

一种新的高光谱遥感图像降维方法

高光谱遥感图像的高数据维给图像进一步处理带来了困难,为了解决这一问题,提出了自适应波段选择(ABS)的降维方法。该方法充分考虑了高光谱图像的空间相关性和谱间相关性,通过计算各个波段的指数来选择信息量大并且与其他波段相关性小的波段。对各波段相应的指数重新排列之后,有两种方法来选择最终波段:一种是选择波段指数比设定指数大的波段,另一种方法是选择波段指数排在前n个的所有波段。为了验证ABS方法的有效性,对降维后的高光谱图像进行了贝叶斯监督分类,分类结果表明自适应波段选择的方法能够选择出信息丰富的波段,分类精度与使用原始波段相比提高1014%,计算复杂度大大降低。

基于互信息的变量选择方法

文章基于解释变量与被解释变量之间的互信息提出一种新的变量选择方法:MI-SIS。该方法可以处理解释变量数目p远大于观测样本量n的超高维问题,即p=O(exp(nε))ε>0。另外,该方法是一种不依赖于模型假设的变量选择方法。数值模拟和实证研究表明,MI-SIS方法在小样本情形下能够有效地发现微弱信号。

用数据选择器实现组合逻辑函数的方法

数据选择器是中规模集成逻辑电路中的一个重要逻辑部件,其功能是实现从多路数据中选择一路进行传输。除此之外,它还能够实现逻辑函数,方法多样灵活,具有很大的使用价值。

使用数据选择器实现组合逻辑电路的设计

介绍了使用中规模集成电路数据选择器的原理以及使用它实现逻辑函数的方法。针对具有 n位地址的数据选择器 ,使用降维卡诺图的思想实现了任何输入变量数大于 n+1的组合逻辑函数。

基于谱聚类算法的高速网络数据流快速分类方法研究

当前高速网络数据流分类处理时,忽略了冗余数据对分类结果的影响,使得分类结果 F1值较低。因此,提出了基于谱聚类算法的高速网络数据流快速分类方法。采用主成分分析法对高速网络数据流进行降维处理。对所有数据流相关性特征进行选择,去除冗余特征,保留有效的特征信息。应用支持向量机算法构建网络数据流快速分类模型,结合谱聚类算法对多数类样本进行聚类,组成新的数据集并将其输入到分类模型中得出相关的分类结果。实验结果表明,所提方法的平均F1值为0.95,F1值越大分类结果越准确,说明该方法能够满足高速网络数据流快速准确分类,具有优越的数据分类性能,应用价值更高。

卡诺图的分解、降维与应用

本文讨论了卡诺图的分解与降维,揭示了降维的规律,并以数据选择器实现组合逻辑电路为例介绍了降维卡诺图的应用。

超高维数据特征筛选方法综述

随着数据收集和存储能力的大幅提高,超高维数据[9],即数据维数伴随着样本呈指数增长,频繁出现在许多科学邻域.此时,惩罚类变量选择方法普遍遭遇三个方面的挑战:计算的复杂性,统计的准确性以及算法的稳定性.Fan和Lv[9]首先提出超高维特征筛选的方法,并在近十多年取得大量研究成果,成为当今统计最热点的研究邻域.本文主要从带模型假设,包含参数、非参数半参数模型假定的筛选方法、无模型假设的筛选以及特殊数据的筛选方法四个角度来介绍超高维筛选相关工作,并简要探讨目前超高维筛选方法存在的问题以及未来可能的研究方向.