引入Huber损失函数的睡眠脑电数据增强模型研究

针对目前睡眠脑电数据的标记仍以专家评判为主,导致数据标记不足,以及影响睡眠状态自动评估的不同阶段睡眠脑电数据类不平衡等问题,提出了一种基于生成式对抗网络(generative adversarial network,GAN)的数据增强模型,用以扩充不同睡眠阶段的脑电数据.通过引入Huber函数来改进辅助分类器生成式对抗网络(auxiliary classifier GAN,ACGAN)模型的损失函数,解决数据模糊等品质问题.该模型无须对数据进行特征提取,其生成和判别网络都采用一维卷积神经网络(one-dimensional convolutional neural network,1D-CNN),并以一维噪声和类别向量为生成器输入信号.分别采用手写体数字图像数据集与睡眠脑电数据集评估该模型的性能.将改进前的模型与其他损失函数模型进行了对比试验,结果表明改进模型的数据增强效果与睡眠分期效果,从可视化评估到定量评估均优于其他模型.研究结果以期为深度学习引入睡眠脑电分析中提供一种行之有效的方法.

Huber损失函数集的V_γ维

研究了无限再生核希尔伯特空间 (RKHS)中半径为R的球内回归估计的Huber损失函数集Vγ 维的有限性 ,给出其Vγ 维的上界估计 ,从而保证此类回归机器的依概率一致收敛 。

一类回归损失函数集Vγ维的研究

损失函数集的Vγ维的有限性是学习过程具有一致性的充分必要条件。因此,研究Vγ维具有重要意义。本文讨论了无限维再生核希尔伯特空间(RKHS)中半径为R的球内回归估计的一特殊类型损失函数集Vγ维的有限性,给出了其Vγ维的上界估计。从而确保了此类回归机器的依概率一致收敛,使其具有较好的推广能力。

基于Huber损失的非负矩阵分解算法

非负矩阵分解(Nonnegative Matrix Factorization)算法能为原始数据找到非负的、线性的矩阵表示且保留了数据的本质特征,已被成功应用于多个领域。经典的NMF算法及其变体算法大部分使用均方误差函数来度量重建误差,在许多任务中已经显示出其有效性,但它在处理含有噪声的数据时仍然面临一些困难。Huber损失函数对较小的残差执行的惩罚与均方误差损失函数相同,对较大的残差执行的惩罚是线性增长的,因此与均方误差损失函数相比,Huber损失函数具有更强的鲁棒性;已有研究证明L_(2,1)范数稀疏正则项在机器学习的分类和聚类模型中具有特征选择作用。结合两者的优点,文中提出了一种基于Huber损失函数且融入L_(2,1)范数正则项的非负矩阵分解聚类模型,并给出了基于投影梯度更新规则的优化过程。在多组数据集上将所提算法与经典的多种聚类算法进行对比,实验结果验证了所提算法的有效性。

光束法平差损失函数方法研究

光束法平差(Bundle Adjustment)一直以来都是计算机视觉及摄影测量领域中的重点研究内容,在光束法平差过程中,损失函数的选择又对平差结果有着重要影响。选择一个合适的损失函数会大大提升平差结果的精度和鲁棒性。为了确定损失函数对平差结果的影响,本文分析比较了Huber、Tukey和Arctan这三种当前广泛应用的损失函数。并通过对比实验,在多组公开数据集上进行测试,从而比较了这几种损失函数的实际性能和精度。本文研究为光束法平差中损失函数选择提供了很好的借鉴和建议。

Huber损失下线性模型的序列相关检验

金融数据分析中经常发现数据具有厚尾或非对称特征,这给模型相关性检验带来了许多困扰。针对厚尾和非对称分布的序列相关性检验问题,结合秩相关系数和Huber损失,提出了HubT、CCT检验统计量,并在原假设下得到了检验统计量的渐近分布。通过数值模拟说明新构建的统计量能在厚尾和非对称分布的序列中有良好的表现。

训练支持向量机的Huber近似算法

支持向量机是基于统计学习理论的结构风险最小化原理提出来的一种新的学习算法,它把模式识别问题建模为一个简单约束的高维二次规划问题.该文利用Lagrangian对偶方法,给出此高维二次规划的无约束对偶问题;考虑到该对偶问题是不可微的,利用Huber近似将其近似转化为连续可微的分片二次函数的无约束极小化问题.证明了该分片二次函数的极小点对应原二次规划的ε最优解,而用此极小点可直接算出支持向量和最优超平面.最后针对分片二次函数的特点,提出了Newton型算法,结合精确一维搜索技巧,可以快速求解该问题.数据实验结果仿真表明该算法能够在低存储需求下有效提高大数据量、高维问题的训练学习速度.

Huber-SVR中参数μ与输入噪声间的近似线性关系

为使Huber-SVR更具鲁棒性,深入研究了Huber-SVR中参数与输入噪声之间的关系。运用SVR的贝叶斯框架,分别推导出了鲁棒的Huber-SVR中参数μ与拉斯噪声和均匀噪声之间呈近似线性关系,并结合仿真结果和已有的相关结论,得到了更为一般的结论,即鲁棒的Huber-SVR中参数μ与输入噪声之间呈近似线性关系。这一结论为输入样本含有分布未知噪声的情况下Huber-SVR参数的选择提供了理论依据。

伪产出缺口、真实泰勒规则与中央银行的区间调控

以往大量研究表明,中央银行并不会根据滤波法测算的产出缺口来调整名义利率,这使得传统产出缺口的合意性受到质疑。鉴于此,本文从产出缺口的经济内涵出发,利用我国国内生产总值(GDP)实际增长率与目标增长率之差构建了“伪产出缺口”,并依据不同的偏好假设来捕捉中央银行的真实利率操作,主要得出以下几点结论:第一,相比于传统泰勒规则,基于伪产出缺口的泰勒规则能够更好地捕捉中央银行的政策意图,说明中央银行更倾向于根据伪产出缺口来进行逆周期调控;第二,在1996—2019年的全样本期间内,中央银行具有明显的规避通货紧缩和经济收缩偏好;第三,分段福利损失函数的估计结果显示,2012—2019年中央银行的政策调控机制发生了结构性转变,伪产出缺口和通胀偏离的福利损失都存在明显的惰性区域,这意味着中央银行已逐渐转向了更加灵活适度的区间调控。

基于分类不确定性的伪标签目标检测算法

伪标签目标检测算法利用大量未标注数据生成伪标签数据来增加训练数据规模,从而提高目标检测模型的性能。针对伪标签数据中存在大量错误标注数据且伪标签目标检测模型性能难以提升的问题,提出基于SoftTeacher-CUC的伪标签目标检测算法。SoftTeacher-CUC算法在SoftTeacher伪标签目标检测算法的基础上,利用分类不确定性方法计算模型生成的伪标签分类结果的不确定性来判断伪标签是否可靠,不确定性越低说明伪标签的分类结果越可靠。在此基础上,将计算得到的不确定性作为权重加入伪标签数据的分类损失函数中,进一步减少高不确定性伪标签为模型带来的负面影响。根据Teacher模型中不同模块的作用,采用不同权重的指数滑动平均方法更新Teacher模型,降低Teacher模型和Student模型参数之间的相似性,使一致性正则化方法发挥效用。实验结果表明,在标注数据分别占训练集1%、5%和10%的情况下,与SoftTeacher算法相比,SoftTeacher-CUC算法的平均精度均值分别提高了1.4、1.2和1.7个百分点,在标注数据较少的情况下,该算法具有更好的检测效果。

Huber-支持向量回归机在线算法研究

当数据规模逐渐扩大以及数据不断更新时,将传统的基于支持向量回归机(Support Vector Regression,SVR)的一次性建模算法用于数据的分析处理,均需要从头开始建模,而在线学习算法可以很好地解决这一问题。文章在ε-SVR在线算法的基础上,提出了一种新的Huber-SVR在线算法,采用定长的滚动窗口策略对样本进行训练,在增加一个新样本的同时删除一个旧样本,从而满足样本更新的需求,实现模型的在线学习。仿真结果表明了该在线算法的有效性,与ε-SVR在线算法相比,该算法在回归预测方面的预测误差率较低,对真实数据有较好的拟合效果。

增量式Huber-支持向量回归机算法研究

传统的面向支持向量回归的一次性建模算法中样本增加时,均需从头开始学习,而增量式算法可以充分利用上一阶段的学习成果。SVR的增量算法通常基于ε-不敏感损失函数,该损失函数对大的异常值比较敏感,而Huber损失函数对异常值敏感度低。所以在有噪声的情况下,Huber损失函数是比ε-不敏感损失函数更好的选择,在现实情况当中。基于此,本文提出了一种基于Huber损失函数的增量式Huber-SVR算法,该算法能够持续地将新样本信息集成到已经构建好的模型中,而不是重新建模。与增量式ε-SVR算法和增量式RBF算法相比,在对真实数据进行预测建模时,增量式Huber-SVR算法具有更高的预测精度。

稀疏相位恢复的加权L_(1)-正则Huber回归方法

相位恢复是指从傅里叶变换或线性变换的幅值中恢复信号,广泛应用于物理科学、机器学习和工程等领域.由于相位信息的丢失导致该问题是病态的,而恢复原始信号一般需要信号的先验知识.本文已知信号稀疏性,提出了一种将Huber损失函数与加权L_(1)正则项相结合的相位恢复方法.该方法运用Majorization-Minimization(MM)优化技术对目标函数进行优化,将原始非凸相位恢复问题转化为容易求解的替代优化问题,接着利用软阈值算子求解给出不动点方程,构造算法框架并进行收敛性分析.数值实验结果表明了加权L_(1)-Huber方法的有效性和稳健性.

利用雷达数据开展对流降水临近预报的循环神经网络方法试验

中尺度对流降水预报是天气预报的重点和难点之一,天气雷达探测的高时空分辨率降水数据是开展0~2 h临近预报的主要依据。由于传统雷达回波外推方法缺乏非线性映射能力和本地环境参量变化对系统的影响等局限性,所以本研究引入带记忆解耦功能的循环神经网络方法,采用ST-LSTM单元组成的PredRNN-v2深度学习技术,对局地性对流天气系统进行临近预报。利用2010~2014年的广州雷达体扫回波强度资料,构造模型训练数据集和测试数据集。选择Huber损失函数进行训练,不但收敛速度快、而且鲁棒性更强。一般认为,强回波对系统演变的影响更大。因此,本研究为强回波分配较大权重,增强其在拟合过程中的影响程度。对采用等权重损失函数的PredRNN-v2模型和采用不同权重Huber损失函数的PredRNN-v2模型进行测试集检验以及对流降水个例分析,结果表明,测试集中后者在较长的外推时效下,对强回波预测的临界成功指数、命中率更高,虚警率更低。两次个例分析表明,在较长的外推时效下,后者峰值信噪比PSNR和图像结构相似性SSIM更高;在2 h内的任意外推时效下,强回波偏差评分始终更接近于1。因此,在长预报时效以及对强回波预测效果上,采用带权重的Huber损失函数的PredRNN-v2模型更优,可以更好地模拟对流回波演变的非线性过程,并产生更合理、更准确地降水位置预报。

基于Huber损失的稳健张量回归及其应用

随着科学技术的进步,张量数据及相关方法在众多领域中得到了快速的发展和广泛的运用。一系列基于CP(CANDECOMP/PARAFAC)分解的张量回归也逐渐被提出,但是在实际问题中,传统的张量回归方法易受厚尾数据、异常值等因素影响,从而造成系数估计的偏差。鉴于此,本文提出基于Huber损失的稳健张量回归以及其稀疏形式,并构造了稳健块松弛算法及其稀疏算法,对其进行优化求解。同时,本文证明了稳健张量回归中估计系数的相合性和渐近正态性,也给出了稀疏形式下回归系数的误差界。最后,模拟实验和京津冀地区PM_(2.5)数据均证实本文所提的方法比传统的张量回归具有更好的稳健性和更加精确的预测能力。

基于置信学习的低标注率辐射源个体识别算法

针对仅有少量标签数据的样本弱标注情况下辐射源个体识别难的问题,提出了一种基于置信学习的伪标签校正的辐射源个体识别方法。首先通过动态调整类内置信度,实现生成伪标签地及时校正;其次,分析样本价值,对影响模型性能的少量关键样本进行人工标注;然后利用联合交叉熵与中心损失函数,并叠加动态变化的伪标签置信度损失,同时关注类间、类内差异,最大化利用数据特征信息,实现的类内聚合和类间分离,最终实现了网络深度合理、精度与速度良好平衡的识别效果。实验结果表明:所提算法在有标记样本占比为5%、10%、20%、50%、100%等多种条件下,均可实现辐射源个体有效识别,尤其在有标签数据低占比的情况下优势明显,识别准确率分别突破70%与80%,有效减轻了有限标记样本的不足问题。

基于定位置信度加权的半监督目标检测算法

为解决伪标签筛选过程的位置噪声数据问题,提出了基于定位置信度加权的Soft Teacher-LAH半监督目标检测算法。通过离散化目标检测网络定位分支的预测输出,引入具有定位感知功能的输出结构LAH。基于LAH预测输出,定义一种衡量定位精度的置信度指标,设计基于该置信度加权的无监督定位损失函数,降低伪标签位置噪声对模型训练的负面影响。实验结果表明了该算法的性能优势,针对微软COCO数据集,在有标注数据占比训练集分别为1%、5%和10%的场景下,该算法相比于现有Soft Teacher方案的平均精度分别提高了1.1、1.2和1.5个百分点;针对PASCAL VOC数据集,在使用VOC07和VOC12分别作为有标注和无标注训练数据的场景下,该算法相比Soft Teacher方案的平均精度提高了1.6个百分点。

基于改进TFT的用户网络障碍预测方法

随着互联网的发展,网络已渗透到生活各方面,网络故障对生产和生活的影响日益严重。尽管用户网络故障难以完全避免,但通过预测故障可帮助运营商快速修复,减少对生活的干扰。本文提出改进的TFT深度学习模型,通过多种技术提高预测性能。首先,采用基于皮尔逊系数和特征不确定性的暂退算法,将对故障影响小的特征置零,避免模型过拟合。其次,引入时间卷积神经网络与带门控单元的循环神经网络编码器,加强模型对时间序列局部特征的提取。最后,使用Huber损失函数以减弱群体故障带来的异常数据影响。实验结果显示,改进的TFT算法在预测性能上优于传统算法,并通过案例展示了其在网络群障发现中的应用价值,提供了解决网络故障的新思路。

基于改进ICP算法的三维点云刚体配准方法

针对含有噪声和外点的三维点云刚体配准问题,由于迭代最近点(iterative closest point,ICP)算法的配准精度较低,为此,该文提出了一种基于改进ICP算法的三维点云刚体配准方法。考虑到伪Huber损失函数对噪声和外点不敏感、鲁棒性强,首先,建立了基于伪Huber损失函数的三维点云刚体配准模型。其次,利用RGB-D点云数据中颜色信息辅助建立点云对应关系,以提高改进ICP算法中对应点匹配的准确性。最后,结合奇异值分解(singular value decomposition,SVD)和Levenberg-Marquardt(LM)的优化算法对三维点云刚体配准模型进行优化求解。实验结果表明,该文所提三维点云刚体配准方法的配准精度高,能够有效抑制噪声和外点对配准精度的影响。

DEM建模的多面函数Huber抗差算法

为了抑制采样点中粗差对数字高程模型(digital elevation model,DEM)建模的影响,以较高精度的多面函数(multi-quadric,MQ)为基函数,由改进Huber损失函数和权重惩罚项组成目标函数,发展了MQ抗差插值算法(MQ-H)。通过优化MQ-H目标函数,采样点权重计算最终转换为方程组求解。以数学曲面为研究对象,将MQ-H计算结果与传统MQ及最小绝对偏差MQ(MQ-L)进行比较,结果表明:当采样误差服从正态分布时,MQ-H计算精度与传统MQ相当,而远高于MQ-L;当采样误差服从拉普拉斯分布时,MQ-H计算精度略高于MQ-L及传统MQ;当采样点被粗差污染时,MQ-H计算精度远高于传统MQ及MQ-L。在实例分析中,以无人遥测飞艇立体像对获取的地面离散高程点为基础数据,基于MQ-H构建测区DEM,并将计算结果与传统插值算法,如反距离加权(inverse distance weighting,IDW)、普通克里金(ordinary Kriging,OK)和专业DEM插值软件ANUDEM(Australian National University DEM)进行比较,结果表明,传统插值方法在不同程度上受采样点中异常值或偶然误差影响,而MQ-H受异常值影响较小,且能准确捕捉到地形细节信息。