基于稀疏贝叶斯回归的正则化核密度估计算法

为了加快核密度估计(KDE)的计算速度,简化模型复杂度,提出了一种基于稀疏贝叶斯回归的KDE稀疏构造算法SBR-KDE.该算法将经人工加噪处理后的分布函数逼近值作为输入,获得了KDE的极为稀疏表示形式.实验结果表明:与传统KDE算法相比,在保持相当计算精度(多数情况下降低了模型误差)的情况下,文中算法的时空效率大幅度提高,而且在小样本训练集条件下得到的密度估计更光滑;独立成分分析及高斯化变换的应用使文中算法在一定程度上缓解了维数灾难.

单位球上散乱数据核正则化回归的误差分析

给出基于二次损失的单位球盖(单位球)上确定型散乱数据核正则化回归误差的上界估计,将学习误差估计转化为核函数积分的误差分析,借助于学习理论中的K-泛函与光滑模的等价性刻画了学习速度.研究结果表明学习速度由网格范数所控制.

基于多尺度高斯核的分布式正则化回归学习算法

针对工业、信息等领域出现的基于较大规模、非平稳变化复杂数据的回归问题,已有算法在计算成本及拟合效果方面无法同时满足要求.因此,文中提出基于多尺度高斯核的分布式正则化回归学习算法.算法中的假设空间为多个具有不同尺度的高斯核生成的再生核Hilbert空间的和空间.考虑到整个数据集划分的不同互斥子集波动程度不同,建立不同组合系数核函数逼近模型.利用最小二乘正则化方法同时独立求解各逼近模型.最后,通过对所得的各个局部估计子加权合成得到整体逼近模型.在2个模拟数据集和4个真实数据集上的实验表明,文中算法既能保证较优的拟合性能,又能降低运行时间.

基于核回归的正则化超分辨率重建算法

在正则化超分辨率重建框架下,基于M-估计理论和核回归思想,提出一种稳健的超分辨图像重建算法。该算法融合了M-估计理论的稳健处理机制和自适应核回归算法的选择性加权特性,提高了算法的稳健特性和边缘保持特性。通过选取Tukey范数和自适应核回归正则项,有效避免了L2范数和L1范数只能针对特定噪声模型的不足。经实验证明,该算法无论是视觉效果还是峰值信噪比(PSNR)都有显著地提高。

基于局部重力场建模的Tikhonov正则化点质量核径向基函数方法

针对点质量核径向基函数应用于局部重力场建模中的设计矩阵严重病态问题,本文引入Tikhonov正则化方法对传统点质量核径向基函数方程进行改造,建立了相应的正则化模型。通过模拟数据进行仿真实验,以传统格网化方法作为对比试验,利用"标靶法"确定两种模型的最优结构。实验结果表明:正则化点质量核径向基函数可以直接利用离散数据进行局部重力场建模。在两种模型的最优结构下,当实测数据无污染时,正则化方法达到与传统格网化方法相当的精度;当实测值中加入3 mGal的高斯白噪声时,正则化方法的精度获得了27.9%的提升。这说明本文方法可以应用于局部重力场建模中,且模型结构更优,抗干扰能力更强。

最小平方误差算法的正则化核形式

最小平方误差算法是最常用的一种经典模式识别和回归分析方法,其目标是使线性函数输出与期望输出的误差平方和为最小.该文应用满足Mercer条件的核函数和正则化技术,改造经典的最小平方误差算法,提出了基于核函数和正则化技术的非线性最小平方误差算法,即最小平方误差算法的正则化核形式,其目标函数包含基于核的非线性函数的输出与期望输出的误差平方和,及一个适当的正则项.正则化技术可以处理病态问题,同时可以减小解空间和控制解的推广性,文中采用了三种平方型的正则项,并且根据正则项的概率解释,详细比较了三种正则项之间的差别.最后,用仿真资料和实际资料进一步分析算法的性能.

核典型关联性分析相关特征提取与核逻辑斯蒂回归域自适应学习

本文提出了一种利用核典型关联性分析提取源域目标域最大相关特征,使用核逻辑斯蒂回归模型进行域自适应学习的算法,该算法称为KCCA-DAML(Kernel Canonical Correlation Analysis for Domain Adaptation Learning).该算法基于特征集关联性分析,有效的减小源域和目标域的概率分布差异性,利用提取的最大相关特征通过核逻辑斯蒂回归模型实现源域到目标域的跨域学习.实验比较源域数据上核逻辑斯蒂学习模型、目标域上核逻辑斯蒂学习模型、源域和目标域上核逻辑斯蒂学习模型和KCCA-DAML模型,结果显示KCCA-DAML在真实数据集上成功的实现了跨域学习.

空间自适应正则化的图像超分重建算法

为提高稀疏表示系数的精度和图像的分辨率,提出一种基于稀疏表示和正则化技术的超分重建算法.首先引入自回归正则化项,通过样本图像来训练出描述图像局部结构的自回归模型,每个图像块自适应选择一个自回归模型用以调节解空间,实现图像局部的自适应性控制.然后,引入非局部相似正则化项作为自回归正则化项的补充,用于保持图像边缘清晰度.从而,完整构造出一种基于自回归正则化和非局部相似正则化的稀疏编码目标函数.为了进一步恢复图像,实现图像去噪、去模糊,利用总变分正则化实现全局优化.实验结果表明,与L1SR、SISR、ANR、NE+LS、NE+NNLS、NE+LLE和A+(16 atoms)等算法相比,无论在主观视觉效果还是客观评价指标上,提出的算法都取得了更好的超分重建效果.

双边全变分的自适应核回归超分辨率重建

正则化方法是目前解决超分辨率重建中病态问题的一种被广泛使用的方法。在分析了现有基于多种正则化超分辨率重建方法的基础上,构造了一种基于双边全变分(BTV)的自适应核回归滤波核,并将它作为正则化超分辨率重构的代价函数,该方法根据图像特征自适应生成正则项的滤波核函数。实验结果表明,与传统的正则化重建方法相比较,该算法既能有效地去除噪声,也能很好地保留图像细节部分,同时还具有一定的鲁棒性。通过客观和主观评价表明,图像重建质量有显著的提高。

基于非局部空间约束的可靠性核FCM算法的图像分割

针对图像易受到噪声破坏的现象,导致传统的模糊C均值(fuzzy c-means, FCM)算法分割效果差的问题,提出基于非局部空间约束的可靠性核FCM算法,旨在有效的去除噪声干扰和保留图像细节。首先在FCM的目标函数中引入了一个非局部空间约束项,并在此基础上利用一个正则化参数来增强图像细节保留的能力;其次引入一个不确定性的聚类模型,以降低噪声点和边缘点的影响;最后使用高斯核距离代替欧氏距离,进一步提高算法对噪声的鲁棒性。利用含噪声的合成图像、自然图像和遥感图像进行实验,结果表明所提算法的抗噪性能较好,同时也能保留更多的图像细节。其中,对于被高斯噪声和椒盐噪声破坏的灰度图像,所提算法的平均精度分别为99.92%和99.97%,提高了4.02%和1.47%。

系数正则化回归模型的最优正则参数

研究了具有最小平方损失且正则项为系数正则化的回归问题的误差分析,分别对样本误差和逼近误差作了估计,获得了关于参数γ的误差界;通过选择合适的参数,使得该误差界最优并且得到学习速率.

基于相关熵损失的核正则化回归学习速度

最大相关熵回归在信号处理领域有广泛应用,其收敛性分析是机器学习领域中的热门研究课题.本文给出一种新的误差分析框架,将非凸优化问题转化为局部凸优化问题,然后应用凸分析方法给出最大相关熵回归(MCCR)收敛性的理论分析;将最优化回归函数表示成一种积分方程的解,用K-泛函和再生核Hilbert空间最佳逼近表示泛化误差,给出学习速度的一种上界估计.

基于核回归正则项的图像超分辨率重建

讨论了图像成像的基本模型,并提出了一种基于调整核回归函数作为正则项的序列图像重建算法。该算法是对已经提出的核回归算法的改进,减少其在超分辨率图像重建时的运算量。而且在图像配准过程中针对图像间只存在平移和旋转变换,采用了基于矩形像素值的亚像素配准方法,以提高配准的速度和精度。利用此算法对序列图像进行重建仿真,并通过结论得出其在噪声严重的情况下具有更好的边缘保留特性。

基于正则化回归的混沌时间序列建模与预测

本文在奇异值分解的基础上,提出了基于正则化回归的自适应局部线性化方法,能自适应确定嵌入维数、邻点数和正则化参数,数值模拟说明所给方法有效提高了预测效果。

基于独立但不同分布样本的系数正则化回归算法的研究

本文分析了基于独立但不同分布样本的系数正则化回归学习算法。全文的框架不同于以往的经典核学习方法,核函数不再要求满足半正定性;对于样本输出,令其满足弱化的矩假设条件。文章使用积分算子的方法得到了满意的与容量无关的误差界,最后通过选取合适的正则化参数得到较为满意的学习率。

基于正则化局部自适应核回归的单点高密度地震资料随机噪声压制方法

单点高密度地震资料的波场信息丰富,但同时存在信噪比较低、有效信号严重混杂在噪声中的问题。经典核回归法可以在地震数据中同相轴连续的区域获得近似最佳的滤波效果,但在同相轴突变区域容易造成边缘模糊。为了更有效地处理地震数据,研究了正则化局部自适应核回归(RLASKR)方法进行随机噪声压制。传统核回归法将空间距离作为唯一的回归函数影响因素,而正则化局部自适应核回归方法综合考虑了空间距离和灰度距离,核函数的形状随着不同区域数据样本的特征而变化,因此地震记录中的同相轴边缘信息能够有效地保存下来。模型记录和实际地震数据测试都显示出该方法的灵活性和有效性,验证了该方法在振幅保真和噪声压制方面比传统核回归法有着更好的效果。

基于支持向量回归的边值问题求解方法

边值问题是方程问题中的一个热门领域,对常微分方程边值问题的研究已相当成熟。然而,当已知条件为离散点而非给定函数时如何求解边值问题仍有很大的研究空间。支持向量回归机是一种基于统计学习理论的机器学习方法,在逼近问题上有独特的优势,在经验风险最小化同时保证了泛化能力。因此,本文结合正则化、再生核理论和支持向量回归机对边值问题展开研究。将边值问题视为算子方程问题,利用再生核空间的性质得到方程解与已知条件的关系式,将问题转化为逼近问题后正则化为二次规划问题,然后利用支持向量回归机进行求解,最终得到一个由支持向量构成的稀疏解。通过Sobolev空间中的范数关系对所得数值解进行误差分析,给出了数值解与解析解的误差上界。以二阶三点边值问题为例,仅有离散值作为已知条件求解方程,实验结果表明该方法优于传统再生核方法和W-POAFD方法,验证了该方法的高精度和有效性。

基于非独立同分布样本的系数正则化回归算法的误差分析

本文分析了基于非独立同分布样本的最小二乘系数正则化算法的误差。全文的框架不同于以往的经典核学习方法。核函数仅仅满足连续性和一致有界性;我们进行基于输出样本满足广义矩理论的误差分析,而不再考虑标准的输出有界假设。最后通过利用积分算子技术得到了满意的与容量无关的误差界和学习率。

基于非局部相似及加权截断核范数的高光谱图像去噪

受仪器噪声干扰,高光谱图像(Hyperspectral Image,HSI)往往会受到高斯噪声的破坏,严重影响图像后续处理的精度,因此图像去噪是一项重要的预处理工作。此外,由于高光谱数据维度极高,因此算法效率成为模型应用能力的重要指标。为实现高效HSI去噪,文中首先将高维高光谱图像投影到低维光谱子空间上,从中学习一个正交基矩阵,然后结合高光谱的空间非局部相似性与全局光谱低秩性对低维子空间进行去噪,最后将复原后的低维图像与正交基结合恢复成原始数据维度。其中,非局部去噪过程要先通过图像的非局部相似性以邻域匹配方法寻找相似张量块组成具有强低秩属性的张量群组。针对各张量群组,文章联合加权核范数与截断核范数各自的优势,提出加权截断核范数作为低秩约束正则项,能更好地逼近本质秩属性。进一步,为快速获取模型的最优解,提出改进的近端加速梯度(Accelerated Proximal Gradient,APG)算法对低秩项进行优化求解。通过两组高光谱图像和一组多光谱图像对所提算法进行实验验证,结果表明,所提方法在视觉效果和时间效率上取得了良好的平衡,综合性能明显优于其他基于非局部去噪的对比算法。

基于双字典正则化的单帧图像超分辨率重建方法

为提高单帧图像的分辨率,提出一种基于内部字典和外部字典正则化的超分辨(super-resolution,SR)重建方法。首先,将输入的低分辨率(low-resolution, LR)图像划分为若干个结构相似的子区域,对每个子区域采用主成分分析(principal components analysis, PCA)字典学习方法构造每个子区域对应的内部字典;其次,将外部高分辨率(high-resolution, HR)图像的高频细节分为结构相似组,采用PCA字典学习方法构造外部字典;再次,使用非局部回归模型设计2个具有互补性的正则化项用于解决SR不确定性问题;最后,采用梯度下降迭代优化算法实现SR重构。实验结果表明,相比于对比方法,算法的峰值信噪比(peak signal to noise ratio, PSNR)平均提升0.2 dB,结构相似度(structural similarity, SSIM)平均提升0.01,并且能够获得更好的主观视觉效果。