MATLAB稳健回归在作物水模型建模中的应用

本文讨论了作物水模型常规多元线性回归以及稳健回归的建立方法。基于内蒙古河套灌区曙光试验站玉米非充分灌溉试验资料,利用MATLAB中提供的稳健回归方法建立了Minhas型作物水模型,并与常规的多元线性回归方法进行了比较。结果表明采用稳健回归的方法比常规的多元线性回归可在一定程度上提高作物水模型的回归效果。

Matlab稳健回归法在FD-3019γ测井仪校准中的应用

简要介绍了FD-3019γ测井仪的校准方法,即Matlab稳健回归法及其抗差性。通过一个实例对比了Matlab稳健回归法和最小二乘法建立的一元线性回归方程,结果表明Matlab稳健回归法较之最小二乘法更为准确。

高维线性回归模型稳健变量选择方法综述

随着大数据时代的到来,在经济学、金融学和生物医学等众多研究领域中频繁收集到高维数据.高维数据的特征之一是变量维数p随着样本量n的增加而变大且通常会超过样本量,同时,异常值也容易出现在高维数据中.因此,如何克服异常值给高维统计推断带来的影响,从而得到更精确的模型,是目前统计学研究的热点问题之一.本文是对高维线性模型下的稳健变量选择方法进行综述.具体地,首先介绍评估稳健性的三个指标:影响函数、崩溃点和最大偏差.其次着重介绍了稳健变量选择方法,包括响应变量含有异常值,响应变量和协变量都含有异常值,高崩溃点且高效的变量选择方法.紧接着介绍相关算法,通过模拟和实例比较不同变量选择方法.最后,简要探讨了高维稳健有效变量选择方法存在的问题及未来的可能发展方向.

基于加权复合分位数回归的变系数部分线性模型的稳健经验似然估计

研究了变系数部分线性模型的稳健经验似然推断问题。利用加权复合分位数回归以及经验似然方法,并结合基于矩阵QR分解的正交投影技术,对模型的参数分量提出了一种基于加权复合分数回归的经验似然估计方法。理论证明了提出的经验对数似然比函数渐近服从卡方分布,得到参数分量的置信区间。该估计方法中引入了基于矩阵QR分解的正交投影技术,保证对模型的参数分量进行估计时不会受到非参数分量估计精度的影响,因此具有较好的稳健性和有效性。

GNSS-IR多星融合的稳健回归土壤湿度反演方法

全球卫星导航系统干涉测量法(GNSS-IR)能够利用直/反射卫星信号间的干涉信息分析提取土壤湿度、海面高度等有效信息。针对传统线性回归方法在土壤湿度反演过程中出现的拟合模型随异常观测值偏移的问题,本文提出了利用稳健回归方法降低异常值权重,以达到减小或抵消异常观测数据对观测结果的影响。为验证模型的适用范围,本文在稳健回归的基础上进行了多星融合试验,有效提高了土壤湿度反演精度。结果表明,与传统线性回归方法相比,本文提出的方法在单颗卫星时RMSE和MAE平均降低8.38%和8.91%,在两颗卫星时RMSE和MAE平均降低15.18%和16.42%,在三颗卫星时RMSE和MAE平均降低21.00%和22.97%,在四颗卫星时RMSE和MAE平均降低26.25%和28.71%。

一种基于DBSCAN算法改进的稳健AdaBoost回归模型

传统的AdaBoost.R2算法在AdaBoost算法思想的基础上将回归问题转化为二分类问题,取得了较好的估计效果。但该算法对异常点敏感,在迭代过程中会将异常点的权重不断加大,导致模型的稳健性较差。提出一种改进的AdaBoost算法,称为AdaBoost.DBSCAN。首先,通过DBSCAN聚类算法对观测点进行分类;然后,分别针对正常点和异常点,采用不同的权重控制策略进行控制,保证异常点的权重在迭代过程中无法以指数速率增长,同时能较大程度地保存样本信息。模拟和实际应用结果表示,与传统的AdaBoost.R2、AdaBoost.RT算法以及AdaBoost.RS算法相比,该算法具有良好的稳健性,在含有不同比例异常点的数据集中都能够获得较好的表现。

基于MATLAB软件多元线性回归分析的太原市六城区加油站雷击风险评价模型

利用多元线性回归分析方法对所采集的太原市六城区具有代表性的加油站雷击风险数据进行处理,最终得到加油站雷击风险评价模型。该模型对加油站的防雷安全隐患排查及雷电防护设施改进有着非常重要的意义,并为辖区内新建、改建易燃易爆场所的施工规划和选址提供了重要参考,同时为气象部门针对易燃易爆危化场所防雷监管提供了重要的技术依据。

基于惩罚最小绝对偏差的部分线性空间自回归模型的稳健变量选择

结合B样条逼近以及工具变量调整技术,并利用惩罚最小绝对偏差方法,对部分线性空间自回归模型提出了一种稳健变量选择方法.理论上证明了所提出的变量选择方法可以相合地识别出模型中的重要协变量和不重要协变量,并给出了所得正则估计的收敛速度.所提出的变量选择过程对模型中的参数分量和非参数分量的估计可以一步同时完成,避免了非参数分量的估计对参数分量变量选择的影响,因此具有较好的稳健性和有效性.

基于双重稳健回归的果树行间可行驶区域识别算法

【目的】提出一种复杂环境下以天空为背景的果树行间可行驶区域识别算法,以便农业机器人导航系统中工作路径的提取。【方法】通过蓝色分量(B分量)进行树冠和背景天空的分离,改进Otsu算法实现更好的分割效果,形态学处理后根据树顶分布规律,进行动态阈值“V形”感兴趣区域寻找及特征点提取,使用泰尔−森稳健回归剔除干扰点后,使用随机采样一致性(Random sample consensus,RANSAC)算法进行拟合,得到树顶处直线,通过斜率变换关系得到可行驶区域边缘直线斜率,利用剔除后特征点信息和剔除阈值获得关键点坐标,以斜率为约束条件,代入关键点,得到可行驶区域边缘直线方程,并使用最小二乘法进行拟合,以此实现可行驶区域识别。【结果】试验结果表明,本文双重稳健回归算法较泰尔−森算法和RANSAC算法平均偏差角度分别减小了8.28%和9.88%,标准差分别减少了6.25%和22.89%,准确率分别提高了4.64%和10.49%。【结论】研究结果可为农业机器人在大多数标准化果园复杂环境中的可行驶区域识别和路径提取提供研究思路。

基于最小距离法的稳健群组变量选择

在研究存在异常值的logistic回归模型时,发现如果使用极大似然估计(MLE)方法进行参数估计,那么异常值引起的偏差不是造成参数估计过大而是导致参数向量内爆即参数向量收缩为零向量,此时如果进行群组变量选择很可能会忽略一些重要变量.因此针对具有组结构的logistic回归模型,为处理解释变量存在异常值时的群组变量选择问题,将基于最小距离法的稳健估计(L_(2)E)方法与已有的3种群组变量选择方法和3种双层变量选择方法结合,在此基础上利用Majorization-Minimization(MM)算法对目标函数进行求解.通过数值模拟比较了基于L_(2)E方法和MLE方法在模型具有组稀疏和双层稀疏的情况下,6种变量选择方法在不同维数下的有限样本表现,结果不仅验证了L_(2)E方法在存在异常值的logistic回归模型参数估计中的稳健性,而且指出了在这6种变量选择方法中使用Group Bridge方法进行变量选择的准确度更高.

稳健的个体化亚组分析

异质群体的亚组分析是实现个体化医疗和个性化营销的关键所在。基于回归的方法是亚组分析的主要流派之一,这种范式将预测变量分为具有异质效应和同质效应的两部分,并根据异质变量是否相同将样本分为不同的亚组。然而,现有的基于回归的亚组分析方法大多有两大局限性:第一,它们仍然认为亚组内的样本是同质的,没有充分考虑个体效应;第二,没有考虑到同质变量中常见污染现象,这将导致模型结果出现较大偏差。为应对这些挑战,提出一种稳健的个体化亚组分析方法。使用多向分离惩罚函数估计模型异质部分的个体化效应,并使用γ散度得到同质部分的稳健估计。还提出一种高效的交替迭代的两步算法,这一方法结合了坐标下降法和交替方向乘子法。数值模拟和对皮肤黑色素瘤数据的分析进一步验证了所提方法的有效性。

非参数可加模型的迭代自适应稳健变量选择

本文结合稳健损失函数、B样条逼近和自适应组Lasso研究一个高维可加模型,以识别“大p小n”下的不显著协变量.与传统的最小二乘自适应组Lasso相比,该方法具有较好的抵消重尾误差和异常值的影响.为证明方便,本文进一步考虑了更一般的加权稳健组Lasso估计,且该权向量对所建议的估计量具有模型选择oracle性质和渐近正态性的证明中起着关键作用.稳健组Lasso和自适应稳健组Lasso可以看作是加权稳健组Lasso在不同权向量下的特殊情况.在实际应用中,我们使用稳健组Lasso获得初始估计以降低问题的维数,然后使用迭代自适应稳健组Lasso选择非零分量.数值结果表明,所提出的方法对中等规模的样本具有良好的适用性.高维基因TRIM32数据验证了该方法的应用.

基于贝叶斯支持向量回归机的稳健参数设计

稳健参数设计是一种质量改进的重要技术,能够从产品生产的源头上减少和控制波动的产生。双响应曲面法是其常用的方法,主要是利用低阶多项式模型来拟合均值和方差响应,但当样本较复杂(如为非线性或者高维样本)时,低阶多项式模型的拟合性能往往较差,求解优化问题效果不佳。支持向量回归机对非线性数据有良好的拟合潜力,但其性能依赖于参数的合理设置,文章将贝叶斯优化应用于支持向量回归机的参数选择,并将优化后的模型应用于稳健参数设计中响应曲面模型的构建,提出一种基于贝叶斯支持向量回归机的稳健参数设计方法。试验结果表明,所提方法和其他常见优化方法相比,可以获得更精确的响应曲面,可以在实际应用中近似得到可靠的最优因子搭配水平。

变系数模型的稳健变量选择与结构识别

研究了稳健回归下变系数模型的变量选择和模型结构识别问题。利用B样条基函数近似非参数系数函数,建立自适应组Lasso双惩罚函数选择变系数模型中的重要变量并且识别具有常数效应的协变量,同时估计未知的非参数系数函数。在一定条件下,证明了所提出的惩罚估计量具有相合性和稀疏性。通过数值模拟验证所提方法的有限样本性质。

基于MATLAB的量化高频交易算法设计与实践

随着人工智能和大数据时代的到来,越来越多的非理工科专业培养计划中引入了“MATLAB编程”课程,而以基础语法为主的传统授课内容已无法满足学生多样化的专业发展需求。在此背景下,上海交通大学学生创新中心自2021年起在原有的“MATLAB编程”课程基础上进行了改革,开设了“MATLAB基础与在科学计算中的实践”课程。该课程面向全校所有专业本科生,旨在帮助他们熟练掌握MATLAB基础语法,从而通过实践案例构建数学模型,进而解决各类专业问题。为了向金融和经管方向的学生提供贴近专业实际的教学案例,课程以2019年沪深300股指期货订单簿数据为研究对象,基于MATLAB编程使用多元线性回归方法设计了一套高频交易的预测和回测算法,以此为例,教师能够引导学生使用订单流数据对价格进行建模预测,从而培养他们分析和解决金融领域相关问题的思维方法与实践能力,使枯燥、抽象的理论教学更加贴近行业前沿。

偏稳健M回归在人体血糖浓度近红外无创检测中的应用

采用偏稳健M回归方法有效地解决了人体血糖浓度近红外无创检测研究过程中由于样本奇异值影响模型稳健性的问题。该方法源于现有的迭代变权偏最小二乘法,计算快、易于实现,具有M估计的所有性质,且当权函数选择合适时,能降低奇异值的影响,建立具有稳健性的校正模型。采用该方法对近红外光谱实验数据进行了处理,并与传统的偏最小二乘(partialleast squares,PLS)建模方法进行了比较。结果表明,与PLS相比,该方法可建立稳健的校正模型提高预测精度,更适合复杂样品建模,对于人体血糖浓度近红外无创检测的进一步研究具有应用价值。

采用稳健回归算法的绝缘子污闪电压预测方法

针对利用最小二乘法预测污闪电压存在的局限性,提出了一种基于稳健回归的绝缘子污闪电压预测方法:根据试验电压与盐密和灰密数据,通过复加权最小二乘迭代算法求解回归系数;迭代计算中采用权重函数,权重系数为上次迭代的残差的函数,以此减少奇异值对回归系数的影响;由回归系数映射出盐密影响特征指数和灰密影响特征指数,并预测绝缘子的污闪电压。通过比较试验数据与稳健回归及最小二乘回归的预测结果,验证了基于稳健回归的污闪电压预测方法的有效性。

基于M估计稳健回归的多谐波源责任区分

为对多谐波源系统中各谐波源的谐波责任进行正确区分,提出一种基于M估计稳健回归的评估方法。首先根据公共连接点处各谐波电压相量之间的关系定义了评价谐波源责任的指标因子。利用时间序列分割法选择出满足分析要求的谐波电压和谐波电流历史数据。利用反复加权的最小二乘迭代法求解回归系数,根据回归系数计算出谐波责任指标因子,进而评估多谐波源系统中各谐波源的谐波责任。该方法大大削弱了数据异常值对回归系数的影响,克服了传统最小二乘法对奇异数据敏感、评估精度低的缺点。仿真分析和实际算例均验证了该方法的有效性以及相对于传统最小二乘法的优越性。

稳健回归解析紫外光度法同时测定磺胺甲噁唑和甲氧苄啶

磺胺甲噁唑和甲氧苄啶的紫外光谱严重重叠，本文构造和使用两个M估计的新的目标函数导函数(x)函数，并由此建立两个新稳健回归方法，以此解析重叠的吸收光谱，不经分离紫外分光光度法同时测定磺胺甲噁唑和甲氧苄啶，结果满意。为多组分同时测定提供了两个新稳健回归方法。

基于LTS初值的稳健回归的谐波发射水平评估方法

提出了一种基于最小截尾二乘(LTS)的稳健回归的谐波发射水平评估方法。在系统公共连接点测量电压与电流,经过傅立叶分析,利用最小截尾二乘算法估计系统谐波阻抗的迭代初始值。通过反复加权迭代计算最终的系统谐波阻抗估值。利用系统谐波阻抗评估公共连接点两侧的谐波发射水平,从而衡量谐波源对电力系统的谐波危害程度。最后,通过仿真分析验证了该方法的改进效果。与普通稳健回归法相比,所提出的改进方法具有较稳健的迭代初始值,可以有效减小异常值的影响,且具有更强的背景谐波波动适应能力。