一种有效且稳健的变量选择方法

当数据中存在异常值时,一些基于最小二乘估计的统计模型会产生较大的偏差,最小一乘估计对异常值具有比较强的抵抗能力。考虑到数据中可能存在异常值的情况,用绝对值损失代替平方损失,针对同时具有变量稀疏性和相邻系数差分稀疏性这种结构的线性模型,提出了最小一乘融合熔断自适应岭估计模型(LAD-Fused-BAR)。该模型将上一步估计的回归系数倒数的平方作为下一步惩罚权重,自适应地给予不同变量不同的惩罚,通过不断迭代得到最终解。运用交替方向乘子法(ADMM)求解LAD-Fused-BAR模型,并证明了ADMM算法的收敛性。数值模拟和实证分析也验证了该模型的有效性和稳健性。

基于张量低管道秩的图像多分类模型

传统机器学习方法在对高阶张量数据进行分类时,往往将其转化为低阶格式,由此会产生过拟合问题并且破坏张量的结构。针对上述问题提出一种基于张量低管道秩的多分类模型(LRTMLR)。该模型可以直接对张量格式的图像进行分类,使用由张量–张量积诱导的张量管道秩及相应的张量核范数来处理低秩张量,更好地利用张量结构特点,提高张量格式图像的多分类准确性。在三分类仿真数据集上,LRTMLR的分类准确率较无结构信息(MLR)、带矩阵结构信息(LRMLR)的方法均提升9.6个百分点,在五分类仿真数据集上则分别提升23.2和25.2个百分点。在加州理工大学的101类彩色图像识别数据集的三分类、五分类和十四分类子集上,LRTMLR的分类准确率较MLR分别提升了10.01、25.61和40.78个百分点,较LRMLR分别提升了10.68、25.61和40.78个百分点,与基于CP分解的方法(MCPLR)相比提高了6.47、13.37和27.73个百分点,与基于Tucker分解的方法(MTuLR)相比提高了1.79、12.38和13.71个百分点。并在消融实验中证明了创新的有效性。