采用双重特征扰动的最小平方有序回归

有序回归是一种特殊的机器学习范式,其目标是利用类间内在的有序标号来划分模式。尽管已有众多有序学习方法相继被提出,但其性能常受制于有限的训练样本。借鉴最近提出的边际特征扰动思想,通过对训练样本的输入和输出分别施加已知分布噪声的随机扰动和确定偏差的可控扰动,以弥补样本有限的不足,进而在最小平方有序回归基础上发展出采用双重特征扰动的最小平方有序回归(least squares ordinal regression using doubly corrupted features,LSOR-DCF)。实验结果表明,LSOR-DCF性能优于无扰动或单一输入/输出的扰动,且在小数据集上表现得尤其明显。

判别最小平方有序回归

有序回归是特殊的机器学习范式,其目标是利用数据间内在的序标号以划分模式.尽管众多算法相继提出,但经典的最小平方回归(LSR)尚未应用于有序回归场景.为此,文中采用累积标号编码和间隔扩大策略,在LSR基础上提出判别最小平方有序回归(DLSOR).DLSOR在对回归函数无需施加约束的前提下,仅通过改造标号实现有序信息的嵌入和类间间隔的扩大,从而确保DLSOR在与LSR具有相当模型复杂度的同时,既保证较高的分类精度,又获得较低的平均绝对误差.实验验证DLSOR在提升有序回归性能上的优越性.