最小二乘损失在多视角学习中的应用

SVM-2K模型是一种采用了非光滑合页损失的多视角学习算法。由于非光滑模型的求解过程较为复杂,因此引入了光滑的最小二乘损失的最小二乘支持向量机作为一种经典的支持向量机算法。由于光滑的最小二乘损失的最小二乘支持向量机算法具有计算简单、运算速度快、精度高等优点,被广泛应用于科研领域。为了提高模型的训练速度,在SVM-2K模型中引入了最小二乘思想。首先,提出了完全应用最小二乘损失的LSSVM-2K模型,利用最小二乘损失替换SVM-2K模型中的合页损失,可通过求解线性方程组代替经典多视角学习模型的二次规划求解方法;其次,为探究最小二乘损失对SVM-2K模型的影响,提出了在另外两个部分应用最小二乘损失的模型——LSSVM-2KI和LSSVM-2KII。将新模型与其他多视角学习模型,如SVM_(+)(可分为SVM_(+A)和SVM_(+B))、MVMED、RMvLSTSVM和SVM-2K模型在同样条件下应用在动物特征数据集(AWA)、UCI手写数字集(Digits)和森林覆盖面积数据集上,以检验新模型的有效性。实验结果表明,3种新模型具有良好的分类表现。特别是LSSVM-2KI模型,在分类精度上更具优势;LSSVM-2K模型不仅在分类精度上效果较好,而且在计算速度上也具有较大的优势;LSSVM-2KII模型在分类效果和训练时间上介于两者之间。

基于迁移学习与权重支持向量机的图像多标签标注算法

为解决图像的多标签自动标注中标签不平衡性的问题,提出了一种基于迁移学习与权重支持向量机的图像自动标注方法。为了解决所选数据集规模较小无法训练出最优的卷积神经网络的问题,文中采用迁移学习的方法,将通过Imagenet数据集训练出的Alexnet的参数迁移到文中所用的卷积神经网络模型中,并对最后一层全连接层进行微调,利用多标签分类多合页损失函数构成多分类的支持向量机。最后,文中对低频标签进行权重排序以得到图像的多标签标注结果。在Corel-5k、Esp-Game和IAPR-TC12共3个数据集上进行了实验,权重支持向量机获得的平均召回率分别提升了10%、9%和6%,低频标签对其平均精确率均提升了12%。实验结果表明,基于迁移学习的权重支持向量机的图像多标签标注方法可在有效提高数据集的召回率的同时提升低频标签的平均精确度。