AUC(area under the ROC curve)优化问题的损失函数由来自不同类别的样本对构成,这使得依赖于损失函数之和的目标函数与训练样本数二次相关,不能直接使用传统在线学习方法求解.当前的在线AUC优化算法聚焦于在求解过程中避免直接计算所...AUC(area under the ROC curve)优化问题的损失函数由来自不同类别的样本对构成,这使得依赖于损失函数之和的目标函数与训练样本数二次相关,不能直接使用传统在线学习方法求解.当前的在线AUC优化算法聚焦于在求解过程中避免直接计算所有的损失函数,以减小问题的规模,实现在线AUC优化.针对以上问题提出了一种AUC优化的新目标函数,该目标函数仅与训练样本数线性相关;理论分析表明:最小化该目标函数等价于最小化由L2正则化项和最小二乘损失函数组成的AUC优化的目标函数.基于新的目标函数,提出了在线AUC优化的线性方法(linear online AUC maximization,LOAM);根据不同的分类器更新策略,给出2种算法LOAMILSC和LOAMAda.实验表明:与原有方法相比,LOAMILSC算法获得了更优的AUC性能,而对于实时或高维学习任务,LOAMAda算法更加高效.展开更多
针对传统集成学习方法忽略不同样本需使用不同模型权重的问题,提出一种基于类权重和最小化预测熵(class and entropy weights,CEW)的测试时集成方法。类权重为模型预测结果与验证集上各类概率对错分布的相似度,利用欧氏距离计算相识度;...针对传统集成学习方法忽略不同样本需使用不同模型权重的问题,提出一种基于类权重和最小化预测熵(class and entropy weights,CEW)的测试时集成方法。类权重为模型预测结果与验证集上各类概率对错分布的相似度,利用欧氏距离计算相识度;在最小化熵过程中,线性组合模型预测经过类权重模块加权后的输出,寻找最小预测熵对应的线性组合作为熵权重,提高集成模型预测能力。试验结果表明:在4个公开医学图像数据集上,CEW方法与最优单一模型相比,平均召回率提高0.23%~2.81%,准确率提高0.5%~2.54%;与DS方法相比,CEW方法平均召回率最多提高1.25%,准确率最多提高1.1%。基于CEW的测试时集成方法能够在测试时(无标签情况下)动态调整模型权重,比同类方法的预测精度更高。展开更多
文摘AUC(area under the ROC curve)优化问题的损失函数由来自不同类别的样本对构成,这使得依赖于损失函数之和的目标函数与训练样本数二次相关,不能直接使用传统在线学习方法求解.当前的在线AUC优化算法聚焦于在求解过程中避免直接计算所有的损失函数,以减小问题的规模,实现在线AUC优化.针对以上问题提出了一种AUC优化的新目标函数,该目标函数仅与训练样本数线性相关;理论分析表明:最小化该目标函数等价于最小化由L2正则化项和最小二乘损失函数组成的AUC优化的目标函数.基于新的目标函数,提出了在线AUC优化的线性方法(linear online AUC maximization,LOAM);根据不同的分类器更新策略,给出2种算法LOAMILSC和LOAMAda.实验表明:与原有方法相比,LOAMILSC算法获得了更优的AUC性能,而对于实时或高维学习任务,LOAMAda算法更加高效.
文摘针对传统集成学习方法忽略不同样本需使用不同模型权重的问题,提出一种基于类权重和最小化预测熵(class and entropy weights,CEW)的测试时集成方法。类权重为模型预测结果与验证集上各类概率对错分布的相似度,利用欧氏距离计算相识度;在最小化熵过程中,线性组合模型预测经过类权重模块加权后的输出,寻找最小预测熵对应的线性组合作为熵权重,提高集成模型预测能力。试验结果表明:在4个公开医学图像数据集上,CEW方法与最优单一模型相比,平均召回率提高0.23%~2.81%,准确率提高0.5%~2.54%;与DS方法相比,CEW方法平均召回率最多提高1.25%,准确率最多提高1.1%。基于CEW的测试时集成方法能够在测试时(无标签情况下)动态调整模型权重,比同类方法的预测精度更高。