基于负相关性增强的不平衡多标签学习算法

由于标签空间过大,标签分布不平衡问题在多标签数据集中广泛存在,解决该问题在一定程度上可以提高多标签学习的分类性能。通过标签相关性提升分类性能是解决该问题的一种最常见的有效策略,众多学者进行了大量研究,然而这些研究更多地是采用基于正相关性策略提升性能。在实际问题中,除了正相关性外,标签的负相关性也可能存在,如果在考虑正相关性的同时,兼顾负相关性,无疑能够进一步改善分类器的性能。基于此,提出了一种基于负相关性增强的不平衡多标签学习算法——MLNCE,旨在解决多标签不平衡问题的同时,兼顾标签间的正负相关性,从而提高多标签分类器的分类性能。首先利用标签密度信息改造标签空间;然后在密度标签空间中探究标签真实的正反相关性信息,并添加到分类器目标函数中;最后利用加速梯度下降法求解输出权重以得到预测结果。在11个多标签标准数据集上与其他6种多标签学习算法进行对比实验,结果表明MLNCE算法可以有效提高分类精度。

不稳定型心绞痛患者不良结局的多标签预测模型构建

目的不稳定型心绞痛患者不良结局具有多维性的特点,传统统计方法多对不稳定型心绞痛的单维结局进行预测,无法解决多标签数据特征冗余、标签不平衡等问题。本文尝试采用多标签合成少数类过采样技术(MLSMOTE)算法进行处理,并构建多标签预测模型,以提高其预测性能。方法收集来自2017年1月~2020年5月于山西医科大学第二医院收治的不稳定型心绞痛患者纳入本研究。采用回顾性和前瞻性相结合的临床队列收集患者信息。以不稳定型心绞痛患者发生心肌梗死、心力衰竭、血运重建、脑卒中、死亡为结局,使用改进Relief F的多标记特征选择(RF-ML)算法选择多标签特征子集,MLSMOTE算法进行多标签不平衡处理,在此基础上构建分类器链(CC)的多标签分类模型,选取随机森林、朴素贝叶斯、支持向量机、K近邻(K-nearest neighbors,KNN)算法等为基分类器进行比较,并评价模型性能。结果采用多标签特征选择方法RF-ML进行变量筛选,最终筛选出18个变量纳入模型,分别为:尿酸、肌酐、血小板、氯、血红蛋白、收缩压、舒张压、心率、钠、血清总胆红素、血清间接胆红素、白蛋白、血清总胆汁酸、体质指数(BMI)、血糖、血清直接胆红素、低密度脂蛋白胆固醇、高密度脂蛋白胆固醇。采用多标签不平衡算法MLSMOTE对此次研究涉及的5个标签:心肌梗死、心力衰竭、血运重建、脑卒中、死亡进行不平衡处理。采用不平衡处理后的数据,选择随机森林、朴素贝叶斯、支持向量机、KNN作为基分类器,建立CC模型,结果显示以朴素贝叶斯为基分类器的CC模型在Ranking loss、Macro_AUC、Micro_AUC、Macro_F1、Micro_F1、Macro_recall六个指标上的表现性能均优于其他模型。结论本研究采用MLSMOTE算法进行不平衡处理,使原始标签的不平衡率得到一定改善。运用均衡化数据建立CC模型,充分考虑了标签的特定特征和标签相关性,以朴素贝叶斯为基分类器的CC模型表现最佳。