不稳定型心绞痛患者不良结局的多标签预测模型构建

目的不稳定型心绞痛患者不良结局具有多维性的特点,传统统计方法多对不稳定型心绞痛的单维结局进行预测,无法解决多标签数据特征冗余、标签不平衡等问题。本文尝试采用多标签合成少数类过采样技术(MLSMOTE)算法进行处理,并构建多标签预测模型,以提高其预测性能。方法收集来自2017年1月~2020年5月于山西医科大学第二医院收治的不稳定型心绞痛患者纳入本研究。采用回顾性和前瞻性相结合的临床队列收集患者信息。以不稳定型心绞痛患者发生心肌梗死、心力衰竭、血运重建、脑卒中、死亡为结局,使用改进Relief F的多标记特征选择(RF-ML)算法选择多标签特征子集,MLSMOTE算法进行多标签不平衡处理,在此基础上构建分类器链(CC)的多标签分类模型,选取随机森林、朴素贝叶斯、支持向量机、K近邻(K-nearest neighbors,KNN)算法等为基分类器进行比较,并评价模型性能。结果采用多标签特征选择方法RF-ML进行变量筛选,最终筛选出18个变量纳入模型,分别为:尿酸、肌酐、血小板、氯、血红蛋白、收缩压、舒张压、心率、钠、血清总胆红素、血清间接胆红素、白蛋白、血清总胆汁酸、体质指数(BMI)、血糖、血清直接胆红素、低密度脂蛋白胆固醇、高密度脂蛋白胆固醇。采用多标签不平衡算法MLSMOTE对此次研究涉及的5个标签:心肌梗死、心力衰竭、血运重建、脑卒中、死亡进行不平衡处理。采用不平衡处理后的数据,选择随机森林、朴素贝叶斯、支持向量机、KNN作为基分类器,建立CC模型,结果显示以朴素贝叶斯为基分类器的CC模型在Ranking loss、Macro_AUC、Micro_AUC、Macro_F1、Micro_F1、Macro_recall六个指标上的表现性能均优于其他模型。结论本研究采用MLSMOTE算法进行不平衡处理,使原始标签的不平衡率得到一定改善。运用均衡化数据建立CC模型,充分考虑了标签的特定特征和标签相关性,以朴素贝叶斯为基分类器的CC模型表现最佳。

基于分类间隔增强的不平衡多标签学习算法

传统的多标签学习算法一般没有考虑标签的不均衡性,从而忽略了标签不平衡给分类带来的影响。但统计发现,目前常用的多标签数据集均存在标签不均衡问题,且少数类标签往往更加重要。基于此,本文提出了一种基于分类间隔增强的不平衡多标签学习算法(Imbalanced multi-label learning algorithm based on classification interval enhanced,MLCIE),旨在利用各标签分类间隔的重构来增强分类器对少数类标签样本的学习效率,提升样本标签质量,从而减少多标签不平衡对分类器学习精度的影响。首先利用各标签密度与条件熵计算各标签的不确定性系数;然后构建分类间隔增强矩阵,将各标签独有的密度信息融入到原始标签矩阵中,获取平衡的标签空间;最后使用极限学习机作为线性分类器进行分类。本文在11个多标签标准数据集上与其他7种多标签学习算法进行对比实验,结果表明本文算法在解决标签不平衡问题上有一定效果。

基于负相关性增强的不平衡多标签学习算法

由于标签空间过大,标签分布不平衡问题在多标签数据集中广泛存在,解决该问题在一定程度上可以提高多标签学习的分类性能。通过标签相关性提升分类性能是解决该问题的一种最常见的有效策略,众多学者进行了大量研究,然而这些研究更多地是采用基于正相关性策略提升性能。在实际问题中,除了正相关性外,标签的负相关性也可能存在,如果在考虑正相关性的同时,兼顾负相关性,无疑能够进一步改善分类器的性能。基于此,提出了一种基于负相关性增强的不平衡多标签学习算法——MLNCE,旨在解决多标签不平衡问题的同时,兼顾标签间的正负相关性,从而提高多标签分类器的分类性能。首先利用标签密度信息改造标签空间;然后在密度标签空间中探究标签真实的正反相关性信息,并添加到分类器目标函数中;最后利用加速梯度下降法求解输出权重以得到预测结果。在11个多标签标准数据集上与其他6种多标签学习算法进行对比实验,结果表明MLNCE算法可以有效提高分类精度。

语义增强的完全不平衡标签网络表示学习算法

在网络表示学习的研究中,数据的不完整性问题是一个重要问题,该问题使现有的表示学习算法难以达到预期效果。近年来,不少学者针对此类问题提出了解决方法,这些方法大多仅考虑标签信息本身的缺失问题,对数据不平衡性涉及较少,尤其是某一类别标签完全缺失的完全不平衡问题。解决这类问题的学习算法并不完善,主要存在的问题是在聚合邻域特征时侧重于考虑网络结构信息,未利用属性特征与语义特征间的关系来增强表示结果。为了解决以上问题,提出了融合属性特征与结构特征的SECT(Semantic Information Enhanced Network Embedding with Completely Imbalanced Labels)方法。首先,在考虑属性空间和语义空间关系的基础上,引入注意力机制进行监督学习,得到语义信息向量;然后,应用变分自编码器无监督提取结构特征以增强算法的鲁棒性;最后,在嵌入空间中融合语义与结构两种信息。将使用SECT算法得到的网络向量表示在Cora,Citeseer等数据集上进行测试,应用于节点分类任务时与RECT和GCN等算法相比,取得了0.86%~1.97%的效果提升。网络向量表示的可视化结果显示,与其他算法相比,SECT算法的类间距离变大,类簇内部更加紧凑,能较清晰地区分类别边界。实验结果表明了SECT算法的有效性,SECT得益于更好地在低维嵌入空间中融合语义信息,有效提升了存在完全不平衡标签情况下的节点分类任务性能。

一种构建情感标签均衡语料库的主动学习算法

为提高构建的情感语料库中情感分布的均衡性,提出一种基于主动学习的算法以保持新构建训练集中情感标签的均衡。综合信息性、代表性、多样性和互补性标准于一体,通过文本的情感预测概率和特征统计量逐层筛选样本,利用互补性准则中的标签平衡措施抽取候选样本。该算法可以抑制模型选择高频次情感标签的样本,并促进低频次情感标签的样本选择,以达到情感标签平衡的目的。多标签情感分类实验表明,该算法能有效构造情感标签均衡的文本训练集,并通过所构造的训练集逐步提高文本情感分类的效果。

采用分而治之策略的快速多标签支持向量机分类算法研究

在大规模多标签分类中,繁重的计算复杂度已严重限制了非线性核支持向量机的使用。因此,本文提出了采用分而治之策略的快速多标签支持向量机分类算法。首先,采用二元关联问题转换策略将多标签分类问题转换为多个二元分类问题。然后,每个二元分类问题都可以被改进的采用分而治之策略的支持向量机分类算法解决,其改进体现在采用DEC(Different Error Cost)方法来克服标签数据不平衡问题。最后,通过集成每个二元分类问题解决方案来实现快速多标签分类。它在训练和测试速度、测试性能等方面优于其它快速多标签分类算法。在两组大规模多标签数据集上的实验结果表明:该算法的训练和测试速度是最快的,测试性能接近ML-LIBSVM分类算法,优于其它快速多标签分类算法。

旅游领域嵌套实体和重叠关系联合抽取模型BPNRel

针对旅游领域信息抽取过程中出现的实体嵌套和关系重叠问题,提出一种基于多标签指针网络和双仿射分类器的实体关系联合抽取模型BPNRel.该模型通过共享编码层参数在实体抽取部分使用多标签指针网络确定嵌套实体和非嵌套实体的实体边界和实体类型.在关系抽取部分融合了实体类型信息的编码层参数,经过双仿射分类器进行关系分类,在构建的旅游领域关系抽取数据集TFRED上的F1达到了90.4%,有效地解决了实体嵌套和关系重叠问题.此外,针对模型存在的标签不平衡问题使用Focal Loss损失函数调整正负样本损失值,并使用对抗训练提升模型的泛化能力,最后在百度DuIE数据集上与主流联合抽取模型进行了对比实验.实验证明,使用增强策略的BPNRel模型抽取优于主流的联合抽取模型.

基于代价敏感的中文文本的情感-原因对提取研究

情感-原因对提取在商业信息挖掘等领域有重要的应用。为了解决情感-原因对提取任务中数据集出现的标签不平衡问题,提出基于代价敏感的损失函数方法解决标签不平衡,同时,针对谷歌全词覆盖BERT的国外公开数据集缺乏中文语言的相关模型和忽略了中文分词的作用,该文采用哈工大讯飞联合发布中文BERT-wwm进行预训练。通过对比试验表明,在P、R、F1结果都有提升,尤其F1结果上有接近1%的提升,验证了该方法在情感-原因对提取研究上的有效性。