基于密度峰值聚类的Tri-training算法

Tri-training利用无标签数据进行分类可有效提高分类器的泛化能力,但其易将无标签数据误标,从而形成训练噪声。提出一种基于密度峰值聚类的Tri-training(Tri-training with density peaks clustering,DPC-TT)算法。密度峰值聚类通过类簇中心和局部密度可选出数据空间结构表现较好的样本。DPC-TT算法采用密度峰值聚类算法获取训练数据的类簇中心和样本的局部密度,对类簇中心的截断距离范围内的样本认定为空间结构表现较好,标记为核心数据,使用核心数据更新分类器,可降低迭代过程中的训练噪声,进而提高分类器的性能。实验结果表明:相比于标准Tritraining算法及其改进算法,DPC-TT算法具有更好的分类性能。

基于Tri-training的社交媒体药物不良反应实体抽取

社交媒体因其数据的实时性,对其充分利用可以弥补传统医疗文献药物不良反应中实体抽取的迟滞性问题,但社交媒体文本面临标注数据成本高、数据噪声大等问题,使得模型难以发挥良好的效果。针对社交媒体大量未标注语料存在标注成本高的问题,采用Tri-training半监督的方法进行社交媒体药物不良反应实体抽取,通过三个学习器Transformer+CRF、BiLSTM+CRF和IDCNN+CRF对未标注数据进行标注,再利用一致性评价函数迭代地扩展训练集,最后通过加权投票整合模型输出标签。针对社交媒体的文本不正式性(口语化严重、错别字等)问题,通过融合字与词两个粒度的向量作为整个模型嵌入层的输入,来提取更丰富的语义信息。实验结果表明,提出的模型在“好大夫在线”网站获取的数据集上取得了良好表现。

基于Tri-training GPR的半监督软测量建模方法

集成学习因通过构建并结合多个学习器,常获得比单一学习器显著优越的泛化能力。但是在标记数据比例较少时,建立高性能的集成学习软测量模型依然是个挑战。针对这一个问题,提出一种基于半监督集成学习的软测量建模方法——Tri-training GPR模型。该建模策略充分发挥了半监督学习的优势,减轻建模过程对标记样本数据的需求,在低数据标签率下,仍能通过对无标记数据进行筛选从而扩充可用于建模的有标记样本数据集,并进一步结合半监督学习和集成学习的优势,提出一种新的选择高置信度样本的思路。将所提方法应用于青霉素发酵和脱丁烷塔过程,建立青霉素和丁烷浓度预测软测量模型,与传统的建模方法相比获得了更优的预测结果,验证了模型的有效性。

融合光谱度量标记迁移和Tri-training的高光谱遥感图像半监督分类算法

针对海量的高光谱遥感图像光谱和丰富的空间信息中可用于分类的有标记样本远少于无标记样本的数据特性,提出了一种融合光谱度量标记迁移和Tri-training的高光谱遥感图像半监督光谱-空间分类算法。该算法提出了一种基于光谱度量的标记迁移方法,通过结合迁移标记和Tri-training预测标记进行扩充样本标记预测,提高了扩充样本标记的准确性。同时,该算法基于空间相关性选择扩充样本,综合运用光谱和空间特征提升图像分类的精度。在两个公开的高光谱遥感图像数据集上进行了实验,结果表明该算法优于基于Tri-training算法的高光谱遥感图像的分类性能。

基于Tri-training算法的多分类信用评级方法

随着经济的快速发展,信用贷款在企业资金周转中的作用越来越重要.信用评级是信用贷款发放的基本依据之一.本文针对实际信用评级中有标签样本数量不足的问题,提出一种基于Tri-training算法的多分类信用评级方法,该方法选择支持向量机、决策树和最大熵模型作为基分类器组合.最后,本文使用真实的信用数据集验证了该方法的实际效果.

基于改进Tri-training算法投票机制的中文问句分类

原始的Tri-training算法在三个分类器给出的分类结果均不同时,默认第一个分类器给出的分类结果为分类器模型的最终结果,这在一定程度上有可能会降低分类器在这种情况下的分类精度。本文提出一种基于平时优秀思想的投票机制算法,该算法避免了默认将第一个分类器给出的结果作为分类器模型的分类结果这种片面的情况,并利用其对哈工大中文问句集和本文扩展问句集进行分类实验。结果表明,本文算法有良好的适应性,且分类正确率明显提高;适当增大训练集和未标记样本数据,可以增强分类器的泛化能力,从而使分类正确率提高。

基于Tri-Training和数据剪辑的半监督聚类算法

提出一种半监督聚类算法,该算法在用seeds集初始化聚类中心前,利用半监督分类方法Tri-training的迭代训练过程对无标记数据进行标记,并加入seeds集以扩大规模;同时,在Tri-training训练过程中结合基于最近邻规则的Depuration数据剪辑技术对seeds集扩大过程中产生的误标记噪声数据进行修正、净化,以提高seeds集质量.实验结果表明,所提出的基于Tri-training和数据剪辑的DE-Tri-training半监督聚类新算法能够有效改善seeds集对聚类中心的初始化效果,提高聚类性能.

基于自适应数据剪辑策略的Tri-training算法

Tri-training能有效利用无标记样例提高泛化能力.针对Tri-training迭代中无标记样例常被错误标记而形成训练集噪声,导致性能不稳定的缺点,文中提出ADE-Tri-training(Tri-training with Adaptive Data Editing)新算法.它不仅利用Remove Only剪辑操作对每次迭代可能产生的误标记样例识别并移除,更重要的是采用自适应策略来确定Remove Only触发与抑制的恰当时机.文中证明,PAC理论下自适应策略中一系列判别充分条件可同时确保新训练集规模迭代增大和新假设分类错误率迭代降低更多.UCI数据集上实验结果表明:ADE-Tri-training具有更好的分类泛化性能和健壮性.

基于Tri-training半监督学习的JPEG隐密分析方法

提出了一种基于半监督学习机制的JPEG隐密分析方法。通过三类DCT域统计特征和多超球面OC-SVM算法构建三种独立的隐密分析方法,并以Tri-training学习方式迭代地对未标记图像样本进行标记,来扩充原训练样本集,进而可以利用大量未标记属性的图像样本提高隐密分析算法的泛化能力。由JSteg、F5、Outguess、MB1含密图像与载体图像所组成的混合图像库上的仿真实验结果验证了此方法的有效性。

基于Tri-training的半监督多标记学习算法

传统的多标记学习是监督意义下的学习,它要求获得完整的类别标记.但是当数据规模较大且类别数目较多时,获得完整类别标记的训练样本集是非常困难的.因而,在半监督协同训练思想的框架下,提出了基于Tri-training的半监督多标记学习算法(SMLT).在学习阶段,SMLT引入一个虚拟类标记,然后针对每一对类别标记,利用协同训练机制Tri-training算法训练得到对应的分类器;在预测阶段,给定一个新的样本,将其代入上述所得的分类器中,根据类别标记得票数的多少将多标记学习问题转化为标记排序问题,并将虚拟类标记的得票数作为阈值对标记排序结果进行划分.在UCI中4个常用的多标记数据集上的对比实验表明,SMLT算法在4个评价指标上的性能大多优于其他对比算法,验证了该算法的有效性.

一种基于Tri-training的数据流集成分类算法

数据流分类是数据挖掘领域的重要研究任务之一,已有的数据流分类算法大多是在有标记数据集上进行训练,而实际应用领域数据流中有标记的数据数量极少。为解决这一问题,可通过人工标注的方式获取标记数据,但人工标注昂贵且耗时。考虑到未标记数据的数量极大且隐含大量信息,因此在保证精度的前提下,为利用这些未标记数据的信息,本文提出了一种基于Tri-training的数据流集成分类算法。该算法采用滑动窗口机制将数据流分块,在前k块含有未标记数据和标记数据的数据集上使用Tri-training训练基分类器,通过迭代的加权投票方式不断更新分类器直到所有未标记数据都被打上标记,并利用k个Tri-training集成模型对第k+1块数据进行预测,丢弃分类错误率高的分类器并在当前数据块上重建新分类器从而更新当前模型。在10个UCI数据集上的实验结果表明:与经典算法相比,本文提出的算法在含80%未标记数据的数据流上的分类精度有显著提高。

基于Tri-training与噪声过滤的弱监督关系抽取

弱监督关系抽取利用已有关系实体对从文本集中自动获取训练数据,有效解决了训练数据不足的问题。针对弱监督训练数据存在噪声、特征不足和不平衡,导致关系抽取性能不高的问题,文中提出NF-Tri-training(Tritraining with Noise Filtering)弱监督关系抽取算法。它利用欠采样解决样本不平衡问题,基于Tri-training从未标注数据中迭代学习新的样本,提高分类器的泛化能力,采用数据编辑技术识别并移除初始训练数据和每次迭代产生的错标样本。在互动百科采集数据集上实验结果表明NF-Tri-training算法能够有效提升关系分类器的性能。

Tri-training算法中分类器组合的改进

Tri-training算法是半监督协同算法里的经典算法,该文针对算法中分类器的使用做了一些改进,由原先单一的分类器换成两个不同分类器的组合。使用SVM分类器和最大熵分类器的不同组合作为Tri-training算法里的三个分类器构成分类器模型,然后分别对稀疏型数据、密集型数据与原始Tri-training算法进行实验比较,从而验证改进的有效性。

基于交叉熵的安全Tri-training算法

半监督学习方法通过少量标记数据和大量未标记数据来提升学习性能.Tri-training是一种经典的基于分歧的半监督学习方法,但在学习过程中可能产生标记噪声问题.为了减少Tri-training中的标记噪声对未标记数据的预测偏差,学习到更好的半监督分类模型,用交叉熵代替错误率以更好地反映模型预估结果和真实分布之间的差距,并结合凸优化方法来达到降低标记噪声的目的,保证模型效果.在此基础上,分别提出了一种基于交叉熵的Tri-training算法、一个安全的Tri-training算法,以及一种基于交叉熵的安全Tri-training算法.在UCI(University of California Irvine)机器学习库等基准数据集上验证了所提方法的有效性,并利用显著性检验从统计学的角度进一步验证了方法的性能.实验结果表明,提出的半监督学习方法在分类性能方面优于传统的Tri-training算法,其中基于交叉熵的安全Tri-training算法拥有更高的分类性能和泛化能力.

基于Tri-training算法的构造性学习方法

构造性机器学习(CML)算法在训练分类器时需要大量有标记样本,而获取这些有标记样本十分困难。为此,提出一种基于Tri-training算法的构造性学习方法。根据已标记的样本,采用不同策略构造3个差异较大的初始覆盖分类网络,用于对未标记数据进行标记,再将已标记数据加入到训练样本中,调整各分类网络参数,反复进行上述过程,直至获得稳定的分类器。实验结果证明,与CML算法和基于NB分类器的半监督学习算法相比,该方法的分类准确率更高。

一种自适应的Tri-Training半监督算法

Tri-Training算法是半监督算法的一种,在学习过程中容易错误标注无标记样本,从而降低分类性能,为此提出一种ADP-Tri-Training(Adaptive Tri-Training)算法,改进协同工作方式,根据几何中心设置分类器组成,然后应用模糊数学理论将多个独立的分类器组合,使得算法可以在多因素下综合评价样本,并在此基础上引入遗传算法动态设置组合权重以适应于具体的样本集,从而尽可能降低样本标注的错误率,多个实验结果表明ADP-Tri-Training算法具有更好的分类性能.

基于垂直集成Tri-training的虚假评论检测模型

针对虚假评论会误导用户的偏向并使其利益遭受损失以及大规模人工标注评论的代价过高等问题,通过利用以往迭代过程中生成的分类模型来提高检测的准确性,提出一种基于垂直集成的Tri-training(VETT)的虚假评论检测模型。该模型在评论文本特征的基础上结合用户行为特征作为特征进行提取。在VETT算法中,迭代过程被分成组内垂直集成和组间水平集成两部分:组内集成是利用分类器以往的迭代模型集成为一个原始分类器,而组间集成是利用3个原始分类器通过传统过程训练得到这一轮迭代后的二代分类器,以此来提高标签标记的准确率。对比Co-training、Tri-training、基于AUC优化的PU学习(PU-AUC)和基于垂直集成的Co-training(VECT)等算法,VETT算法的F1值分别最大提高了6.5、5.08、4.27和4.23个百分点。实验结果表明VETT算法有较好的分类性能。

基于Tri-training的多特征融合图像检索

为了有效地综合利用图像的多种底层特征进行图像检索,提出将Tri-training方法应用于图像检索过程,将图像的颜色、纹理和形状特征进行了有效的融合。分别提取图像的三维量化颜色直方图、方向可控金字塔二值图像投影和仿射不变区域来表示其颜色、纹理和形状特征,并将三种特征的匹配值作为Tri-training分类器的输入对分类器进行训练和测试。实验结果表明,该方法有效利用了图像的多种特征,达到了很好的检索效果。

关系tri-training：利用无标记数据学习一阶规则

针对目前归纳逻辑程序设计(inductive logic programming,ILP)系统要求训练数据充分且无法利用无标记数据的不足,提出了一种利用无标记数据学习一阶规则的算法——关系tri-training(relational-tri-training,R-tri-training)算法。该算法将基于命题逻辑表示的半监督学习算法tri-training的思想引入到基于一阶逻辑表示的ILP系统,在ILP框架下研究如何利用无标记样例信息辅助分类器训练。R-tri-training算法首先根据标记数据和背景知识初始化三个不同的ILP系统,然后迭代地用无标记样例对三个分类器进行精化,即如果两个分类器对一个无标记样例的标记结果一致,则在一定条件下该样例将被标记给另一个分类器作为新的训练样例。标准数据集上实验结果表明:R-tri-training能有效地利用无标记数据提高学习性能,且R-tri-training算法性能优于GILP(genetic inductive logic programming)、NFOIL、KFOIL和ALEPH。

基于Tri-training直推式支持向量机算法

针对直推式支持向量机错误累积及获取无标记样本空间信息慢的问题,结合Tri-training算法、KKT条件及富信息策略提出一种基于Tri-training的直推式支持向量机算法,用KKT条件选择标注样本,用富信息策略选择加入的分类器,利用多个分类器的投票结果进行标注,提高样本标注的准确度,利用多个分类器进行协同训练提高算法的训练速度.最后实验结果表明,算法能够提高最终分类器的分类精度和算法的训练速度.