一种基于距离比值的支持向量机增量训练算法

由于支持向量机具有较好地学习性能和泛化能力,目前已经得到了广泛的应用。如何使支持向量机进行有效的增量学习是目前支持向量机应用中需要解决的问题。深入研究了支持向量分布特点,提出了一种新的支持向量机增量训练淘汰机制——距离比值算法。该算法根据遗忘规则,设定一个合适的参数,按距离比值法中的定义计算各个样本中心距离与其到最优分类面距离的比值,舍弃对后续训练影响不大的样本,即可对训练数据进行有效的淘汰。对标准数据集的实验结果表明,使用该方法进行增量训练在保证分类精度的同时,能有效地提高训练速度。

一种SVM增量训练淘汰算法

基于KKT条件分析了样本增加后支持向量集的变化情况,深入研究了支持向量分布特点,提出了一种新的支持向量机增量训练淘汰机制——挖心淘汰算法。该算法只需设定一个参数,即可对训练数据进行有效的遗忘淘汰。通过对标准数据集的实验结果表明,使用该方法进行增量训练在保证训练精度的同时,能有效地提高训练速度并降低存储空间的占用。

一种基于LDA的k话题增量训练算法

由于LDA模型需要预先给定话题个数k,因此在进行最优话题个数k选取时需要对语料库进行k值循环计算,从而加剧了算法的复杂度。针对LDA模型的最优k值选取问题,提出LDA话题增量训练算法。该方法首先以词-话题概率熵值作为LDA迭代过程中模糊单词的选取标准,并将抽取模糊单词归入新话题;其次,增加LDA变分推理过程中全局参数β(单词-话题概率矩阵)和α(狄利克雷分布参数)的维数及话题个数k;再次,将变换后的全局参数β、α和k作为输入进行变分训练;最后,循环调用LDA话题增量训练算法并在似然函数值收敛时停止循环过程,完成k的增量训练。此外,通过对真实数据集的实验分析验证了本文算法对最优k值选取的有效性和可行性。

基于感知器的中文分词增量训练方法研究

该文提出了一种基于感知器的中文分词增量训练方法。该方法可在训练好的模型基础上添加目标领域标注数据继续训练,解决了大规模切分数据难于共享,源领域与目标领域数据混合需要重新训练等问题。实验表明,增量训练可以有效提升领域适应性,达到与传统数据混合相类似的效果。同时该文方法模型占用空间小,训练时间短,可以快速训练获得目标领域的模型。

基于多重迁移注意力的增量式图像去雾算法

为提高深度神经网络去雾算法对增补数据集的处理能力,并使网络差异化处理重要程度不同的图像特征以提高网络去雾能力,提出一种基于多重迁移注意力的增量式去雾算法。通过自编码器形式的教师注意力生成网络提取标签和雾霾的多重注意力,作为特征迁移媒介网络的标签约束网络训练,形成与教师注意力尽可能相近的迁移媒介注意力,并将其融入学生去雾网络的特征中,提高学生去雾网络的去雾能力;通过增量式训练方法提高学生去雾网络对增补数据集的处理能力。结果表明:所提算法对ITS、OTS以及真实雾图上皆具有较好的处理能力,在保证去雾图像像素结构完整、颜色不失真的同时具有较好的去雾效果,算法处理后的图像在主观视觉效果和客观评价指标上皆优于对比算法。

一种基于主动学习的SVM增量训练算法

针对SVM训练学习过程中难以获得大量带有类标注样本的问题,提出一种基于距离比值不确定性抽样的主动SVM增量训练算法(DRB-ASVM),并将其应用于SVM增量训练.实验结果表明,在保证不影响分类精度的情况下,应用主动学习策略的SVM选择的标记样本数量大大低于随机选择的标记样本数量,从而降低了标记的工作量或代价,并且提高了训练速度.

LSSVM增量式训练的稀疏化算法在短期负荷预测中的应用

最小二乘支持向量机与传统支持向量机相比在训练速度上有所提高,但当训练样本数目较大时,训练速度也相对缓慢。针对这一特点,对最小二乘支持向量机用增量式训练方法,使训练速度得到进一步提高,但是与传统支持向量机相比,丧失了解的稀疏性,影响了二次学习的效率。因此通过改进的剪枝算法对解进行了稀疏化处理,将此方法应用在电力系统短期负荷预测中,并对其预测结果与支持向量机进行分析比较,预测的准确性得到了进一步提高。

基于增量预训练和对抗训练的文本匹配模型

文本匹配是自然语言理解的关键技术之一,其任务是判断两段文本的相似程度.近年来随着预训练模型的发展,基于预训练语言模型的文本匹配技术得到了广泛的应用.然而,这类文本匹配模型仍然面临着在某一特定领域泛化能力不佳、语义匹配时鲁棒性较弱这两个挑战.为此,本文提出了基于低频词的增量预训练及对抗训练方法来提高文本匹配模型的效果.本文通过针对领域内低频词的增量预训练,帮助模型向目标领域迁移,增强模型的泛化能力;同时本文尝试多种针对低频词的对抗训练方法,提升模型对词级别扰动的适应能力,提高模型的鲁棒性.本文在LCQMC数据集和房产领域文本匹配数据集上的实验结果表明,增量预训练、对抗训练以及这两种方式的结合使用均可明显改善文本匹配结果.

词语对齐的快速增量式训练方法研究

围绕翻译模型构建流程的瓶颈——词语对齐,着手翻译模型的增量式训练。在基于无监督学习的词语对齐模型的基础上,提出一种基于初始化同时应用迭代训练收敛速度更快的online EM算法,以替换通常所用的batch EM算法,实现增量式训练。实验表明,所提出的方法既高效又能保证词语对齐质量和机器翻译质量。

一种SVM增量学习算法

分析了SVM理论中SV(支持向量 )集的特点 ,给出一种SVM增量学习算法 .通过在增量学习中使用SV集与训练样本集的分类等价性 ,使得新的增量训练无需在整个训练样本空间进行 .理论分析和实验结果表明 。

基于神经网络语言模型的动态层序Softmax训练算法

针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB^1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.

增量支持向量机算法研究

在进行增量学习时,随着新增样本的不断加入,致使训练集规模不断扩大,消耗大量计算资源,寻优速度缓慢。在深入研究了支持向量分布的特点的基础上提出了分治加权增量支持向量机算法。该算法有效利用了广义KKT条件和中心距离比值,舍弃对后续训练影响不大的样本,得到边界支持向量集,对训练样本进行有效的淘汰。将所剩样本合并,进行加权处理,解决某些样本严重偏离所属的类别,对正常分布的样本不公平的问题。实验结果表明,该方法在保证分类精度的同时,能有效地提高训练速度。

TFIDF_-NB协同训练算法

采用少量已标记和大量未标记文档进行文本分类已成为一种重要研究趋势 .在分析了 EM和联合训练 (Co-training)两类算法的基础上 ,提出一种新的协同训练算法 .该算法利用 Bayes和 TFIDF两种分类器结合少量已标记和大量未标记文档协同增量训练 .实验结果表明 ,协同训练算法正确率较高 ,平均错误率较 EM和联合训练低 。

基于社交上下文和神经网络的增量推荐算法

传统协同过滤推荐系统在数据变化剧烈的情况下需要重新训练全部数据集,在大数据场景下产生巨大的计算开销。因此,提出一种考虑社交上下文和神经网络的增量协同过滤推荐算法。在预处理阶段将用户的个人社交档案、显式反馈信息和隐式反馈信息建模为序列格式的上下文,设计基于序列的相似性度量方法;将词嵌入模型和协同过滤系统结合,利用上下文预测用户偏爱的项目列表。实验结果表明,该算法的推荐结果实现了较好的排列满意度、新颖性和多样性,支持增量的系统更新处理。

隐子空间聚类算法的改进及其增量式算法

基于稀疏表示的隐子空间聚类(latent subspace clustering,LSC)算法,相对于传统的子空间聚类算法,具有更快的聚类速度,使其适用于更大的数据集,但是其存在字典训练具有随机性,占用内存过多等缺陷。参照LC-KSVD字典训练算法的思想,通过将一部分信号的标签信息添加进字典训练阶段,以此提高了字典的判别性,进而提出了聚类精度更好的ILSC(improved LSC)算法。但相比于LSC算法,ILSC算法在字典训练阶段的耗时却大幅增加,针对此缺陷,参照增量字典训练的思想,提出了ILSC算法的增量式聚类算法I2LSC(incremental ILSC),在确保聚类精度、NMI(normalized mutual information)、RI(Rand index)值高于LSC且与ILSC相当的同时,较之ILSC具有更快的运行速度。

基于支持向量机在线训练算法的研究

支持向量回归机算法运用于在线训练环境下效率很高,因为,当每次训练集改变后,它不需要从头开始对样本进行重新学习。本文研究的一种增量与减量式的支持向量回归机在线训练算法,当在训练集中添加或删除样本时,该算法就可以有效更新回归函数,并通过逐步改变样本的系数,运用拉格朗日乘子法,从而进行迭代,最终训练完整个样本集。仿真结果表明该算法具有较高的训练效率。

用于人机交互的静态手势识别系统

提出并实现一个用于人机交互的静态手势识别系统。基于皮肤颜色模型进行手势分割,并用傅里叶描述子描述轮廓。采用针对小样本特别有效且范化误差有界的支持向量机方法:最小二乘支持向量机(LS SVM)作为分类器。提出了LS SVM的增量训练方式,避免了费时的矩阵求逆操作。为实现多类手势识别,利用DAG(DirectedAcyclicGraph)将多个两类LS SVM结合起来。对26个字母手势进行识别,与多层感知器、径向基函数网络等方法比较,LS SVM的识别率最高,为93.62%。

基于遗忘因子和LMBP神经网络的混合试验在线模型更新方法

目前将神经网络应用于混合试验的在线模型更新是一个重要的研究方向,如何提高神经网络在线模型更新算法的自适应性、稳定性和抗噪声能力是一个关键问题,提出了一种基于遗忘因子和LMBP神经网络的混合试验在线模型更新方法,即每时步利用试验子结构的历史试验数据形成带有遗忘因子的动态窗口样本,并采用增量训练方式训练LMBP神经网络,同步预测具有相同本构模型的数值子结构的恢复力。对一个两自由度非线性结构进行模型更新混合试验数值模拟,数值子结构恢复力预测值的RMSD最终为0.0230。结果表明,基于遗忘因子和LMBP神经网络的混合试验在线模型更新方法具有良好的自适应性、稳定性和抗噪声能力。

一种克服sEMG人机交互中肌肉疲劳的SVM算法

在基于表面肌电信号的人机交互系统中,产生的肌肉疲劳降低了系统的稳定性。针对该问题,分析肌肉正常状态和疲劳状态下的肌电信号变化规律,提出一种改进的在线支持向量机增量训练算法。该算法在每次训练SVM(Support Vector Machine)模型时,计算各样本到分类超平面的距离,并以之为条件对不断更新的训练数据进行有条件的选择和遗忘,只留下最大距离1/2以内的数据。通过在线训练不断更新训练样本来获得新的SVM模型,用于适应肌肉疲劳过程中肌电信号的变化,同时防止多次在线训练过程中更新的样本改变训练集间初始边界。最后在智能轮椅上进行验证,实验结果表明:该算法有效减少了肌肉疲劳在人机交互系统中的影响,使得系统能够保持长时间稳定操作。

改进的K均值聚类算法在支持矢量机中的应用

将一种改进的K均值聚类算法应用于支持矢量机(SVM)的训练。基于这一改进的聚类算法,设计了SVM的增量式训练步骤,并给出了在训练过程中删除无用样本的的方法。模式分类的实验结果表明,这种改进的K均值聚类算法在SVM中的应用不仅大幅度地缩短了SVM的训练时间,而且进一步提高了它的分类能力。