一种基于EM非监督训练的自组织分词歧义解决方案

本文旨在提供一种基于非监督训练的分词歧义解决方案和一种分词算法。基于EM的思想 ,每个句子所对应的所有 (或一定范围内 )的分词结果构成训练集 ,通过这个训练集和初始的语言模型可以估计出一个新的语言模型。最终的语言模型通过多次迭代而得到。通过一种基于该最终语言模型的统计分词算法 ,对于每个句子至少带有一个歧义的测试集的正确切分精度达到 85 .36 % (以句子为单位 )

中文口语理解弱监督训练方法

标注数据的获取一直是有监督方法需要面临的一个难题,针对中文口语理解任务中的意图识别研究了结合主动学习和自训练、协同训练两种弱监督训练方法,提出在级联框架下,从关键语义概念识别中获取语义类特征子集和句子本身的字特征子集分别作为两个"视角"的特征进行协同训练。通过在中文口语语料上进行的实验表明:结合主动学习和自训练的方法与被动学习、主动学习相比较,可以最大限度地降低人工标注量;而协同训练在很少的初始标注数据的前提下,利用两个特征子集进行协同训练,最终使得单一字特征子集上的分类错误率平均下降了0.52%。

基于语句融合和自监督训练的文本摘要生成模型

为了提高深度神经网络文本生成技术的语句融合能力,文中提出基于语句融合和自监督训练的文本摘要生成模型.在模型训练前,首先根据语句融合理论中的信息联系点概念对训练数据进行预处理,使其满足之后模型训练的需要.文中模型可分为两个阶段的训练.在第一阶段,根据语句融合现象在数据集上的分布情况,设计以信息联系点为最小语义单元的排列语言模型训练任务,增强模型对融合语句上下文的信息捕捉能力.在第二阶段,采用基于语句融合信息的注意力掩码策略控制模型在生成文本过程中的信息摄入程度,加强文本生成阶段的语句融合能力.在公开数据集上的实验表明,文中模型在基于统计、深层语义和语句融合比例等多个评测指标上都较优.

一种改进的有监督训练的TV语种识别方法

传统的GMM-TV(Gaussian Mixture Model-Total Variability,又称为i-vector)系统得益于它良好的识别效果以及优秀的识别效率,在语种识别LID(language identification)中得到广泛应用,然而载荷矩阵T的训练过程是无监督的,使得它的分类空间并没有得到最好的优化。已有的有监督TV(Supervised-TV,S-TV)算法,通过在均值超矢量上拼接一个带有标签信息的向量,使得T矩阵的训练过程变成一个有监督的过程,但是效果增长较弱,同时带来了载荷矩阵自由度问题。提出一种改进的有监督训练方法,在目标函数中引入正则化项来解决自由度的问题,同时大大提升它的分类效果。该方法在NIST LRE09的30s数据集实验中得到了很好的效果,等错误率EER(Equal Error Rate)从5.40%下降到4.96%,融合系统的EER达到了3.86%。

基于辅助模态监督训练的情绪识别神经网络

为了解决多模态数据中数据样本不平衡的问题,利用资源丰富的文本模态知识对资源贫乏的声学模态建模,构建一种利用辅助模态间相似度监督训练的情绪识别神经网络。首先,使用以双向门控单元为核心的神经网络结构,分别学习文本与音频模态的初始特征向量;其次,使用SoftMax函数进行情绪识别预测,同时使用一个全连接层生成2个模态对应的目标特征向量;最后,利用该目标特征向量计算彼此之间的相似度辅助监督训练,提升情绪识别的性能。结果表明,该神经网络可以在IEMOCAP数据集上进行情绪4分类,实现了82.6%的加权准确率和81.3%的不加权准确率。研究结果为人工智能多模态领域的情绪识别以及辅助建模提供了参考依据。

基于遗传算法的多光谱影像非监督训练分类系统(英文)

本文将遗传算法(GA)应用于非监督训练,提高了遥感数据的分类精度。遗传竞争学习算法(GA-CL)综合了遗传算法和简单的竞争学习算法,可用于改进非监督训练的结果。遗传算法在典型样本聚类的过程中可以避免得到局部最优值。Jeffries-Matusita(J-M)距离法是通过统计测量两个训练类别之间的分离度,可用于评价这种算法。将此算法应用于TM数据的结果显示,遗传算法改进了简单的竞争学习算法,与其他非监督训练算法相比,其提供了K-均值,GA-K-均值和简单的竞争学习算法。

可提高盈利率的监督训练

讨论了英国建筑和汽车工业玻璃生产厂人员培训计划的制定和评价方法。在竞争愈来愈剧烈的国际市场上提高竞争力的必要性．决定了公司的目标一成为价格低的生产者．同时要保持高质量。减少30%的工作岗位．要求剩下的从业人员担当灵活的角色．形成新的能力。由教学专家、公司经理和外部咨询人员共同研制的构想要求进一步开发所有从业人员的附加技能，该计划的目的是；1）开发解决问题的能力．小组学员提出方案．然后以口头和书面报告的形式提供给高层经理：2）达到国家承认的职业熟练水平；3）学员应该肯定地评价教学工作：4）主管经理积极评价的对公司的重要影响。

TS-Aug架构的半监督自训练情感分类算法

网络教学资源的普及使得资源评价的文本数据规模逐步增大.传统的有监督学习文本分类对标注数据的依赖度较高,需要足够的数据量和高质量数据才能得到良好的结果.在网络教学资源的评价文本工作中,由于标注数据难以获取且质量参差不齐,使得这一任务的难度越来越高.针对这一困难,提出一种TS-Aug半监督自训练方案,通过添加无标签数据并进行伪标签训练,能在强力数据增广的作用下大幅扩充样本集,解决数据增广中的过拟合风险.首先利用标注数据和弱增广策略进行初始化监督训练,然后利用无标注数据和强增广策略进行半监督训练,最后使用标注数据进行微调监督训练.在自建的在线课程评论数据中,能将分类F 1-Score从0.88提升至0.95,表明TS-Aug半监督自训练方案在文本分类任务中具有较好的应用前景.

利用无监督预训练的轨迹深度关联

针对时空相似度算法关联轨迹的局限性,采用深度学习方法进行轨迹关联,并提出了一种基于无监督预训练的匹配神经网络训练方式。利用Geohash向量嵌入对轨迹信号做特征工程处理,构建自注意力机制神经网络结构,使用无标注轨迹数据基于遮蔽预测任务进行模型预训练;然后构建孪生匹配网络结构,加载预训练模型参数;最后使用标注轨迹对数据基于均方差损失函数微调预训练模型参数得到轨迹对匹配模型。采用Geolife GPS轨迹数据集作为评估数据集进行模型训练与测试,实验结果显示,利用无监督预训练的轨迹关联方法较现有最优算法匹配准确率提高了5个百分点,达到了96.3%,充分证明了该方法的有效性。目前轨迹关联领域基于深度学习预训练模型的研究较少,该方法具有重要的参考意义。

基于无监督学习的DNS隧道检测

文章利用局域网中DNS服务器的历史流量数据通过无监督训练生成DNS隧道检测模型,计算待检测流量数据所对应的特征向量与DNS隧道检测模型提供的正常流量矩阵之间的马氏距离,并基于马氏距离来进行DNS隧道异常识别。根据局域网中内部DNS服务器的历史流量数据进行DNS隧道检测模型的训练,从而使得训练后的DNS隧道检测模型适应于不同的网络环境,提高了对DNS隧道异常的识别精度,保证了DNS隧道检测的准确性。

基于注意力机制的耐力训练动作识别方法

针对青少年耐力素质逐年下降和缺乏具有便携性与监督性的训练系统的现状,提出一种基于注意力(Attention)机制与门控循环单元(GRU)的、面向耐力训练的AttentionGRU动作识别方法。该方法包括数据采集、数据处理和动作识别,在手机端实现了对耐力训练动作的识别。基于新构建的耐力训练动作数据集,将本文提出的方法与常用动作识别算法——长短期记忆(LSTM)、GRU进行实验对比。实验结果表明:本文提出的方法表现更佳,准确率达到99.56%,较LSTM高出1.5个百分点。

中长跑训练中大学生运动员身体机能的监督与恢复

中长跑属于体能类项目,对运动员的体能要求比较高.因此,体育教练要高度重视运动员的恢复训练.本文主要从中长跑运动员的身体机能监督以及训练恢复方法进行探讨.

基于非监督预训练的结构优化卷积神经网络

针对带标签训练样本不足,典型卷积神经网络卷积核由经验设置,网络结构固定不变难以后期再学习的问题,基于稀疏自编码器(sparse autoencoder,SAE)和卷积神经网络(convolutional neural network,CNN),提出新的CNN模型。该模型将部分原始样本输入SAE模型进行训练以得到低维特征表示,并将该低维特征表示作为CNN的卷积核的初始值,不仅可以很好地克服带标签训练数据样本不足的问题,还可以提取有效特征以加速网络收敛;并且在典型CNN结构基础上增加一条网络支路,先使用所有训练样本训练典型CNN结构,再使用大部分训练样本训练支路结构,最后使用其余少部分样本进行后续再学习并只更新支路权值以增强因特征不明显而容易误判的样本的特征,从而使得整个网络记忆已有特征的同时增加新特征。文中模型在MNIST数据集上迭代更新10次网络权值可以使测试识别率达到97.65%;在手写汉字数据集HCL2000中的简单字、中等字、复杂字及相似字上的测试正确率能达93%以上;50个训练样本、250个测试样本时,相似字识别率可达80.36%,比典型CNN及传统手写汉字识别方法更具泛化性。实验表明所提方法可有效应用于手写字等图像识别应用中。

信用评分模型中拒绝推断问题研究:基于半监督协同训练法的改进

随着我国金融市场的蓬勃发展,信用评价中的拒绝推断问题越来越受到重视。针对信用评分模型中存在的有类别标签的样本占比低,并且样本中的类别分布不平衡等问题,本文在半监督学习技术与集成学习理论的基础上,提出了一种新的算法——BCT算法。该算法通过使用动态Bagging生成多个子分类器,引入分类阈值参数来解决样本类别分布不平衡问题,以及设定早停止条件来避免算法迭代过程中存在的过拟合风险,以此对传统半监督协同训练法进行改进。通过在5个真实数据集上的实证分析发现,在不同数据集与不同拒绝比例下,BCT算法的性能均优于其他6种有监督学习和半监督学习算法的信用评分模型,显示了BCT算法具有良好的模型泛化性能和更高的模型评价能力。

基于超像素注意力和孪生结构的半监督高光谱显著性目标检测

高光谱显著性目标检测技术在伪装识别、异常检测等领域展现了惊人的潜力,并得到了广泛的关注。基于深度学习技术的神经网络模型克服了传统算法检测精度低、鲁棒性弱的缺点,但是数据标注成本限制了其进一步发展。为此提出了一种超像素注意力孪生半监督算法,使用少量全监督数据和大量弱监督数据进行训练,有效降低了标注成本。该算法由孪生预测模块和注意力辅助模块组成,其中孪生预测模块捕获弱标签隐式约束并生成显著性结果图,注意力辅助模块利用超像素级通道注意力机制优化预测结果。新提出的超像素注意力孪生半监督算法在高光谱数据集上实现了87%的检测精度,优于其他流行算法,在有效降低标注成本的同时具有优异的显著性检测性能。

融合注意力机制的对抗式半监督语义分割

图像语义分割任务是计算机视觉领域重要研究课题之一。当前基于全卷积神经网络的语义分割算法存在像素之间缺乏关联性、卷积核感受野小于理论值、人工标记数据集标签成本大等问题。为了解决上述问题,提出了一种融合注意力机制的对抗式半监督语义分割模型。将生成对抗网络应用到图像语义分割中,增强像素点之间的关联性;提出模型在生成网络中加入自注意力模块和多核池化模块以对长距离语义信息进行融合,扩大了卷积核感受野;在PASCAL VOC2012增强数据集和Cityscapes数据集上进行了大量实验,实验结果证明了该方法在图像语义分割任务中的有效性和可靠性。

多模式监督运动训练在下肢动脉硬化闭塞症介入术后患者中的应用

目的:研究多模式监督运动训练对下肢动脉硬化闭塞症介入术后患者的应用效果。方法:便利选取2020年10月至2021年11月在南昌市某三级甲等医院血管外科住院的85例下肢动脉硬化闭塞症患者为研究对象,将其随机分成干预组43例和对照组42例。对照组进行常规护理,干预组在常规护理的基础上进行为期3个月的多模式监督运动训练。比较两组患者干预前、干预后1个月和干预后3个月的6分钟步行距离(6MWD)、无痛行走距离(PFWD)、简易体能测试(SPPB)、中文版运动自我效能量表(SEES)和血管生活质量量表(VascuQoL)评分。结果:干预后1个月和干预后3个月干预组患者的6MWD、PFWD、SPPB、中文版SEES和VascuQoL评分明显高于对照组(P<0.05)。结论:多模式监督运动训练能够有效改善下肢动脉硬化闭塞症介入术后患者的步行能力及肢体功能,提高患者的运动自我效能及生活质量。

基于新型间谍技术的半监督自训练正例无标记学习

正例无标记(PU)学习中的间谍技术极易受噪声和离群点干扰,导致划分的可靠正例不纯,且在初始正例中随机选择间谍样本的机制极易造成划分可靠负例时效率低下,针对这些问题提出一种结合新型间谍技术和半监督自训练的PU学习框架。首先,该框架对初始有标记样本进行聚类并选取离聚类中心较近的样本来取代间谍样本,这些样本能有效地映射出无标记样本的分布结构,从而更好地辅助选取可靠负例;然后对间谍技术划分后的可靠正例进行自训练提纯,采用二次训练的方式取回被误分为正例样本的可靠负例。该框架有效地解决了传统间谍技术在PU学习中分类效率易受数据分布干扰以及随机间谍样本影响的问题。通过9个标准数据集上的仿真实验结果表明,所提框架的平均分类准确率和F-值均高于基本PU学习算法(Basic_PU)、基于间谍技术的PU学习算法(SPY)、基于朴素贝叶斯的自训练PU学习算法(NBST)和基于迭代剪枝的PU学习算法(Pruning)。

特种兵持续超负荷强度训练的医务监督干预效果分析

目的探索特种兵持续超负荷强度训练的医务监督干预效果,掌握训练不同阶段官兵身体机能变化规律和特点。方法选取参加2018年5月特种兵持续超负荷强度训练模式的特种部队士官学员78名为研究对象,采用整群随机抽样方式,确定研究组(n=38)和对照组(n=40)。对研究组进行系统的医学服务,对照组则按照原有训练计划进行训练,不加入医务监督服务。训练时间均为5周,以常规生理生化指标对被试进行随堂机能评定,生理监测指标为肺活量、握力、背肌力、纵跳,生化监测指标为血红蛋白(HB)、肌酸激酶(CK)、血尿素(BU)、尿蛋白(PRO)、尿潜血(BLD)。结果生理监测结果显示:在持续超负荷强度训练后,两组肺活量、握力、背肌力、纵跳指标监测变化在训练初期、训练1周、训练3周、训练5周4个训练时段差异有统计学意义(P<0.01)。生化指标监测结果显示:除PRO、BLD两项尿生化指标差异无统计学意义外,两组其他各项生化监测指标(HB、CK、BU)在开训前、训练中期(第3周)和训练结束即刻3个不同的训练阶段表现出统计学差异(P<0.01)。结论特种兵持续超负荷强度训练医务监督干预对疲劳恢复和训练效果提升具有较好的军事训练价值,建议在特种部队的大强度超负荷训练中推广应用。

基于对比自监督的遥感图像场景分类

基于视觉Transformer的自监督模型掩码自编码器因其优秀的全局特征捕捉能力,被广泛应用于遥感图像分类领域。但该模型存在图像重建训练时局部上下文语义信息易丢失从而限制其分类精度的进一步提升。针对以上问题,本文提出了融合掩码重建和对比学习的三阶段自监督遥感图像分类新模型——对比掩码自编码器。第一阶段进行掩码重建预训练,以提取遥感图像全局特征;第二阶段则通过对比学习中的正负样本补充第一阶段掩码建模过程中丢失的局部上下文信息;最后通过训练线性分类器完成特征分类。在公开遥感图像数据集AID和NWPU-RESISC45上将本文方法与主流自监督分类方法、监督分类方法进行对比实验。实验结果表明,该模型在两个数据集上分类精度分别达到95.37%和95.14%,性能优于DINO、MoCo、SSGANs等主流自监督模型,接近GLANet、CANet、MG-CAP(Sqrt-E)等主流监督模型,具有良好的应用价值。