一种半监督金融事件多标签分类方法

随着数字金融服务业的不断发展,互联网和金融服务系统积累了海量文本数据,对金融文本中描述的金融事件自动分类是金融科技的现实需求,也是自然语言处理和机器学习领域广泛关注的方向。目前,深度学习方法已在文本分类中广泛应用,针对文本数据中的金融事件多标签分类中存在的已标注数据缺少、已有深度学习方法消耗资源大以及现有方法未利用金融事件文本的具体特点等问题,通过采用ALBERT和TextCNN等表示工具,引入主体词注意力机制,提出了一种半监督金融事件多标签分类方法。首先,通过无监督数据增强(Unsupervised data augmentation,UDA)方法缓解标注数据量不足的问题;其次,引入了主体词注意力机制,使用ALBERT动态词向量表征方法对文本中的词进行表示;然后,利用TextCNN对文本进行综合语义表示;最后,分别采用交叉熵和KL散度度量标记数据和无标记数据的损失来训练模型。在金融文本数据集上验证了本文所提方法的有效性。

基于二部图半监督方法的查询日志实体挖掘

基于用户查询日志的命名实体挖掘的目标是从用户查询日志中挖掘一组具有指定类别的命名实体。为解决已有用户查询日志实体挖掘研究工作中的种子实体不充分的问题,提出了一种基于二部图的半监督排序方法,利用实体之间的关系(实体共享查询模板)来改善实体排序效果。该方法首先基于候选实体和查询模板构建一个二部图,然后基于二部图将种子实体的类别相关性传播到其他候选实体,最后按照类别相关性得分对候选实体进行排序,并进一步给出方法中迭代过程的等价优化框架。实验结果表明本文提出的方法优于基准方法,具有较好的挖掘效果。

基于随机特征子空间的半监督情感分类方法研究

情感分类是目前自然语言处理领域的一个热点研究问题。该文关注情感分类中的半监督学习方法(即基于少量标注样本和大量未标注样本进行学习的方式),提出了一种新的基于动态随机特征子空间的半监督学习方法。首先,动态生成多个随机特征子空间;然后,基于协同训练(Co-training)在每个特征子空间中挑选置信度高的未标注样本;最后使用这些挑选出的样本更新训练模型。实验结果表明我们的方法明显优于传统的静态产生方式及其他现有的半监督方法。此外该文还探索了特征子空间的划分数目问题。

一种用于加速FPGA设计空间探索的电路特性驱动半监督建模方法

该文提出一种电路特性驱动的半监督建模方法来探索FPGA架构设计空间。通过加入电路特性作为输入来构建一个通用的FPGA性能模型,该方法能够精确预测指定电路在特定FPGA架构上实现的性能。实验结果显示该方法在预测电路在FPGA上实现的面积时,平均相对误差达到6.25%;预测延时时,平均相对误差可达4.23%,具有与半监督模型树(Semi-supervised Model Tree,SMT)方法可比的预测精度。同时,该文方法加速了FPGA性能建模过程,与SMT方法比较,在6核Intel服务器平台Intel Xeon E7-4807上,探索具有百万架构的FPGA设计空间时,该文方法可将时间成本由500 h降低为250 h。

融合双向语言模型的半监督属性识别方法研究

属性级情感分析是细粒度的情感分类任务,属性识别是属性情感分析任务中的重要步骤,作为典型的序列化标记问题处理。近年来,不依赖人工特征的神经网络模型在分词等序列化标记任务中表现出了很好的性能。为此,论文提出一种融合双向语言模型的半监督序列化标记网络模型(ST-BiLM),首先利用卷积神经网络(CNN)训练出单词具有形态特征的字符级向量,然后组合具有语义特征的词向量作为模型的输入,再利用ST-BiLM模型来进行实体属性识别。实验结果表明,模型在SemEval2014 Task4和Twitter不同领域的数据集上都达到了很好的结果,F1值分别为88.27%,83.15%和86.36%。

结合统计特征和图模型的半监督式中文关键短语抽取方法

关键短语抽取,即从文档中抽取能够表达文档主题和内容的关键短语集合,对于信息检索和文档分类等文本处理任务具有重要意义。然而,现有文献缺乏针对中文特点的关键短语抽取算法的研究。为此,该文提出了一种半监督式中文关键短语抽取模型,该模型采用预训练语言模型来表征短语及文章,以减少算法对大量标注训练数据的依赖;进而提出图模型描述候选短语间的相似性空间并迭代计算各短语的重要度;同时结合了多项统计特征来进一步提高短语评估的准确率。对比实验表明,该文提出的方法在中文关键短语抽取方面比基线方法具有明显的提升效果。

基于半监督学习方法的磨煤机故障预警

火电机组磨煤机运行环境恶劣,故障频发,对磨煤机故障进行预警,评估设备在相关故障状态下的剩余可用时间,对提高火电机组运行安全具有重要意义。本文提出一种基于半监督学习方法的磨煤机故障预警技术。首先采用DBSCAN聚类将磨煤机的历史运行数据划分为正常状态和故障状态,分配类标记并统计设备剩余可用时间,然后采用随机森林方法建立基于类标记序列的磨煤机运行状态分类预警模型,对磨煤机运行数据进行状态预测,根据类标记序列判断故障类别和对应的设备剩余可用时间。将此方法用于某火电厂磨煤机实际运行数据,并与k-近邻算法、朴素贝叶斯和线性判别分析的预警模型进行比较,结果表明:本文方法优于其他预警模型,可准确标记磨煤机不同故障发展阶段,也能较准确地给出磨煤机剩余可用时间。

基于空间特征与纹理信息的高光谱图像半监督分类

传统高光谱图像分类方法主要使用图像的光谱特征信息,没有充分利用高光谱图像的空间特性及样本的其他信息。本文提出了一种基于空间特征与纹理信息的高光谱图像半监督分类方法。首先,将高光谱图像每一像素的光谱特征与其邻域范围内的光谱特征进行结合,得到了这一像素的空-谱特征;然后用灰度共生矩阵提取了高光谱图像的纹理特征,并与空-谱特征进行了融合;最后,用基于图的半监督分类算法进行了分类。通过在Indian Pines数据集和Pavia U数据集上进行试验,结果表明本文提出的方法能取得较高的分类结果。

半监督学习在不平衡样本集分类中的应用研究

在对不平衡样本集进行分类时容易产生少数类样误差大的问题,而目前半监督学习中的算法多数是针对未有明显此类特征的数据集。针对一种半监督协同分类算法在该问题上的有效性进行了研究。由于进一步增强了分类器差异性,该算法在理论上对不平衡样本集具有良好的分类性能。根据该算法建立分类模型,利用其对桥梁结构健康数据进行分类实验,与Tri-Training算法的结果比较表明,该算法对不平衡样本集具有良好的适用性,从而验证了上述算法的有效性。

基于半监督对手协商偏好学习的协商模型

针对自动化协商问题,提出一种基于协同训练的半监督对手协商偏好学习方法。在该方法中,将协商过程映射到出价轨迹特征空间和交互轨迹特征空间两个新的特征空间。在两个特征空间中分别训练支持向量回归机,两个学习机迭代,互相提供可靠的有标记训练样本,以扩大训练样本规模。由两个学习机共同学习,得到对手的协商偏好。协商决策模型以双方协商偏好为基础提出双赢的协商反建议。实验数据表明,所提方法可以提高协商总体效用,减少协商回合数,节省协商时间。

基于非负矩阵分解的语音增强方法综述

语音增强在语音信号处理领域举足轻重,其目的在于减少背景噪声对语音信号的影响。然而,如何从极度非平稳噪声环境下有效地分离出目标语音仍然是一个具有挑战性的问题。基于非负矩阵分解(Nonnegative matrix factorization, NMF)的语音增强算法利用非负的语音和噪声基矩阵来建模语音和噪声的频谱子空间,是目前一种先进的对抑制非平稳噪声非常有效的技术。本文首先详细地介绍了非负矩阵分解理论,包括非负矩阵分解模型,代价函数(Cost function)的定义以及常用的乘法更新准则(Multiplicative update rules)。然后,本文详细地介绍了基于非负矩阵分解的语音增强方法的基本原理,包括训练阶段和增强阶段的具体过程,并进行了实验,此外,还利用一个基于非负矩阵分解的语音重构实验验证了语音基矩阵对语音频谱的建模能力。最后,本文总结了传统的基于非负矩阵分解的算法的不足,并对一些现有的基于非负矩阵分解的算法分别做了一个简单的概述,包括其创新点和优缺点,并对比分析了几种具有代表性的方法。本文从历史的角度展示了基于非负矩阵分解的语音增强方法的不断发展。

基于代价极速学习机的软件缺陷报告分类方法

在所有的软件系统开发过程中,Bug的存在是不可避免的问题.对于软件系统的开发者来说,修复Bug最有利的工具就是Bug报告.但是人工识别Bug报告会给开发人员带来新的负担,因此,自动对Bug报告进行分类是一项很有必要的工作.基于此,提出用基于极速学习机的方法来对Bug报告进行分类.具体而言,主要解决Bug报告自动分类的3个问题:第1个是Bug报告数据集里不同类别的样本数量不平衡问题;第2个是Bug报告数据集里被标注的样本不充足问题;第3个是Bug报告数据集总体样本量不充足问题.为了解决这3个问题,分别引入了基于代价的有监督分类方法、基于模糊度的半监督学习方法以及样本迁移方法.通过在多个Bug报告数据集上进行实验,验证了这些方法的可行性和有效性.

一种基于树核函数的半监督关系抽取方法研究

为了解决传统的半监督关系抽取算法易产生的"语义变异"问题,提出一种新的基于树核函数的半监督关系抽取算法。该算法主要采用树核函数和种子集约束扩展两个策略,弱化"语义变异"现象带来的关系抽取不够准确的问题,提高关系识别的正确率。在基准数据集Pop Bank上的试验研究表明,提出的使用约束机制扩充种子集的半监督学习方法在4个评价指标上(Precision,Recall,F-measure,Accuracy)均优于常用的两种关系抽取方法,从而验证了该算法与其他算法相比能够具有较好的关系抽取能力。

一种基于DBN-SVDD的APT攻击检测方法

由于高级持续性威胁(Advanced Persistent Threat, APT)常用于窃取企业核心资料且带来极其恶劣的影响而引起高度关注。因为APT攻击的攻击方法是对特定的攻击目标长期进行持续性网络攻击,具有极高的隐蔽性、潜伏性等特点;所以传统检测技术无法进行有效识别。目前针对APT攻击的检测方案有沙箱方案、网络异常检测方案、全流量方案这三种检测方案,然而现有的APT攻击检测方法中存在检测准确性较低、需要大量经过标记的样本等缺点。本文提出一种基于深度学习的网络入侵检测模型(DBN-SVDD),该方法利用DBN进行结构降维、提高检测效率,再利用SVDD对数据集进行识别检测。在NSL-KDD数据集的实验结果表明,该方法的检测率可以达到93.71%。该方法具有无人监督、无需大量标记样本、可以有效处理高维数据等特点,能够有效地应用于APT攻击检测中。

深度学习在视频对象分割中的应用与展望

视频对象分割是指在给定的一段视频序列的各帧图像中,找出属于特定前景对象的所有像素点位置区域.随着硬件平台计算能力的提升,深度学习受到了越来越多的关注,在视频对象分割领域也取得了一定的进展.本文首先介绍了视频对象分割的主要任务,并总结了该任务所面临的挑战.其次,对开放的视频对象分割常用数据集进行了简要概述,并介绍了通用的性能评估标准.接着,综述了视频对象分割的研究现状,详细地分析了当前的各种方法,并将它们划分为三大类:半监督的方法,即给出视频第一帧图像中感兴趣对象的详细人工真值标注,分割出视频剩余图像中的感兴趣对象;无监督的方法,即不给任何人工标注信息,自动识别并分割出视频中的前景对象;交互式的方法,即在分割过程中,通过人工交互式的参与,结合粗略的人工标注先验信息,进行视频对象分割.第三类方法的条件相当于前两者的折中:相对于第一类方法,它虽然需要人工的参与,但只需要少量的标注工作量;相对于第二类方法,它给视频序列中某些帧的图像适当地添加了一些人工标注信息,从而更具针对性.最后,对深度学习在视频对象分割任务中的应用,进行了总结和展望.

实体关系抽取研究综述

实体关系抽取作为信息抽取的核心任务和重要环节,能够实现实体对间语义关系的识别,对句子语义理解及实体语义知识库构建有着重要作用。回顾了实体关系抽取的发展史,总结了有监督实体关系抽取、无监督实体关系抽取、半监督实体关系抽取和开放式实体关系抽取4类方法的原理和代表性研究,并对各类方法进行了详细比较。

中文实体关系抽取研究综述

作为信息抽取任务中极为关键的一项子任务,实体关系抽取对于语义知识库的构建和知识图谱的发展都有着重要的意义。对于中文而言,语义关系更加复杂,实体关系抽取的作用也就愈加显著,因此,对中文实体关系抽取的研究方法进行详细考察极为必要。本文从实体关系抽取的产生和发展开始,对目前基于中文的实体关系抽取技术现状作了阐述;按照关系抽取方法对语料的依赖程度分为4类:有监督的实体关系抽取、无监督的实体关系抽取、半监督的实体关系抽取和开放域的实体关系抽取,并对这4类抽取方法进行具体的分析和比较;最后介绍深度学习在中文实体关系抽取上的应用成果和发展前景。

关系抽取综述

关系抽取发展至今,总体上可以分为基于规则和基于统计的抽取方式;之后出现的众多方法大多是以统计为主,辅助以规则;后来引入了包括远程监督、深度学习等模式并融合了注意力机制、多标签多实例方法。对关系抽取的发展过程和方向以及以上提到的方法进行介绍和总结。

跨语言词向量研究综述

随着人们对互联网多语言信息需求的日益增长,跨语言词向量已成为一项重要的基础工具,并成功应用到机器翻译、信息检索、文本情感分析等自然语言处理领域。跨语言词向量是单语词向量的一种自然扩展,词的跨语言表示通过将不同的语言映射到一个共享的低维向量空间,在不同语言间进行知识转移,从而在多语言环境下对词义进行准确捕捉。近几年跨语言词向量模型的研究成果比较丰富,研究者们提出了较多生成跨语言词向量的方法。该文通过对现有的跨语言词向量模型研究的文献回顾,综合论述了近年来跨语言词向量模型、方法、技术的发展。按照词向量训练方法的不同,将其分为有监督学习、无监督学习和半监督学习三类方法,并对各类训练方法的原理和代表性研究进行总结以及详细的比较;最后概述了跨语言词向量的评估及应用,并分析了所面临的挑战和未来的发展方向。

基于改进深度卷积对抗生成网络的肺结节良恶性分类

为提高肺结节良恶性识别的准确率,构建改进深度卷积对抗生成网络(DCGAN)框架与半监督模糊C均值(FCM)聚类结合的SFDG肺结节良恶性识别模型。将带有良恶性等级标签的肺结节图像输入到DCGAN框架,使得只有来源分类能力的判别器网络同时具备肺结节等级分类能力。在判别过程中运用半监督FCM聚类方法,对输入肺结节图像进行特征提取和量化,将输出的当前图像所属类别概率及判别结果与真实结果进行比较来调整网络参数。通过设定加权损失函数最大概率提高模型识别准确率,训练得出具有良好鲁棒性的网络模型。实验结果表明,改进模型的判别器网络具有良好的肺结节良恶性分类能力,准确率高达90.96%。