基于词性标注序列特征提取的微博情感分类

传统的n-gram文本特征提取方法会产生高维度的特征向量,高维数据不但增大了分类的难度,同时也会增加分类的时间。针对这一问题,提出了一种基于词性(POS)标注序列的特征提取方法,根据词性序列能够代表一类文本的这一个特点,利用词性序列组作为文本的特征以达到降低特征维度的效果。在实验中,词性序列特征提取方法比n-gram特征提取方法至少提高了9%的分类精度,降低4816个维度。实验结果表明,该方法能够适用于微博情感分类。

基于序列标注模型的情绪原因识别方法

情绪原因识别是情绪分析中的一个重要研究任务。该任务旨在自动分析出导致某一情绪发生的原因描述。该文将情绪原因识别任务建模为序列标注模型,即将情绪词相关的子句当成序列,进而整体标注出哪些属于原因子句。具体实现中,我们使用条件随机场(CRF)模型进行求解,并结合了基本词特征、词性特征、距离特征、上下文特征及语言学特征等多种特征进行原因识别。实验结果表明,所采用的这些特征对于原因识别都有一定帮助,特别是上下文特征。此外,我们发现在使用类似特征集合的情况下,序列标注模型能够获得比分类模型更好的识别效果。

置信度加权在线序列标注算法

序列标注问题是自然语言处理领域的基本问题之一.序列标注任务是将连续输入的不定长序列,标注成连续等长的标签序列.在在线序列标注方法的基本框架下,针对序列标注任务的特征稀疏特性,采用置信度加权分类算法思想,提出了一种新的线性判别式在线序列标注方法—置信度加权在线序列标注算法.该方法对每个特征权值参数引入一个概率置信度,取得了优于其他相关算法的性能.在中文分词,中文名实体识别以及英文组块分析等问题上,验证了本文方法的有效性.

基于序列标注模型的分层式依存句法分析方法

该文提出了一种全新的分层式依存句法分析方法。该方法以依存深度不大于1的依存层作为分析单位,自底向上构建句子的依存结构。在层内,通过穷尽搜索得到层最优子结构;在层与层之间,分析状态确定性地转移。依存层的引入,使该模型具有比典型的基于图的方法更低的算法复杂度,与基于转换的方法相比,又一定程度上缓解了确定性过程的贪婪性。此外,该方法使用典型序列标注模型进行层依存子结构搜索,证明了序列标注技术完全可以胜任句法分析等层次结构分析任务。实验结果显示,该文提出的分层式依存分析方法具有与主流方法可比的分析精度和非常高的分析效率,在宾州树库上可以达到每秒2 500个英语单词。

基于依存句法分析与序列标注的英文长句机器翻译

针对英汉机器翻译中的长句预处理问题,提出一种基于依存句法分析和序列标注的英文长句分割方法,分别采用基于依存句法分析的规则匹配与基于条件随机场的序列标注分割方法,进行粗粒度和细粒度分割,共同完成对长句的分割工作.实验结果表明,基于长句分割的机器翻译方法取得了较好的效果.

融合多类别基分类器的序列标注算法

为了提高小规模数据的序列标注的准确度及提升序列标注算法的适用性,提出一种融合多类别基分类器的序列标注算法,将条件随机场(CRF)、结构化支持向量机(SVM)、最大间隔马尔科夫网进行了有效的融合进行序列标注任务。实验结果表明:提出的算法相较于传统序列标注算法在性能上有明显的改进,并能与深度神经网络完美结合。

ASE-ERNIE:一种基于ERNIE的中文指令动作序列生成方法

中文结构灵活多样,同样的语义有多种表达方式,在中文指令过长或存在多组动作的情况下,家庭服务机器人很难正确理解并做出响应。此外,家庭环境的中文指令解析研究在数据方面仍然稀缺。现有的方法不能准确提取出指令中包含的全部动作序列。由此提出一种基于ERNIE方法的动作序列提取(ASE-ERNIE)模型来提取中文指令中的可执行动作序列,该模型通过动作类型和参数之间的关系提取指令信息,将动作序列的提取工作转化为序列标注任务。在指令中存在多组动作并且存在多个参数的情况下,依然能够提取出全部动作序列。通过实验验证了所提方法的有效性,动作序列提取任务的F 1值达到了80.37%。

集成于AutoCAD的零件序列号标注设计

采用Visual LISP对AutoCAD进行二次开发,编制了零件(或设备)序列号标注的程序,并将其挂接到AutoCAD 2000环境中。

基于序列标注的事件联合抽取方法

事件抽取是自然语言处理领域的重要研究方向。传统的事件类型抽取系统采用分类方式,无法解决跨句子的事件角色和事件类型匹配问题。为了解决该问题,提出一种基于序列标注的事件联合抽取模型,结合卷积神经网络(convolutional neural networks,CNN)与长短期记忆网络(long short-term memory,LSTM)提取全局特征和局部特征;并在浅层LSTM层共享参数实现联合抽取,以序列标注方式抽取事件论元并匹配事件类型。实验结果表明,模型能有效提取司法领域的文档事件信息。

字符序列标注的维吾尔语词干提取方法

词干提取是形态丰富语言信息处理中的基础任务,对其他自然语言处理任务有着重要的影响。该文将词干提取任务看作序列标注问题,以字符为切分粒度来表征维吾尔语单词的构成机制,结合条件随机场模型,实现基于字符序列标注的维吾尔语词干提取方法。首先使用词典查询方法进行词干提取,然后结合字符的弱化发音特征、音类特征以及语音特征,针对受限数据和非受限数据采用条件随机场训练模型及预测结果。实验结果表明,该方法在非受限数据集上效果较佳,且能广泛应用到其他语言。

基于BI＿LSTM＿CRF神经网络的序列标注中文分词方法

当前主流的中文分词方法是基于有监督的学习算法,该方法需要大量的人工标注语料,并且提取的局部特征存在稀疏等问题。针对上述问题,提出一种双向长短时记忆条件随机场(BI_LSTM_CRF)模型,可以自动学习文本特征,能对文本上下文依赖信息进行建模,同时CRF层考虑了句子字符前后的标签信息,对文本信息进行了推理。该分词模型不仅在MSRA,PKU,CTB 6.0数据集上取得了很好的分词结果,而且在新闻数据、微博数据、汽车论坛数据、餐饮点评数据上进行了实验,实验结果表明,BI_LSTM_CRF模型不仅在测试集上有很好的分词性能,同时在跨领域数据测试上也有很好的泛化能力。

基于分层序列标注的实体关系联合抽取方法

为了提高实体关系联合抽取的效果,提出一种端到端的联合抽取模型(HSL)。HSL模型采取一种新的标记方案,将实体和关系的联合抽取转化成序列标注问题,同时采用分层的序列标注方式来解决三元组重叠问题。实验证明,HSL模型能有效地解决三元组重叠问题,在军事语料数据集上F1值达到80.84%,在公开的WebNLG数据集上F1值达到86.4%,均超过目前主流的三元组抽取模型,提升了三元组抽取的效果。

基于序列图模型的多标签序列标注

该文针对实际中存在对同一句话标注多种序列标签问题,定义了多标签序列标注任务,并提出了一种新的序列图模型。序列图模型主要为了建模两种依赖关系:不同单词在时序维度上面的关系和同一单词在不同任务之间的依赖关系。该文采用LSTM或根据Transformer修改设计的模型处理时序维度上的信息传递。同一单词在不同任务之间使用注意力机制处理不同任务之间的依赖关系,以获得每个单词更好的隐状态表示,并作为下次递归处理的输入。实验表明,该模型不仅能够在Ontonotes 5.0数据集上取得更好的结果,而且可以获取不同任务标签之间可解释的依赖关系。

基于循环神经网络序列标注的中文分词研究

分词是中文自然语言处理中的关键技术。在自然语言处理中,序列标注在中文分词中有着极其重要的应用。当前主流的中文分词方法是基于监督学习,从中文文本中提取特征信息。这些方法未能充分地利用上下文信息对中文进行分割,缺乏长距离信息约束能力。针对上述问题进行研究,提出在序列标注的前提下利用双向循环神经网络模型进行中文分词,避免了窗口对上下文大小的限制,可以获得一个词的前面和后面的上下文信息,通过增加上下文能够有效地解决梯度爆炸和爆的问题,然后再在输入层加入训练好的上下文词向量,取得相对较好的分词效果。实验结果表明,该算法的使用可以达到97.3%的中文分词准确率,与传统机器学习分词算法相比,效果较为显著。

基于序列标注的引语识别初探

句间引用关系自动识别是篇章分析中一项重要内容。句间引用关系影响着对句群篇章的分析,而目前自然语言处理中对引用这一句间关系的研究较少。句间引用关系主要体现在引语中的引用句上。引语由引导句和引用句组成,一般分为直接引语和间接引语,其中间接引语的识别难度最大。引导句和引用句相对位置不定、不同领域语料的引语与非引语比例极不均衡等进一步增加了引语自动识别的难度。该文主要尝试对引用这一句间关系进行初步探索,采用条件随机场(CRF)以及双向长短期记忆网络与条件随机场相结合(BLSTM-CRF)的方法对引语进行自动识别,并引入引导句中管领词特征进行实验对比。实验结果表明,CRF模型和BLSTM-CRF模型对引语的识别精确率分别达到85.49%和80.19%,F值分别达到78.75%和79.60%。

基于增强序列标注策略的单阶段联合实体关系抽取方法

从非结构化文本中抽取实体和关系是自动构建知识库的基础工作。现有的工作主要采用联合学习方法来解决嵌套实体、重叠关系、冗余计算和曝光偏差等问题,但单个模型仅在部分问题上表现出色,尚无模型可以同时解决上述问题。因此,提出了一种基于增强序列标注策略的单阶段联合实体关系抽取方法(A Token With Multi-labels Entity and Relation Extraction,ATMREL)。首先,设计了一种增强序列标注策略,将文本中的每个单词标记为多个标签,标签包含每个单词在实体中的位置、关系类型和实体位置信息。然后,将每个单词的标签预测转化为多标签分类任务,同时将联合实体关系抽取转化为序列标注任务。最后,为增强实体对之间的依赖关系,引入实体相关矩阵,用于对抽取结果进行剪枝,以提升模型抽取效果。实验结果表明,与CasRel和TPLinker模型相比,ATMREL模型在NYT和WebNLG数据集上的参数量减少了3.1×10^(6)~5.4×10^(6),平均推理速度提升了2~4.2倍,F1值提升了0.5%~2.1%。

应用最大熵马尔可夫模型标注阅读眼动序列

人在阅读过程中的眼球运动具有一定规律,阅读眼动模型有助于人们更好地理解和认知这些规律。针对现有阅读眼动模型建模方法复杂的问题,突破传统阅读眼动模型注视粒度处理和回视处理模式,提出了基于单词的阅读眼动注视粒度处理模式和基于熟练读者的阅读眼动回视处理模式,利用阅读眼动注视序列标注与自然语言序列标注的高度相似性,形成了阅读眼动注视序列标注方法,从而把复杂的阅读眼动建模过程转化成了简单的语言序列标注过程,并使用最大熵马尔可夫模型实现了所提出的方法。实验结果表明,所提出的方法可以较好地描述阅读眼动任务,并且较易用机器学习模型进行实现。

基于注意力机制的特征融合序列标注模型

序列标注任务是自然语言处理领域的重要问题,包括命名实体识别、词性标注、意见抽取等具有重要应用价值的子任务。目前,长短期记忆网络-条件随机场模型(LSTM-CRF)作为序列标注任务的主流框架,虽然取得了很好的性能并被广泛使用,但仍存在局部依赖性以及受限于序列化特征学习的缺点。为了同步建模句子中每个词的局部上下文语义与全局语义,并将两部分语义进行有效融合,提出基于注意力机制的特征融合序列标注模型。具体地,本模型利用多头注意力机制建模句子中任意两个词之间的语义关系,得到每个词应关注的全局语义。考虑到LSTM学习的局部上下文信息和注意力机制学习的全局语义具有互补性,进一步设计了三种特征融合方法将两部分语义深度融合以得到更丰富的语义依赖信息。为验证模型的有效性,在四个数据集上进行了大量的实验,实验结果表明本模型达到较优的性能。

基于序列标注的业务异常工单判别方法研究

使用人工稽查方法判别纸质工单的业务异常情况,数据积压过大,导致异常工单判别结果不精准。面对该问题,提出了基于序列标注的业务异常工单判别方法。使用注意力机制作为业务管控规则,指引业务异常问题的稽查。使用语义消歧中的柱状搜索方法进行解码,完成知识融合。采用序列标注方法构建业务管控规则知识图谱,消除积压数据。解析新增的稽查目标,确定稽查主体。设计稽查核实步骤,实现业务管控支撑智能化。采用深度学习技术,智能解析稽查工单原始信息,判断导致异常的原因,实现稽查工单智能判别。由实验结果可知,该方法用电数据幅值波动范围与实际统计结果一致,且判别结果最高为0.99,具有较高的判别准确度。

基于多级语义信息融合编码的序列标注方法

序列标注是自然语言处理领域的基本任务。目前大多数序列标注方法采用循环神经网络及其变体直接提取序列中的上下文语义信息,尽管有效地捕捉到了词之间的连续依赖关系并取得了不错的性能,但捕获序列中离散依赖关系的能力不足,同时也忽略了词与标签之间的联系。因此,提出了一种多级语义信息融合编码方式,首先,通过双向长短期记忆网络提取序列上下文语义信息;然后,利用注意力机制将标签语义信息添加到上下文语义信息中,得到融合标签语义信息的上下文语义信息;接着,引入自注意力机制捕捉序列中的离散依赖关系,得到含有离散依赖关系的上下文语义信息;最后,使用融合机制将3种语义信息融合,得到一种全新的语义信息。实验结果表明,相比于采用循环神经网络或其变体对序列直接编码的方式,多级语义信息融合编码方式能明显提升模型性能。