自然语言处理研究综述

近年来,自然语言处理因在分析与建模人类语言任务领域取得诸多成果而备受关注。当前,大规模预训练语言模型展现出强大的对话问答和文本生成能力,带来自然语言处理研究的新一轮热潮。自然语言处理在机器翻译、文本摘要、信息抽取等领域应用广泛。文本首先讨论自然语言处理针对语言学四个不同层次文本信息的分析手段,对自然语言处理的基本任务组成进行概述;其次,讨论自然语言处理在具体下游任务中的应用现状,包括自然语言处理在具体任务中的应用历史、当前的研究趋势以及面临的挑战;最后,在大规模预训练语言模型研究对数据集提出更高要求的背景下,对自然语言处理领域已有的数据集及评测基准集等进行讨论。

基于深度学习的自然语言处理技术专利分析

基于深度学习的自然语言处理技术进入广泛应用和高速发展时期,本文通过对基于深度学习的自然语言处理技术领域专利申请进行检索与分析,确定出该领域专利申请的时间和地域分布情况以及专利维持时间,根据对专利现状的多维度数据进行分析研究并对如何发展高价值专利提出建议,为我国企业、科研单位及院校在基于深度学习的自然语言处理领域的技术研究和专利布局提供参考。

基于自然语言处理的社交媒体情感分析在公益慈善中的应用

对自然语言处理(NLP)技术在社交媒体情感分析中的应用,特别是在公益慈善领域的应用进行研究。探讨公益慈善的重要性,介绍所使用的数据集,包括数据来源、类型和大小,并描述了数据预处理和标注的过程。实验显示,应用自然语言处理技术进行社交媒体情感分析,能够在公益慈善活动中发挥重要作用。对研究的主要发现进行了分析,并提出了未来的研究方向。

基于自然语言处理的学生评教情绪分析

对学生评教信息中蕴含的情绪分析对于课堂教学的改进起着至关重要的作用,使用了“中文分词+token+LSTM模型”的自然语言处理方式对学生评教信息进行了情绪分析.设置词表和停用词,对数据集进行中文分词.将得到的中文分词列表训练得出数字字典,将分词列表转换成数字列表,最后将数字列表转成空间向量形成数据集.建立LSTM模型,使用建立好的训练集进行训练,对训练后的模型进行评估,评估结果证明该模型是可靠的,对选取的典型的和复杂的数据进行预测,得出情绪分析结果.实验证明,该模式对于典型和复杂评教信息的分析结果均是正确的。

基于自然语言处理的铁路客运营销分析智能对话系统研究

为提高铁路客运营销数据分析能力,研究开发了铁路客运营销分析智能对话系统,为铁路客运营销业务人员提供一种基于人机对话的数据分析工具。该系统包括语音识别、自然语言文本处理、智能数据挖掘、智能应答4个主要功能模块;利用语音唤醒和语音识别技术采集语音数据,通过神经网络模型将语音数据转换成自然语言文本;建立自然语言文本预处理模型,完成基于规则的词法句法分析方法,使用长短期记忆神经网络实现语义理解,确定用户意图;基于Bert模型的Text-to-SQL技术,将自然语言文本数据转换成数据查询SQL语句,构建智能Agent完成数据挖掘分析,生成数据分析结果;最后,运用语音合成技术和数据可视化技术,将数据分析结果转换为用户应答信息。

自然语言处理视角下日语复合动词的语义计量方法探索——以“V1-あげる”和“V1-あがる”为例

本文在自然语言处理视角下,利用Doc2vec句向量工具,以“V1-あげる”、“V1-あがる”为例,就日语复合动词的语义计量方法进行了探索。结果表明,语义分类的平均正确率达90%,利用句向量技术对日语复合动词的语义计量研究具有可行性。同时,对于同一复合动词的多个语义,该工具可为大规模自动判断实际语境中的具体语义提供可靠手段。

知识演化视角下论文与专利的热点技术方法对比分析——以人工智能自然语言处理领域为例

人工智能领域的研究成果在学术研究与工业实践之间转移流动。为揭示自然语言处理领域论文与专利中的技术方法的分布及其演化趋势,基于知识演化视角对比分析论文与专利技术方法的分布,将2013年1月到2022年12月arXiv数据集中自然语言处理领域的39025篇论文,以及按照“关键词+IPC分类号”的检索方法在incoPat专利数据库得到的14654件专利数作为样本,利用维基百科分类树构建方法本体,将论文和专利映射到领域本体中,并采用配对样本T检验方法验证两者知识演化方面的滞后性。结果表明:样本论文与专利存在共同关注的技术方法,包括卷积神经网络、循环神经网络、长短期记忆网络、注意力机制和预训练语言模型,其中前三者属于比较成熟的神经网络架构,而注意力机制随着上述神经网络架构的发展而迅速发展;专利技术方法相对论文滞后约1~2年。

基于自然语言处理的易水学派文本挖掘与句法分析图谱构建研究

自然语言处理中,实体与关系抽取是构建知识图谱、设计问答系统、语义分析等任务中不可或缺的环节。中医易水学派的信息多数以非结构化文言文本形式储存,中医文本关键信息抽取对挖掘和研究中医学术流派有重要作用。为了更高效地解决以上问题,研究引入人工智能方法,构建自然语言处理技术架构下基于条件随机场的分词和实体关系抽取模型识别与抽取中医文本实体关系,利用词频-逆文档频率算法的常用加权技术提取不同古籍文本中的关键实体信息,并使用基于人工神经网络依存句法分析技术,深入剖析古籍条文,以揭示其中实体之间复杂而精确的语法关系,将其表示为可视化树形结构,为下一步构建易水学派知识图谱及利用人工智能方法开展中医学术流派研究奠定基础。

含有量化名词词组的及物性结构的语义分析及其在自然语言处理中的实现问题

本文旨在从意义的组合性原则出发,对含有量化名词词组的及物性结构进行语义分析。重点是讨论和评价对这一结构从形式语义学角度所做的四种不同的研究方法。其中,前三种是通过类提升的方式来实现的,最后一种则是通过类重设的方式来实现的。基于计算复杂性的考虑,本文选取其中的一种方法作为解决自然语言处理中语义问题的理论依据,并且详细地介绍和说明如何以这种方法为基础编写出适用于Prolog语言环境的计算机可执行语法。

自然语言处理中的情感分析与情感智能

随着社交媒体和在线内容的爆炸式增长,互联网上产生了海量的文本数据,因此了解用户的情感变化变得尤为重要。其中,自然语言处理(NLP)中的情感分析是一项关键技术,可自动识别和理解文本中的情感信息。

自然语言处理中的语义关系与句法模式互发现

在国家科技基础条件平台中如何建设汉语字词之间的语义关系库,并且利用初始的语义关系库自动获取句法模式和新的关系。使用了句法模式的概念,并提出了利用已有关系发现新模式、利用已有模式发现新关系的方法,创造性地设计相关模型并实现了一个中文语义关系知识库系统。利用此系统结合自然语言处理相关技术,从搜狗语料库和百度百科页面文件中大规模自动化获取了有效关系200多个,并从中提取了继承、同义等有效的新关系1 000多条。实验证明其效率达到约40%,主要取决于关系中查询词的距离取值和语料库本身的性质。

自然语言处理在文本情感分析领域应用综述

文本情感分析已经逐渐成为自然语言处理(NLP)的重要内容,并在系统推荐、用户情感信息获取,为政府、企业提供舆情参考等领域越来越占据重要地位。通过文献调研的方式,对情感分析领域的方法进行对比和综述。首先,从时间、方法等维度对情感分析的方法进行文献调研;然后,对情感分析的主要方法、应用场景进行归纳总结和对比;最后,在此基础上分析每种方法的优缺点。根据分析结果可以知道,在面对不同的任务场景,主要有三种情感分析的方法:基于情感字典的情感分析法、基于机器学习的情感分析法和基于深度学习的情感分析法,基于多策略混合的方法成为改进的趋势。文献调研表明,文本情感分析的技术方法还有改进的空间,在电子商务、心理治疗、舆情监控方面有较大市场和发展前景。

基于自然语言处理的代码指挥建模方法

构建一套高效的且适用的代码指挥体系对于提高指挥控制效率、提升作业效能具有重要意义。基于指挥控制系统的现状和发展方向,分析了代码指挥技术的发展情况,构建了一套文书指挥向代码指挥转化的系统建模方法,并采用依存分析技术和Transformer模型处理自然语言指令,实现了自然语言和指挥代码的转换。原型验证系统试验结果表明,该方法可有效提高指挥控制的效率和准确性。

自然语言处理技术在网络案情分析系统中的应用

随着互联网技术的飞速发展,大量的网络案情信息存在于互联网上,这既给办案人员提供了一定的线索,同时又带来了很大的挑战。设计并实现了一种网络案情分析系统,利用自然语言处理技术识别出海量网络案情文件中网名和网址等信息,并构建它们之间的关系网络。针对不同类型的文件,分别采取结构化分析和以"规则和统计"相结合为主、用户辅助知识库为辅的网名识别技术。实验证明,将该方法应用于网络犯罪案情分析系统中,有助于办案人员快速侦破案情。

基于自然语言处理进行新冠肺炎确诊患者流行病学史的变化趋势分析的探索

目的:探讨陕西省自1月23日以来确诊患者接触史的变化趋势,以及不同时期应关注的重点场所。验证自然语言处理和大数据分析技术在流行病学史分析中应用的可行性。方法:收集陕西省2020年1月23日至2月20日卫健委公布的疫情数据,应用自然语言处理技术对确诊患者情况进行分词处理,计算每日的热点词语出现频率并排序。通过对词频和共词频率的统计,分析确诊患者的流行病学史变化趋势。结果:陕西省自1月23日起,前8日确诊患者描述中,标志着输入性疫情的"返回"等词频较高;自第9日起,标志以家庭为主要场所的聚集性疫情的各类"亲属关系"词频显著提高;第14日开始,体现其他场所的聚集性疫情的词汇频率明显提升。发病地区词频较高的为:西安市、安康市等;与陕西确诊病例相关的外省市地区词频较高为武汉/湖北、孝感市和杭州市。结论:通过词频分析可以发现陕西省疫情由输入性转向聚集性的转折点大致发生在2月1日。家庭作为聚集场所的传播方式为主要传播方式,后期有其他传播场所值得关注。本研究也验证了使用自然语言处理和词频分析等大数据分析技术可以在经典的流行病学史分析基础上,拓展新的思路,呈现新的表达方式。

自然语言处理的句法分析和规则索引

在自动翻译的设计中 ,句法分析是核心问题 .本文的研究背景是自然语言处理系统 ,其工作有两部分 :第一部分讨论了句法分析 ;第二部分提出了规则索引算法 .

美国自然语言处理技术专利情报分析及启示——基于1999—2018年专利数据

自然语言处理技术广泛应用于人工智能的各个领域,具有重要的产业价值。以1999—2018年该领域的美国专利数据为分析对象,从专利申请和授权趋势、专利技术、专利相关主体、诉讼及运营等4个方面进行专利情报剖析,美国自然语言处理产业的研发态势、热点技术分布、主要创新者、竞争环境等情况得以展现。总结美国的经验,提出我国自然语言处理产业的发展应培育以企业为主导的创新格局,加快科研成果转化,加强在美国的专利布局以及注重专业人才培养。

基于概念图的自然语言处理中的语义研究与应用

目的探讨自然语言处理中的语义研究的必要性和概念图的优势及特点。方法阐述基于概念图进行语义研究的步骤及关键技术。结果基于概念图进行语义研究能进一步提高自然语言理解的水平,改善现有语义分析技术对句子的理解程度,具有一定的理论和应用价值。结论概念图的研究与应用必将对语义研究起到积极的作用。

自然语言处理中语法分析研究

语法分析是自然语言处理中的关键环节 ,本文就自然语言处理中应用到的上下文无关语法、转换语法、剖析、转换网络和扩充转换网络等语法分析方法进行了论述。

共词分析识别研究热点的表面效度研究:基于自然语言处理

共词分析是科学计量领域用以识别研究热点的重要方法,但对其有效性的检验相对薄弱。通过应用自然语言处理的方法,以最近30年来动物学领域发表于中文期刊上的科技论文为分析对象,将基于题名、摘要和全文分词结果而提取的高频词连同基于关键词而提取的高频词一起,纳入了共词分析的范畴,通过识别的研究热点与共识性研究热点之间的相关分析,对基于共词分析而识别的研究热点的表面效度进行了检验。研究结果表明,以关键词为分析单元而识别的研究热点的表面效度最低,而基于全文而识别的研究热点表面效度最高;以复合型指标(算法)识别的研究热点表面效度较高,而以单一型指标(算法)识别的研究热点的表面效度较低。