自然语言处理领域中的词嵌入方法综述

词嵌入作为自然语言处理任务的第一步,其目的是将输入的自然语言文本转换为模型可以处理的数值向量,即词向量,也称词的分布式表示。词向量作为自然语言处理任务的根基,是完成一切自然语言处理任务的前提。然而,国内外针对词嵌入方法的综述文献大多只关注于不同词嵌入方法本身的技术路线,而未能将词嵌入的前置分词方法以及词嵌入方法完整的演变趋势进行分析与概述。以word2vec模型和Transformer模型作为划分点,从生成的词向量是否能够动态地改变其内隐的语义信息来适配输入句子的整体语义这一角度,将词嵌入方法划分为静态词嵌入方法和动态词嵌入方法,并对此展开讨论。同时,针对词嵌入中的分词方法,包括整词切分和子词切分,进行了对比和分析;针对训练词向量所使用的语言模型,从概率语言模型到神经概率语言模型再到如今的深度上下文语言模型的演化,进行了详细列举和阐述;针对预训练语言模型时使用的训练策略进行了总结和探讨。最后,总结词向量质量的评估方法,分析词嵌入方法的当前现状并对其未来发展方向进行展望。

自然语言处理技术在智能客服系统中的应用与优化

随着科技的不断发展,人工智能已经逐渐应用到人们生活的各个领域,其中自然语言处理(natural language processing,NLP)技术的发展尤为引人注目,其被广泛应用于智能客服系统中,极大地提升了客户服务的效率和质量。本文将探讨自然语言处理技术在智能客服系统中的应用以及如何优化其性能。

基于人工神经网络的自然语言处理技术研究

文章探讨了基于人工神经网络的自然语言处理技术,首先,阐述了人工神经网络的定义、结构、工作原理,以及与深度学习的关系。其次,详细研究了基于人工神经网络的自然语言处理技术,包括神经网络模型、词嵌入技术、循环神经网络、长短期记忆网络、转换器模型与自注意力机制等,并分析了这些技术面临的挑战。最后,通过实验设计与结果分析验证了所提出方法的有效性。文章研究内容对于推动自然语言处理技术的发展和应用具有重要意义。

基于自然语言处理的临床医学检查危急值自动识别平台的设计与应用

目的:面对人工式检查检验危急值管理存在的效率低、易出错等痛点,借助自然语言处理技术进一步提升危急值识别率,减少人工差错。方法:采用自然语言分词的方法,利用Jieba中文分词工具,创新利用正反双向规则库,与相关系统进行集成,构建了一个具备检查检验危急值处理等功能的危急值自动识别平台。结果:该平台使得危急值报告上报率达到了100%,显著提高了危急值的识别效率,减少了危急值上报遗漏,进一步提升了医疗安全质量。结论:自然语言处理技术可有效应用于检查检验危急值自动识别和提示,对于辅助临床危急值管理识别具有积极作用。

基于本体和自然语言处理的土石坝险情知识图谱构建方法研究

土石坝在运维阶段可能受施工质量低、极端环境灾害等因素的影响,从而发生滑坡、裂缝、洪水漫顶等一系列险情。现阶段与土石坝险情相关的大量数据存储分散、结构多样,难以直接转化为经验和知识得到有效利用,快速指导险情处置。本研究针对土石坝险情领域提出了基于本体和自然语言处理(NLP)的知识图谱(KG)构建方法,分别采用自顶向下与自底向上法,构建图谱的模式层和数据层。模式层围绕险情类型、险情原因、险情措施三大概念,从土石坝结构、过程、环境、材料4方面建立领域本体库,搭建KG的概念结构。数据层通过数据预处理、知识抽取、语义对齐等操作,运用NLP对文本进行处理并根据语料的特征建立相应的提取规则,获得数据层的具体知识内容。最后以三元组形式存储不同类型的实例和相互关系,运用Neo4j图数据库进行土石坝险情领域KG的可视化表达及查询应用,使领域内分散数据向集成知识转化,为土石坝安全管理和险情处置提供技术和理论支持。

基于神经网络和自然语言处理的智能对话机器人技术专利现状

本文针对神经网络和自然语言处理的智能对话机器人专利技术分析,分析了神经网络和自然语言处理的智能对话机器人技术国内外发展情况。在智能对话机器人行业起到借鉴作用。近年来,随着人工智能和大数据技术的发展,聊天机器人的热度越来越高,聊天机器人(Chatbot)是可以通过语音或文字与用户进行对话交流的计算机程序,其能够模仿人类对话,它不仅仅是一个简单的问答系统,而是一个能够理解自然语言的平台,比如百度的小度、苹果的Siri、微软的小冰、IBM的Waston等,在不同的场景下,聊天机器人有着不同的定位和功能,为了使聊天机器人能理解用户的问题,机器人需要使用文本或者语音对人类进行对话,这需要自然语言处理(Nature Language processing,NLP),而为了可以使得机器人更智能地与用户进行聊天,这需要基于神经网络进行大模型数据训练,使其具有自主学习能力;人工智能(Artificial Intelligence,AI):是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门的综合学科,人工智能企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,可以对人的意识、思维的信息过程的模拟。

基于自然语言处理(NLP)的医学知识挖掘探索与实践

目的通过对医学健康知识的挖掘,为人工智能等的健康科普知识支撑提供实践经验。方法采用基于自然语言处理(NLP)技术对徐汇区疾病预防控制中心2010年1月—2021年1月积累的科普文章进行结构拆分、阅读理解、实体识别等,处理流程包括文档预处理、特征提取、段落筛选、阅读理解、答案排序、审核和发布。结果通过直接文档结构拆分,得到5395条问答;通过阅读理解,得到857条问答;通过抽取数字问答,得到1668条,初步形成问答形式的医学健康知识库。结论自然语言处理(NLP)技术为人工智能技术需要的大量语料素材提供了有效制作方法。

基于人工智能的自然语言处理技术辅助写作应用研究

人工智能领域中自然语言处理技术占据重要的一席之地,运用专业计算机技术实现对人类语言的理解、处理与生成。自然语言处理技术在语言信息处理、智能交互中展现出巨大的优势,应用于辅助写作方面其作用也比较突出。基于人工智能的自然语言处理技术具有广阔的研究前景。本文首先对人工智能及自然语言处理技术进行了解分析,对自然语言处理关键技术进行了剖析,旨在为自然语言处理技术辅助写作的具体应用提供依据。

基于深度学习的自然语言处理鲁棒性研究综述

近年来,基于深度神经网络的模型在几乎所有自然语言处理任务上都取得了非常好的效果,在很多任务上甚至超越了人类.展现了极强能力的大规模语言模型也为自然语言处理模型的发展与落地提供了新的机遇和方向.然而,这些在基准测试集合上取得很好结果的模型在实际应用中的效果却经常大打折扣.近期的一些研究还发现,在测试数据上替换一个相似词语、增加一个标点符号,甚至只是修改一个字母都可能使得这些模型的预测结果发生改变,效果大幅度下降.即使是大型语言模型,也会因输入中的微小扰动而改变其预测结果.什么原因导致了这种现象的发生?深度神经网络模型真的如此脆弱吗?如何才能避免这种问题的出现?这些问题近年来受到了越来越多的关注,诸多有影响力的工作都不约而同地从不同方面讨论了自然语言处理的鲁棒性问题.在本文中,我们从自然语言处理任务的典型范式出发,从数据构建、模型表示、对抗攻防以及评估评价等四个方面对自然语言处理鲁棒性相关研究进行了总结和归纳,并对最新进展进行了介绍,最后探讨了未来的可能研究方向以及我们对自然语言处理鲁棒性问题的一些思考.

基于自然语言处理的肿瘤专科病历质控系统建设

目的/意义通过建立电子病历内涵质控系统,实现病历书写标准化与规范化,提高医院病历质量。方法/过程基于医院医疗数据搭建智能中台,结合自然语言处理、机器学习技术形成具有肿瘤专科特色的知识库、规则库,实现电子病历“前置审核、全面覆盖、过程监管、闭环管理”的全新质控模式。结果/结论应用基于自然语言处理的肿瘤专科病历质控系统后,质控覆盖率由1%提升至100%,甲级病案率提升至96%以上,具有较好的实时性与准确率,为医院病历高质量发展奠定坚实的信息化基础。

自然语言处理中的探针可解释方法综述

随着大规模预训练模型的广泛应用,自然语言处理的多个领域(如文本分类和机器翻译)取得了长足的发展.然而,受限于预训练模型的“黑盒”特性,其内部的决策模式以及编码的知识信息被认为是不透明的.以Open AI发布的Chat GPT和GPT-4为代表的先进预训练模型为例,它们在多个领域取得重大性能突破的同时,由于无法获知其内部是否真正编码了人们期望的知识或语言属性,以及是否潜藏一些不期望的歧视或偏见,因此仍然无法将其应用于重视安全性和公平性的领域.近年来,一种新颖的可解释性方法“探针任务”有望提升人们对预训练模型各层编码的语言属性的理解.探针任务通过在模型的某一区域训练辅助语言任务,来检验该区域是否编码了感兴趣的语言属性.例如,现有研究通过冻结模型参数并在不同层训练探针任务,已经证明预训练模型在低层编码了更多词性属性而在高层编码了更多语义属性,但由于预训练数据的毒性,很有可能在参数中编码了大量有害内容.该文首先介绍了探针任务的基本框架,包括任务的定义和基本流程;然后对自然语言处理中现有的探针任务方法进行了系统性的归纳与总结,包括最常用的诊断分类器以及由此衍生出的其他探针方法,为读者提供设计合理探针任务的思路;接着从对比和控制的角度介绍如何解释探针任务的实验结果,以说明探测位置编码感兴趣属性的程度;最后对探针任务的主要应用和未来的关键研究方向进行展望,并讨论了当前探针任务亟待解决的问题与挑战.

GPT系列大语言模型在自然语言处理任务中的鲁棒性

大语言模型(large language models,LLMs)所展现的处理各种自然语言处理(natural language processing,NLP)任务的能力引发了广泛关注.然而,它们在处理现实中各种复杂场景时的鲁棒性尚未得到充分探索,这对于评估模型的稳定性和可靠性尤为重要.因此,使用涵盖了9个常见NLP任务的15个数据集(约147000个原始测试样本)和来自TextFlint的61种鲁棒的文本变形方法分析GPT-3和GPT-3.5系列模型在原始数据集上的性能,以及其在不同任务和文本变形级别(字符、词和句子)上的鲁棒性.研究结果表明,GPT模型虽然在情感分析、语义匹配等分类任务和阅读理解任务中表现出良好的性能,但其处理信息抽取任务的能力仍较为欠缺,比如其对关系抽取任务中各种关系类型存在严重混淆,甚至出现“幻觉”现象.在鲁棒性评估实验中,GPT模型在任务层面和变形层面的鲁棒性都较弱,其中,在分类任务和句子级别的变形中鲁棒性缺乏更为显著.此外,探究了模型迭代过程中性能和鲁棒性的变化,以及提示中的演示数量和演示内容对模型性能和鲁棒性的影响.结果表明,随着模型的迭代以及上下文学习的加入,模型的性能稳步提升,但是鲁棒性依然亟待提升.这些发现从任务类型、变形种类、提示内容等方面揭示了GPT模型还无法完全胜任常见的NLP任务,并且模型存在的鲁棒性问题难以通过提升模型性能或改变提示内容等方式解决.通过对gpt-3.5-turbo的更新版本、gpt-4模型,以及开源模型LLaMA2-7B和LLaMA2-13B的性能和鲁棒性表现进行对比,进一步验证了实验结论.鉴于此,未来的大模型研究应当提升模型在信息提取以及语义理解等方面的能力,并且应当在模型训练或微调阶段考虑提升其鲁棒性.

自然语言处理在医疗设备采购参数制订中的应用价值研究

目的:构建智能化医疗设备采购参数生成系统,实现医疗设备采购参数制订表达清晰和需求匹配精准,提高招标结果的认可度和招标效率。方法:基于自然语言处理(NLP)、网络爬虫和机器学习方法,构建自动化数据更新机制,实现海量采购参数数据提取,并将实体识别方法用于既往采购参数数据分析,实现医疗设备信息及参数名称等实体自动化提取,基于相似性设备推荐及医疗设备模板派生方法,采用向导式交互工具构建智能化医疗设备采购参数生成系统。对比采用智能化医疗设备采购参数生成系统与4名具有3年采购经验的招标采购人员进行10份医疗设备采购参数文件制订的差异。结果:采用智能化医疗设备采购参数生成系统的医疗设备采购参数文件平均生成时长为15.23min,而招标采购人员制订医疗设备采购参数文件平均时长为173.40min。经招标采购专家评估,采用智能化医疗设备采购参数生成系统生成医疗设备采购参数文件效率及质量均优于3年采购经验招标采购人员制订的医疗设备采购参数文件。结论:智能化医疗设备采购参数生成系统应用于医疗设备采购参数制订,可实现医疗设备采购参数的专业信息采集、存储和管理,缩短医疗设备采购参数制订周期,为医疗设备招标采购从业人员提供智能化辅助生成工具,提高采购参数制订效能,提升医疗设备采购效率。

面向国产深度学习平台的自然语言处理模型迁移研究

深度学习平台在新一代人工智能的发展中扮演着重要的角色。近年来,以昇腾平台为代表的国产人工智能软硬件系统快速发展,为国产深度学习平台的发展开辟出了新的道路。与此同时,为了发现并解决昇腾系统存在的潜在漏洞,昇腾平台积极开展常用深度学习模型的迁移工作。从自然语言处理算法角度切入,针对机器阅读理解、神经机器翻译、序列标注和文本分类四大自然语言处理任务,以昇腾平台的高性能硬件芯片为基础,探究迁移ALBERT,RNNSearch,BERT-CRF和TextING这4类典型的自然语言处理模型。基于以上迁移研究,发现和整理了昇腾平台架构设计在自然语言处理研究与业务上的主要不足,即计算图节点动态空间的分配特性、资源算子下沉设备侧、图算融合以及混合精度训练4个方面的问题,并为以上问题提出了相应的解决方案,并进行了实验验证。最后,为国产深度学习平台的发展提出未来优化的方向和相关建议。

医学影像与自然语言处理多模态探索研究

目的/意义实现医学影像报告的自动生成对减轻放射科医生工作负担、促进临床工作流程标准化具有重要意义。方法/过程重点查找近几年公开源代码的胸部报告生成模型,开发一种基于CDGPT 2模型的医学影像报告自动生成方法。结果/结论大参数量的语言模型在报告生成方面的优势仍有待挖掘,对模型的解码器输入进行修改后生成报告的质量不高。未来研究可采用大型数据集并结合更多临床信息来提高模型性能。

什么类型的机构合作会产生更高的学术影响力?--以自然语言处理领域为例

研究特定领域中机构合作类型与学术影响力之间的关系,能深入了解不同合作类型所产生的学术影响力差异,以识别出哪种类型的合作可能更具生产力或效率。文章以自然语言处理(NLP)领域为例探究机构合作类型与学术影响力之间的关系。通过与工业界进行合作,可以将学术界的研究成果转化为实际应用,但不同合作模式对合作效果的影响有所不同,因此文章研究不同类型的机构合作与学术影响力之间的关系,从而帮助机构更好地规划合作策略,提高合作效果。首先,将机构分为学术界机构和工业界机构;然后,将合作类型分为学术界机构间合作、学术界机构内合作、学术界与工业界机构间合作、工业界机构间合作和工业界机构内合作;最后,从谷歌学术获取5种合作类型发表的论文被引频次信息,同时定义高被引论文,采用这两个指标衡量学术影响力,并将论文归属到NLP领域不同任务,发现学术界与工业界的机构间合作往往能产生更大的学术影响力,且在不同任务中学术影响力最高的机构合作类型存在差异。

基于自然语言处理智能技术的中医术语研究文献计量分析

目的对国内外近20年来发表的涉及自然语言处理(NLP)智能技术应用于中医术语识别或标注方面的文献进行计量分析与评价,探讨NLP智能技术在中医术语标准研究中的应用和发展前景。方法检索收集2003年1月至2023年10月期间,中国知网、维普中文科技期刊数据库、万方数据知识服务平台、中国生物医学文献服务系统及Web of Science等中英文数据库中的相关文献。采用Excel vba、Gephi、PyCharm等数据处理和统计分析工具,应用频数统计、Apriori关联分析、词云统计等文献计量学方法,对相关研究热点进行可视化分析。结果①经筛选,符合研究标准的文献共442篇,其中中文文献320篇、英文文献122篇。②2016年以后,相关发文量呈现持续增长的趋势。③发文国家主要集中在中国。④中文文献中硕博士学位论文比重较大,其中发文量最高的是北京交通大学。⑤中文文献发文机构以中国中医科学院发文量最高;英文文献发文机构以北京科技大学发文量最高;中医机构与计算机相关机构合作频繁。⑥基于BERT的命名实体识别算法在中医术语研究中的应用效果最为显著。⑦中医文献类的数据占比较大。结论基于NLP智能技术的中医术语标准化研究仍处于探索阶段,现有研究表现出技术应用的多样性,但缺乏系统性。鉴于NLP智能技术在中医术语识别和标注方面的潜力,未来研究需进一步加强,以期实现中医术语标准研究的系统化、智能化与广泛应用。

基于自然语言处理与结构化算法的病历信息高精度抽取方法研究

目的:综合运用自然语言处理、结构化算法和知识图谱等技术,探索实现电子病历高精度信息抽取和结构化处理的方法。方法:通过构建命名实体识别模型、关系识别模型、同义词识别模型完成病历文本的句内信息抽取;提出了一种病历生成树算法,可以有效实现大段落病历文本分层结构的解析;同时利用知识图谱技术存储信息抽取与分层解析的构造模型,实现病历文本信息高精度抽取。结果:形成了一套融合深度学习算法与结构化解析算法的病历信息高精度抽取方法,其中实体识别模型准确率达95.74%,关系识别模型准确率达89.20%,最终生成具有清晰层次结构、可精确定位和抽取信息的结构化病历。结论:本文所探索的病历信息高精度抽取方法,将深度学习算法与结构化解析算法相融合,兼顾了病历文本的句内信息抽取与病历结构层次的解析,可以实现对病历数据的自动抽取、精准定位与高效管理,可以为临床医学研究奠定数据基础,也可以为其他疾病病历文本数据的挖掘提供方法学参考。

基于模糊自然语言处理的铁路CTC接口文本智能测试方法

模糊自然语言处理将模糊理论应用在自然语言处理(NLP)的任务中,随着大模型与人工智能的不断发展,有关文本数据的研究不断深化。铁路调度集中控制(CTC)系统作为大型复杂系统,各子系统、服务器软件间的接口数据均以日志文本格式存储与传输。由于其具有文本数量多、文本类型杂等特点,提出了一种模糊自然语言处理的方法,解决CTC系统接口数据的人工测试难题。模糊C均值(FCM)聚类算法将日志文本分为不同的标签类别,并将其作为NLP任务中命名实体识别的标签输入,在传统BiLSTM-CRF模型上引入BERT进行文本编码,更准确地理解文本之间的关系并提高文本识别的精确度。根据前序训练模型,研发了铁路CTC系统日志文本接口测试的智能验证工具,其可以改善目前CTC系统的人工测试现状,帮助测试人员进行接口测试验证,提升测试工作的智能化、自动化水平。

面向自然语言处理的现代缅文分词规范研制与应用

缅文分词是缅甸语自然语言处理中不可缺少的基础性工作之一,而分词规范则是进行自动分词技术研究的关键问题。该文参考了中文、藏文等文种的分词经验,结合缅文自身特点、缅文在计算机中的编码特点和缅甸语语法,研制了一套较系统的、适用于现代缅文的分词规范;并基于该规范对缅文开源人工标注分词语料库myPOS 0.9进行人工重新标注,实验结果证明在6种常见分词算法条件下该分词规范性能更优。