基于NLP的煤矿事故原因分类研究

为有效提升分析和处理煤矿事故文本的效率,融合自然语言处理(NLP)技术与事故致因模型,构建一个自动化的事故原因分类框架。首先以事故致因“2-4”模型(24Model)为事故分类依据,分析87份煤矿事故调查报告,得到煤矿事故原因分类框架,构建每类事故原因的语料库;然后利用NLP技术分别处理语料库中各类原因文本,将其用于训练fastText模型,自动识别事故原因文本并分类;最后对比分析fastText模型与TextCNN等其他3种经典模型的分类效果。结果表明:共得到21类事故原因和6684条训练语料,训练后的fastText模型对煤矿事故原因分类的识别正确率能够达到98.92%,综合性能优于其他3种分类模型。基于24Model和NLP技术开发的事故文本挖掘系统,能够快速分析处理事故文本信息,进一步细化事故调查报告中的原因,便于进行事故案例学习和统计分析。

基于NLP模型的智能IVR语音呼叫系统设计

设计了一种基于NLP模型的智能IVR语音呼叫系统。在硬件方面,完成了无线呼叫器和显示终端设计。在软件方面,首先建立了多信道协议通信模式,运用优先级理念实现呼入语音接纳控制,然后搭建了IVR交互序列,将通信语音转入序列中,通过语音平台、解析器、网页服务器进行交互处理。最后以引入对抗训练算法的NLP模型为核心设计了一种可用于智能呼叫问答的预训练模型,在交互过程中不断学习,搜索出与用户呼叫语音相对应的处理方案,并通过语音播报、提示灯闪烁等方式提醒工作人员处理语音呼叫问题。系统测试结果表明,在不同的呼叫距离下,系统语音呼叫响应延时始终低于1 ms,满足呼叫响应的实时要求。

AI背景下NLP模型在高校网络育人研究中的应用

随着人工智能技术快速发展,自然语言处理(NLP)模型在高校网络育人研究中发挥着越来越重要的作用。探讨AI背景下NLP模型在构建高校网络育人研究中的应用路径,通过介绍NLP模型和网络育人的概念及发展现状,分析NLP模型在高校网络育人中的应用场景与优势。探讨NLP模型在高校网络育人中的路径以及数据采集、模型训练、结果反馈等环节。并通过案例分析,验证了NLP模型在高校网络育人中的有效性和可行性。

规则压缩模型和灵活架构的Transformer加速器设计

基于注意力机制的Transformer模型具有优越的性能,设计专用的Transformer加速器能大幅提高推理性能以及降低推理功耗。Transformer模型复杂性包括数量上和结构上的复杂性,其中结构上的复杂性导致不规则模型和规则硬件之间的失配,降低了模型映射到硬件的效率。目前的加速器研究主要聚焦在解决模型数量上的复杂性,但对如何解决模型结构上的复杂性研究得不多。该文首先提出规则压缩模型,降低模型的结构复杂度,提高模型和硬件的匹配度,提高模型映射到硬件的效率。接着提出一种硬件友好的模型压缩方法,采用规则的偏移对角权重剪枝方案和简化硬件量化推理逻辑。此外,提出一个高效灵活的硬件架构,包括一种以块为单元的权重固定脉动运算阵列,同时包括一种准分布的存储架构。该架构可以高效实现算法到运算阵列的映射,同时实现高效的数据存储效率和降低数据移动。实验结果表明,该文工作在性能损失极小的情况下实现93.75%的压缩率,在FPGA上实现的加速器可以高效处理压缩后的Transformer模型,相比于中央处理器(CPU)和图形处理器(GPU)能效分别提高了12.45倍和4.17倍。

“一带一路”倡议的多维海外认知对比研究:基于欧洲智库文本的分析

2023年是“一带一路”倡议提出10周年。10年来,共建“一带一路”倡议从理念到行动,从愿景到现实,已成为推动构建人类命运共同体的重要实践平台。对欧洲智库报告文本进行分析研判可以管窥欧洲对“一带一路”建设实施10年来的整体认知,对推进“一带一路”倡议下一阶段发展具有重要意义。通过对宾夕法尼亚大学(TTCSP)和Bruegel智库联合发布的《2020全球智库指数报告》中的212家欧洲智库在2013年前后至2022年9月期间公开发表的“一带一路”相关的13539份文本进行文本挖掘,探讨欧洲一流智库关于“一带一路”倡议的情感倾向和议程设置,从一个侧面观察“旋转门”机制下欧洲公共决策和舆论层的观点与立场,在总结此倡议在欧洲推进过程中所面临的潜在机遇和挑战的同时,为下一阶段“一带一路”建设中如何有效改善此倡议在海外公共舆论环境中的形象提供数据支持与参考。研究发现,欧洲智库对“一带一路”倡议整体上持中立略偏正面的态度,但不同区域和国家也存在明显差异。中东欧国家智库的看法较为正面,北欧及波罗的海国家智库则有较为明显的负面情绪,而西欧与南欧国家智库比较中立。主题建模进一步发现,由经济因素支撑的“共谋发展”论调在欧洲主流公共舆论圈具有较强的代表性。

基于图神经网络的法律文本共指消解模型

共指消解是确定上下文中的代词或名词短语所指的具体对象或实体,是自然语言处理(Natural Language Processing,NLP)的基本任务之一,对理解文本语义具有重要意义。现有的方法主要集中在一般领域的代词、所有格和名词短语的解析上,针对法律领域的研究较少。为了更好地学习法律文本中的知识,并消除共同指代现象,提出一种基于图神经网络的法律文本共指消解模型(Graph Neural Network for Coreference Resolution,CR-GNN)。所提CR-GNN可以促进法律文本挖掘中的一系列后续任务。利用预训练语言模型和双向门控循环单元(Bidirectional Gate Recurrent Unit,BiGRU)对法律文本进行编码;使用基于元任务的动态图卷积网络(Meta Dynamic Graph Convolutional Network,MDGCN)整合实体之间的引用关系;使用前馈神经网络(Feed-Forward Neural Network,FFNN)和Biaffine模型为候选对进行加权评估。CR-GNN可以有效识别实体之间的引用关系,并对实体依赖关系进行建模。在法庭记录文件数据集上进行大量实验,结果表明所提CR-GNN模型达到89.76%的F1分数,均高于现有基准模型。

面向大语言模型的越狱攻击综述

近年来,大语言模型(large language model,LLM)在一系列下游任务中得到了广泛应用,并在多个领域表现出了卓越的文本理解、生成与推理能力.然而,越狱攻击正成为大语言模型的新兴威胁.越狱攻击能够绕过大语言模型的安全机制,削弱价值观对齐的影响,诱使经过对齐的大语言模型产生有害输出.越狱攻击带来的滥用、劫持、泄露等问题已对基于大语言模型的对话系统与应用程序造成了严重威胁.对近年的越狱攻击研究进行了系统梳理,并基于攻击原理将其分为基于人工设计的攻击、基于模型生成的攻击与基于对抗性优化的攻击3类.详细总结了相关研究的基本原理、实施方法与研究结论,全面回顾了大语言模型越狱攻击的发展历程,为后续的研究提供了有效参考.对现有的安全措施进行了简略回顾,从内部防御与外部防御2个角度介绍了能够缓解越狱攻击并提高大语言模型生成内容安全性的相关技术,并对不同方法的利弊进行了罗列与比较.在上述工作的基础上,对大语言模型越狱攻击领域的现存问题与前沿方向进行探讨,并结合多模态、模型编辑、多智能体等方向进行研究展望.

一种端到端的事件共指消解方法

事件共指消解任务主要是判断不同事件提及是否指向同一件事件。事件共指消解不仅能有效缓解事件抽取任务中存在的信息冗余问题,而且为事件内容补全提供了有效途径。尽管许多学者利用深度学习方法对事件共指消解进行了大量研究。但是大部分事件共指消解模型中仍然存在显式信息表示不足、论元噪声引入以及共指事件分布稀疏等问题。针对上述问题,提出了一种利用显式论元信息和重构事件链的端到端事件共指消解方法。首先,使用名为OneIE事件抽取模型提取事件的触发词和论元以获取事件的结构化信息;随后,使用Transformer编码器对事件提及上下文进行表示,并将置信分数引入论元信息编码以缓解其可能带来的误差传递;同时,采用门控机制对论元在触发词的水平和垂直方向上的信息进行分解,并根据论元和触发词的相关系数融合两个方向的信息,过滤论元中的噪声;然后,使用前馈网络计算事件提及对共指得分;最后,通过重构事件链验证事件提及的合法性以纠正由共指事件稀疏性带来的模型训练结果偏差。为了验证方法的有效性,本文基于数据集ACE2005进行实验。结果表明,本文模型在端到端事件共指消解任务上具有一定的先进性,其中CoNLL和AVG指标平均高出基线模型5.67%和6.24%。

基于异构图表示的中医电子病历分类方法

中医(TCM)电子病历由于结构复杂多样与诊疗术语不规范的特点导致数据挖掘难度大、利用率低、难以抽取到有效信息。针对上述问题,提出基于LERT(Linguistically-motivated bidirectional Encoder Representation from Transformer)预训练模型与图卷积网络(GCN)并用异构图表示的中医电子病历分类模型TCM-GCN,用于改善中医电子病历特征有效表征的提取与分类。首先,利用LERT层词嵌入的方式将病历转换为句向量融入异构图中,以补全图结构缺失的病历整体语义特征;随后,为了缓解中医电子病历结构特点对特征提取产生的负面影响,异构图将关键词加入节点,使用BM25与点间互信息(PMI)算法构建图中“病历-关键词”“关键词-关键词”的边以表达病历的特征;最后,TCM-GCN依靠LERT-BM25-PMI构建的异构图对病历之间的特征关系进行聚合与抽取,完成病历分类的任务。在中医电子病历数据集上的实验结果表明,相较于次优的LERT,TCM-GCN加权平均后的准确率、召回率、F1值分别提升了2.24%、2.38%、2.32%,验证了算法在捕捉病历间隐含特征与中医电子病历分类工作上的有效性。

基于Transformer模型的轨道交通机器翻译系统设计

针对商用机器翻译引擎安全性无法保证、专业化领域翻译精准度低、翻译服务方式单一等问题,通过神经网络模型、知识蒸馏方法、专业语料库构建等技术,设计基于Transformer模型的轨道交通机器翻译系统——“铁译通”,实现文本翻译、文档翻译、Office插件翻译、浏览器插件翻译等多元化功能。应用表明,该系统可为行业用户提供专业化、多元化、定制化、安全性强的机器翻译服务。

基于NLP的中医医案文本快速结构化方法

中医医案是中医医生学习临床经验的重要文献资料,对中医医案进行结构化处理有利于采用机器学习等方法总结临床经验,加速中医传承。为了实现中医医案快速结构化,提出了一种基于自然语言处理的中医医案文本快速结构化方法。将《中国现代名中医医案精粹》作为结构化对象,采用光学字符识别技术识别医案截图的文本,同时对文本做初步结构化。构建简单症状词典,采用结合词典的改进的N-gram模型获取医案文本中的症状、体征等词,并在结构化过程中更新词典,实现了对4754份文本医案的结构化。随机选取666份医案文本对最终模型进行测试,其F1值达到82.99%。

NLP口语模型建构

近10年来,印度、伊朗等国都已有将NLP应用于英语口语教学中的相关实验,并证实其确实有助于提高学生的英语口语水平.中国EFL学习者人数众多,有必要证实NLP(神经语言程序学)理论建构的口语教学模型是否同样适用于中国EFL学习者.通过SPSS检测比对6个月的教学实验前后实验班和普通班的成绩,可知该口语教学模型对提升中国EFL学习者的英语口语水平也同样有效.

基于BERT的电子病历实体关系联合抽取研究

分析中文电子病历数据实体关系提取常用方法,提出一种基于双向编码器表征的实体关系联合抽取算法,使用级联解码器以及指针标注方法完成实体关系抽取及实体识别,实验结果证明该方法可有效抽取电子病历实体关系。

人工智能自然语言处理临床应用的伦理研究

在高风险的医疗场域中,自然语言处理技术中的语言区隔和技术内在设计缺陷可能对诊疗行为和医疗体系带来严重风险,其语言区隔阻碍了不同群体的医疗伦理公正,技术自身的“黑箱”性质与不可解释性可能导致错诊误诊等问题,同时技术的过度使用破坏了医疗场域中的伦理关系,危及人类在技术及其应用中的主体性地位。为防止自然语言处理技术在临床应用中可能出现不良的伦理后果,我们需要发扬人的主观能动性主导自然语言技术的发展,依据自然语言处理协会公布的道德规范框架和行为准则,评估当前的应用现状,建构和提供一个有温度有弹性的伦理模型和行动指南。

ChatGPT在翻译教学中的应用:变革、挑战与应对

ChatGPT是一种新型自然语言处理机器学习模型,拥有强大的内容生产能力。ChatGPT具有变革传统翻译教学模式的潜力,能够有效地辅助个性化教学的开展,促进学生的自主学习,构建新型教学主体关系,创新教学管理模式,推动知识生产方式变革,拓宽翻译教育教学研究空间。与此同时,ChatGPT的应用也存在潜在风险,如削弱学习自主性、异化教学主体关系、损害学术诚信、引发知识安全风险、伦理风险和意识形态风险等。为应对挑战并充分发挥ChatGPT在翻译教学中的应用潜能,我们有必要创新教学模式,改革教学过程,增强学生自主学习能力,强化翻译伦理教育和意识形态风险教育,提升师生数字素养。以ChatGPT为代表的新型人工智能作为“类人教师”具有强大的教学潜能,但无法取代教育教学中的人类因素,因而改变不了教育的本质,未来教师仍会在诸多方面发挥不可替代的作用。

基于信息增强BERT的阴阳性判别

介绍临床发现阴阳性判别任务要求,提出一种基于临床发现及其上下文信息增强BERT的阴阳性判别方法,阐述总体思路和建设路径,分析实验结果,该方法在2021年度中国健康信息处理大会(CHIP 2021)医学对话临床发现阴阳性判别任务的测试集上模型集成Macro-F1值达78.1%。

基于RoBERTa-CRF的肝癌电子病历实体识别研究

目的/意义肝癌电子病历中蕴涵大量医学专业知识,且大部分以非结构化数据形式存在,难以自动化提取。肝癌电子病历实体识别研究有助于构建肝癌领域医疗辅助决策系统和医学知识图谱。方法/过程构建RoBERTa算法与CRF算法相结合的命名实体识别模型,利用自标注肝癌电子病历真实数据进行模型训练与测试。结果/结论RoBERTa-CRF模型优于其他基线模型,具有较好实体识别效果。

融合提示知识的方面级情感分析方法

针对基于预训练模型的方面级情感分析普遍使用端到端框架,存在上下游阶段任务不一致、难以有效建模方面词和上下文之间关系的问题,提出一种融合提示知识的方面级情感分析方法。首先基于Prompt机制构造提示文本,将该提示文本与原始句子和方面词进行拼接,并把得到的结果作为预训练模型BERT(Bidirectional Encoder Representation from Transformers)的输入,以有效捕获方面词和上下文之间的语义联系,同时提升模型对情感分析任务的感知能力;然后构建情感标签词表,并将它融入情感标签词映射层,以减小模型的搜索空间,使预训练模型获取标签词表中丰富的语义知识,并增强模型的学习能力。实验结果表明,所提方法在SemEval2014 Task4数据集的Restaurant、Laptop两个领域数据集和ChnSentiCorp数据集上的F1值分别达到了77.42%、75.20%、94.89%,与Glove-TextCNN、P-tuning等主流方面级情感分析方法相比提高了0.65~10.71、1.02~9.58与0.83~6.40个百分点,验证了所提方法对方面级情感分析的有效性。

基于注意力平衡列表的溯因推理模型

溯因推理是自然语言推理(NLI)中的重要任务,旨在通过给定的起始观测事件和最终观测事件,推断出二者之间合理的过程事件(假设)。早期的研究从每条训练样本中独立训练推理模型;而最近,主流的研究考虑了相似训练样本间的语义关联性,并以训练集中假设出现的频次拟合其合理程度,从而更精准地刻画假设在不同环境中的合理性。在此基础上,在刻画假设的合理性的同时,加入了合理假设与不合理假设的差异性和相对性约束,从而达到了假设的合理性和不合理性的双向刻画目的,并通过多对多的训练方式实现了整体相对性建模;此外,考虑到事件表达过程中单词重要性的差异,构造了对样本不同单词的关注模块,最终形成了基于注意力平衡列表的溯因推理模型。实验结果表明,与L2R2模型相比,所提模型在溯因推理主流数据集叙事文本中的溯因推理(ART)上的准确率和AUC分别提高了约0.46和1.36个百分点,证明了所提模型的有效性。

基于掩码矩阵⁃BERT注意力机制的神经机器翻译

BERT在各种自然语言处理任务上取得了优异的效果,但是,其在跨语言任务上并没有取得很好的结果,尤其是在机器翻译任务上。文中提出BERT增强的神经机器翻译(BE⁃NMT)模型,该模型分为三部分来提升神经机器翻译(NMT)模型对BERT输出表征的利用。首先,针对BERT在NMT任务上微调所造成的知识遗忘,使用一种掩码矩阵(MASKING)策略来缓解这种情况;其次,使用注意力机制的方式将BERT的输出表征融入NMT模型中,同时更好地权衡了模型中的多个注意力机制;最后,融合BERT的多层隐藏层输出来补充其最后一层隐藏层输出缺失的语言信息。在多个翻译任务上进行实验,结果表明提出的模型明显优于基线模型,在联合国平行语料库英文→中文翻译任务上提高了1.93个BLEU值。此外,文中的模型在其他翻译任务上也取得了不错的提升。