问答式林业预训练语言模型ForestBERT

【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。

问答式微任务教学在计算机教学中的运用探究

新时代背景下如何培养高技能人才,使其不仅品学兼优,且主动学习能力强,具备良好的组织、协调、沟通与表达能力,是值得技师院校教师认真研究的重要课题。文章以一体化教学模式为基础,以技校计算机教学为案例,结合作者企业经验,提出一种简单有效且易掌握的教学方法——'问答式微任务教学',认为其在实践中能够获得良好的效果。

融合GAT与QA提取范式的事件抽取方法

针对传统抽取方法中事件标签语义与事件关系信息利用率低的问题,提出一种融合GAT(图注意力网络)与QA(问题-回答)提取范式的事件抽取方法。将事件类型与论元角色作为查询语句,根据不同事件类型之间的关联构建事件关系图,通过图注意力网络优化事件类型表示,使用注意力机制获取文本与标签的丰富语义,获取事件触发词与事件论元角色。该方法在DuEE数据集上的实验结果表明,触发词识别和论元角色识别的F1值比传统的BERT_QA_Arg模型分别提升4.49%和10.02%,验证了其有效性。

基于Transformer模型的中文文本生成方法研究

文章研究了基于Transformer模型的中文文本生成方法,重点探讨了Transformer模型的编码器-解码器结构及其工作原理。在详细分析了编码器和解码器的工作机制后,文章利用Hugging Face Transformers开源模型进行了中文文本生成实验。结果表明,该方法在自制数据集上取得了良好的效果,其准确率、精确率和召回率分别达到92.5%、91.8%和90.6%。该研究不仅拓展了中文自然语言处理的理论基础,还为实际应用提供了高效的技术支持。

机器阅读理解式中文事件抽取方法

事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先验信息。提出一种基于预训练模型的机器阅读理解式中文事件抽取方法(Chinese event extraction by machine reading comprehension,CEEMRC),将中文事件抽取简化为两个问答模型的级联。首先对事件触发词抽取、事件类型判定、属性抽取构建相应的问答任务问题。以RoBERTa为基础构建触发词抽取和事件类型识别联合模型、事件属性抽取两个问答模型,并融入触发词先验特征、分词信息、触发词相对位置等信息来提升模型效果。最后以模型预测回答的起始和结束位置完成所需的抽取。实验使用DuEE中文事件数据集,触发词抽取和属性抽取的F1值均优于同类方法,验证了该方法的有效性。

某房屋安全鉴定机构的企业信息化升级改造

随着企业不断发展的需要,信息化系统中信息孤岛、机构变化快速适应、综合信息决策、平台对接等问题日益突出,多数企业迫切需要进行升级、整合,甚至重新规划。本文从一个企业实例入手,就如何做好信息化升级改造进行研究探索。