期刊文献+
共找到112篇文章
< 1 2 6 >
每页显示 20 50 100
The Effects of Pre-Task Planning on Second Language Writing:A Systematic Review of Experimental Studies
1
作者 Rod ELLIS 《Chinese Journal of Applied Linguistics》 2021年第2期131-165,263,共36页
There are both pedagogical and theoretical grounds for asking second language writers to plan before they start writing.The question then arises whether pre-task planning(PTP)improves written output.To address this qu... There are both pedagogical and theoretical grounds for asking second language writers to plan before they start writing.The question then arises whether pre-task planning(PTP)improves written output.To address this question,this article reviewed 32 studies by comparing the effect of PTP either with no planning or with unpressured online planning(OLP).These studies also investigated the moderating effect of variables relating to the writer participants,the nature of the planning,and the writing tasks.The main findings are:(1)There is no clear evidence that PTP leads to better overall writing quality when this is measured using rating rubrics,(2)PTP generally results in more fluent writing,(3)its impact on syntactical and lexical complexity is inconsistent and negligible,(4)OLP does sometimes result in increased linguistic accuracy,and(5)there is insufficient evidence to reach clear conclusions about the role that moderating variables have on the impact of PTP,but the results suggest that collaborative(as opposed to individual planning)can lead to increased accuracy and that PTP tends to lead to more complex language when the writing task is a complex one.The article concludes with a set of principles to ensure better quality research and three general proposals for the kind of future research needed. 展开更多
关键词 pre-task planning online planning effects on L2 writing moderating variables principles guiding future research
下载PDF
Effects of the Pre-Task Planning Mode on the Listening Comprehension of Chinese EFL Learners
2
作者 DING Xiao-lei Songphorn Taj aroensuk 《Sino-US English Teaching》 2012年第6期1197-1203,共7页
This study aims at investigating the effects of the pre-task planning mode on listening comprehension of Chinese EFL (English as a foreign language) learners as well as students' opinions towards the pre-task plann... This study aims at investigating the effects of the pre-task planning mode on listening comprehension of Chinese EFL (English as a foreign language) learners as well as students' opinions towards the pre-task planning mode Three step~., namely, concept mapping, strategic planning, as well as rehearsal, are employed in the pre-task planning mode in the present study. There are altogether 40 second-year English majors participated in the present study, and they are randomly assigned into the experimental group and the control group. The instruments employed in the present study to achieve the research purposes include the listening comprehension test, the teacher's log, the students' opinion questionnaires, the students' open-ended questionnaires, and the semi-structured interviews. Research findings revealed that there were significant main effects on the listening comprehen,;ion of Chinese EFL learners after the training by the pre-task planning mode. Moreover, the students held positive attitudes towards the pre-task planning mode 展开更多
关键词 pre-task planning mode concept mapping strategic planning REHEARSAL listening comprehension
下载PDF
THE EFFECT OF PRE-TASK PLANNING TIME ON SELF-REPAIRS FOR INTERMEDIATE AND ADVANCED ENGLISH LEARNERS 被引量:1
3
作者 顾韵 《Chinese Journal of Applied Linguistics》 2007年第6期25-33,127,共10页
This paper studies the effect of different lengths of pre-task planning time on the frequency and accuracy of self-repairs for Chinese intermediate and advanced English learners.The findings reveal that the increased ... This paper studies the effect of different lengths of pre-task planning time on the frequency and accuracy of self-repairs for Chinese intermediate and advanced English learners.The findings reveal that the increased pre-task planning time strongly improves fluency and accuracy of self-repairs for both lexical and syntactic errors in the advanced group,but enhanced fluency and accuracy are not witnessed in the intermediate group as planning time increases.The differences are mainly due to the fact that some intermediate learners are not well equipped with the appropriate way of preparation for oral presentation tasks since some write down their ideas in Chinese.Thus errors will increasingly emerge in the transfer.Besides,they usually give priority to accuracy while neglecting fluency. 展开更多
关键词 SELF-REPAIR pre-task planning time language proficiency
原文传递
无人机集群任务分配技术研究综述 被引量:2
4
作者 毕文豪 张梦琦 +2 位作者 高飞 杨咪 张安 《系统工程与电子技术》 EI CSCD 北大核心 2024年第3期922-934,共13页
任务分配是无人机集群实现高效遂行作战任务的关键技术。随着无人机集群技术的发展和作战样式的转变,无人机集群的作战任务领域不断拓展,任务分配所涵盖的范围不断扩大,任务分配问题的规模和复杂性不断增加,这都对无人机集群任务分配技... 任务分配是无人机集群实现高效遂行作战任务的关键技术。随着无人机集群技术的发展和作战样式的转变,无人机集群的作战任务领域不断拓展,任务分配所涵盖的范围不断扩大,任务分配问题的规模和复杂性不断增加,这都对无人机集群任务分配技术提出了新的挑战。本文对无人机集群作战理论、任务分配建模、任务预重分配算法、异构无人系统联合应用下任务分配的研究现状进行了全面的总结,凝练了目前无人机集群任务分配技术面临的通用化建模、面向多任务的任务预分配算法最优解求解、有限时间下面向突发事件的任务重分配算法寻优、路径规划紧耦合下面向大规模异构无人系统的协同任务分配等问题,并针对性地论述了未来无人机集群任务分配技术的若干发展方向,为提升无人机集群任务分配的求解质量和求解速度提供新的研究思路和解决途径,对于全面了解无人机集群任务分配技术具有重要参考意义。 展开更多
关键词 无人机集群 任务预分配 任务重分配 通用化建模 突发事件
下载PDF
自然语言处理中的探针可解释方法综述 被引量:4
5
作者 鞠天杰 刘功申 +1 位作者 张倬胜 张茹 《计算机学报》 EI CAS CSCD 北大核心 2024年第4期733-758,共26页
随着大规模预训练模型的广泛应用,自然语言处理的多个领域(如文本分类和机器翻译)取得了长足的发展.然而,受限于预训练模型的“黑盒”特性,其内部的决策模式以及编码的知识信息被认为是不透明的.以Open AI发布的Chat GPT和GPT-4为代表... 随着大规模预训练模型的广泛应用,自然语言处理的多个领域(如文本分类和机器翻译)取得了长足的发展.然而,受限于预训练模型的“黑盒”特性,其内部的决策模式以及编码的知识信息被认为是不透明的.以Open AI发布的Chat GPT和GPT-4为代表的先进预训练模型为例,它们在多个领域取得重大性能突破的同时,由于无法获知其内部是否真正编码了人们期望的知识或语言属性,以及是否潜藏一些不期望的歧视或偏见,因此仍然无法将其应用于重视安全性和公平性的领域.近年来,一种新颖的可解释性方法“探针任务”有望提升人们对预训练模型各层编码的语言属性的理解.探针任务通过在模型的某一区域训练辅助语言任务,来检验该区域是否编码了感兴趣的语言属性.例如,现有研究通过冻结模型参数并在不同层训练探针任务,已经证明预训练模型在低层编码了更多词性属性而在高层编码了更多语义属性,但由于预训练数据的毒性,很有可能在参数中编码了大量有害内容.该文首先介绍了探针任务的基本框架,包括任务的定义和基本流程;然后对自然语言处理中现有的探针任务方法进行了系统性的归纳与总结,包括最常用的诊断分类器以及由此衍生出的其他探针方法,为读者提供设计合理探针任务的思路;接着从对比和控制的角度介绍如何解释探针任务的实验结果,以说明探测位置编码感兴趣属性的程度;最后对探针任务的主要应用和未来的关键研究方向进行展望,并讨论了当前探针任务亟待解决的问题与挑战. 展开更多
关键词 探针任务 可解释 自然语言处理 预训练模型 深度学习 人工智能安全
下载PDF
基于多层次预训练策略和多任务学习的端到端蒙汉语音翻译
6
作者 王宁宁 飞龙 张晖 《中文信息学报》 CSCD 北大核心 2024年第10期71-79,共9页
端到端语音翻译将源语言语音直接翻译为目标语言文本,其需要“源语言语音-目标语言文本”作为训练数据,然而这类数据极其稀缺,该文提出了一种多层次预训练策略和多任务学习相结合的训练方法,首先分别对语音识别和机器翻译模型的各个模... 端到端语音翻译将源语言语音直接翻译为目标语言文本,其需要“源语言语音-目标语言文本”作为训练数据,然而这类数据极其稀缺,该文提出了一种多层次预训练策略和多任务学习相结合的训练方法,首先分别对语音识别和机器翻译模型的各个模块进行多层次预训练,接着将语音识别和机器翻译模型连接起来构成语音翻译模型,然后使用迁移学习对预训练好的模型进行多步骤微调,在此过程中又运用多任务学习的方法,将语音识别作为语音翻译的一个辅助任务来组织训练,充分利用了已经存在的各种不同形式的数据来训练端到端模型,首次将端到端技术应用于资源受限条件下的蒙汉语音翻译,构建了首个翻译质量较高、实际可用的端到端蒙汉语音翻译系统。 展开更多
关键词 蒙古语 端到端语音翻译 预训练 多任务学习
下载PDF
基于伪触发词的并行预测篇章级事件抽取方法
7
作者 秦海涛 线岩团 +1 位作者 相艳 黄于欣 《电子技术应用》 2024年第4期67-74,共8页
篇章级事件抽取一般将事件抽取任务分为候选实体识别、事件检测和论元识别3个子任务,然后采用级联的方式依次进行,这样的方式会造成误差传递;另外,现有的大多数模型在解码事件时,对事件数量的预测隐含在解码过程中,且只能按照预定义的... 篇章级事件抽取一般将事件抽取任务分为候选实体识别、事件检测和论元识别3个子任务,然后采用级联的方式依次进行,这样的方式会造成误差传递;另外,现有的大多数模型在解码事件时,对事件数量的预测隐含在解码过程中,且只能按照预定义的事件顺序及预定义的角色顺序预测事件论元,使得先抽取的事件并没有考虑到后面抽取的事件。针对以上问题提出一种多任务联合的并行预测事件抽取框架。首先,使用预训练语言模型作为文档句子的编码器,检测文档中存在的事件类型,并使用结构化自注意力机制获取伪触发词特征,预测每种事件类型的事件数量;然后将伪触发词特征与候选论元特征进行交互,并行预测每个事件对应的事件论元,在大幅缩减模型训练时间的同时获得与基线模型相比更好的性能。最终事件抽取结果F1值为78%,事件类型检测子任务F1值为98.7%,事件数量预测子任务F1值为90.1%,实体识别子任务F1值为90.3%。 展开更多
关键词 篇章级事件抽取 多任务联合 预训练语言模型 结构化自注意力机制 并行预测
下载PDF
问答式林业预训练语言模型ForestBERT
8
作者 谭晶维 张怀清 +2 位作者 刘洋 杨杰 郑东萍 《林业科学》 EI CAS CSCD 北大核心 2024年第9期99-110,共12页
【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策... 【目的】针对林业文本利用率低、通用领域预训练语言模型对林业知识理解不足以及手动标注数据耗时费力等问题,基于大量林业文本,提出一种融合林业领域知识的预训练语言模型,并通过自动标注训练数据,高效实现林业抽取式问答,为林业决策管理提供智能化信息服务。【方法】首先,基于网络爬虫技术构建包含术语、法律法规和文献3个主题的林业语料库,使用该语料库对通用领域预训练语言模型BERT进行继续预训练,再通过掩码语言模型和下一句预测这2个任务进行自监督学习,使BERT能够有效地学习林业语义信息,得到具有林业文本通用特征的预训练语言模型ForestBERT。然后,对预训练语言模型mT5进行微调,实现样本的自动标注,通过人工校正后,构建包含3个主题共2280个样本的林业抽取式问答数据集。基于该数据集对BERT、RoBERTa、MacBERT、PERT、ELECTRA、LERT 6个通用领域的中文预训练语言模型以及本研究构建的ForestBERT进行训练和验证,以明确ForestBERT的优势。为探究不同主题对模型性能的影响,分别基于林业术语、林业法律法规、林业文献3个主题数据集对所有模型进行微调。将ForestBERT与BERT在林业文献中的问答结果进行可视化比较,以更直观展现ForestBERT的优势。【结果】ForestBERT在林业领域的抽取式问答任务中整体表现优于其他6个对比模型,与基础模型BERT相比,精确匹配(EM)分数和F1分数分别提升1.6%和1.72%,在另外5个模型的平均性能上也均提升0.96%。在各个模型最优划分比例下,ForestBERT在EM上分别优于BERT和其他5个模型2.12%和1.2%,在F1上分别优于1.88%和1.26%。此外,ForestBERT在3个林业主题上也均表现优异,术语、法律法规、文献任务的评估分数分别比其他6个模型平均提升3.06%、1.73%、2.76%。在所有模型中,术语任务表现最佳,F1的平均值达到87.63%,表现较差的法律法规也达到82.32%。在文献抽取式问答任务中,ForestBERT相比BERT可提供更准确、全面的答案。【结论】采用继续预训练的方式增强通用领域预训练语言模型的林业专业知识,可有效提升模型在林业抽取式问答任务中的表现,为林业文本和其他领域的文本处理和应用提供一种新思路。 展开更多
关键词 林业文本 BERT 预训练语言模型 特定领域预训练 抽取式问答任务 自然语言处理
下载PDF
基于多任务学习的电力文本信息抽取
9
作者 纪鑫 武同心 +4 位作者 余婷 董林啸 陈屹婷 米娜 赵加奎 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第8期2461-2469,共9页
为提升电力系统故障文本在实际业务场景中的分析处理速度,提出基于预训练与多任务学习的电力故障文本信息自动抽取模型。利用预训练模型学习电力文本词语的上下文信息,挖掘词语的一阶和二阶融合特征,增强特征的表示能力,利用多任务学习... 为提升电力系统故障文本在实际业务场景中的分析处理速度,提出基于预训练与多任务学习的电力故障文本信息自动抽取模型。利用预训练模型学习电力文本词语的上下文信息,挖掘词语的一阶和二阶融合特征,增强特征的表示能力,利用多任务学习框架结合命名实体识别和关系抽取2个任务的学习,实现实体识别和关系抽取的互相补充和互相促进,进而提高电力故障文本信息抽取的性能。通过对某电力网数据中心的日常业务数据进行模型验证,与其他模型相比,所提模型提高了电力故障文本实体识别和关系抽取的准确率和召回率。 展开更多
关键词 电力故障 预训练 多任务学习 实体识别 关系抽取
下载PDF
基于任务驱动、理实一体的急救护理教学设计与探索
10
作者 张玉梅 高仁甫 +2 位作者 冯宗媚 刘芹 邹丽萍 《卫生职业教育》 2024年第12期80-83,共4页
急救护理在护理专业人才培养及课程体系中占有非常重要的位置。开展任务驱动、理实一体的护理教学改革,以期提高课程教学质量,提高人才培养质量。以“院前救护”教学模块为例,从教学设计与策略、教学实施过程、教学效果与评价、教学特... 急救护理在护理专业人才培养及课程体系中占有非常重要的位置。开展任务驱动、理实一体的护理教学改革,以期提高课程教学质量,提高人才培养质量。以“院前救护”教学模块为例,从教学设计与策略、教学实施过程、教学效果与评价、教学特色与创新、教学反思与改进5个方面进行探讨,以期为护理专业任务驱动、理实一体的护理教学改革提供参考。 展开更多
关键词 急救护理 院前救护 驱务驱动 理实一体
下载PDF
大数据时代高校体育翻转课堂课前自学效果及提升策略研究
11
作者 辛金花 《当代体育科技》 2024年第28期96-99,共4页
高校体育教学基于新要求,选择将翻转课堂应用到体育教学中,将信息技术作为教学活动高效开展的手段。大数据时代下,高校根据育人新要求,重新定义体育教学,给出教学目标,将翻转课堂作为实现教学目标的手段。翻转课堂利用现代媒介打造线上... 高校体育教学基于新要求,选择将翻转课堂应用到体育教学中,将信息技术作为教学活动高效开展的手段。大数据时代下,高校根据育人新要求,重新定义体育教学,给出教学目标,将翻转课堂作为实现教学目标的手段。翻转课堂利用现代媒介打造线上与线下结合的教学形式,实现对学生的合理引导,助推学生高效学习课程内容。课前是翻转课堂模式相对重要的部分,体育教师在进行课程规划时,应该基于大数据背景进行思考,作出课前安排,为教学目标的达成奠定基础。该文介绍翻转课堂的实质与优势,分析大数据时代下翻转课堂在高校体育中应用的可行性,提出翻转课堂课前自学效果提升的策略。 展开更多
关键词 大数据时代 高校体育 翻转课堂 课前自学 学习任务单
下载PDF
基于知识辅助的结构化医疗报告生成
12
作者 史继筠 张驰 +2 位作者 王禹桥 罗兆经 张美慧 《计算机科学》 CSCD 北大核心 2024年第6期317-324,共8页
医疗报告自动生成是文本摘要生成技术的重要应用。由于医疗问诊数据与通用领域的数据特征存在着明显的差异,传统的文本摘要生成方法不能充分理解并利用医疗文本中高复杂性的医疗术语,因此医疗问诊中包含的关键知识并没有得到充分的利用... 医疗报告自动生成是文本摘要生成技术的重要应用。由于医疗问诊数据与通用领域的数据特征存在着明显的差异,传统的文本摘要生成方法不能充分理解并利用医疗文本中高复杂性的医疗术语,因此医疗问诊中包含的关键知识并没有得到充分的利用。此外,传统的文本摘要生成方法大多是直接生成摘要,并没有针对医疗报告结构化的特点自动选择过滤关键信息并生成结构化文本的能力。针对上述问题,提出了一种知识辅助的结构化医疗报告生成方法。该方法将实体引导的先验领域知识与结构引导的任务解耦机制相结合,实现了对医疗问诊数据的关键知识与医疗报告的结构化特点的充分利用。在IMCS21数据集上的实验验证了所提方法的有效性,其生成摘要的ROUGE分数与同类方法相比提升了2%~3%,生成了更准确的医疗报告。 展开更多
关键词 医疗报告生成 预训练模型 生成式摘要 领域知识先验 任务解耦机制
下载PDF
一种局部信息增强与对话结构感知的多轮对话模型
13
作者 廖彬 陈泽林 陈羽中 《小型微型计算机系统》 CSCD 北大核心 2023年第11期2408-2415,共8页
多轮对话是人工智能领域的一个重要分支.如何从多轮对话上下文中正确提取与问题相关的核心内容是多轮对话任务的关键问题.现有模型存在辅助任务低效,对全局与局部信息的筛选不够充分,对较短的多轮对话数据学习能力不足等问题.针对上述问... 多轮对话是人工智能领域的一个重要分支.如何从多轮对话上下文中正确提取与问题相关的核心内容是多轮对话任务的关键问题.现有模型存在辅助任务低效,对全局与局部信息的筛选不够充分,对较短的多轮对话数据学习能力不足等问题.针对上述问题,本文提出了一种局部信息增强且能够感知对话结构的多轮对话模型(Structure-aware Dialogue Model with Fine-grained Local Information,SAFL).针对子任务训练代价大的问题,提出了随机滑动窗口回复预测任务,在多轮对话上下文中的不同位置与大小的窗口内进行回复预测,充分学习细粒度的局部对话语义.针对信息筛选不够充分的问题,提出了重点局部信息蒸馏机制,借助多门控融合方法从全局和局部信息之中蒸馏出重点信息,提升模型融合效果.针对模型对较短的多轮对话上下文学习能力不足的问题,提出阶段信息学习机制,在微调前加强预训练语言模型对短多轮对话数据的领域学习,降低微调阶段中对短多轮对话的学习难度.此外,SAFL设计了对话结构感知任务在对话结构方面进一步加强模型对对话上下文的理解能力.Ubuntu和E-commerce数据集上的实验结果表明,SAFL模型的总体性能优于对比模型. 展开更多
关键词 多轮对话 多任务学习 预训练语言模型 门控机制 局部信息
下载PDF
基于预训练模型的无监督剧本摘要 被引量:1
14
作者 苏琦 王红玲 王中卿 《计算机科学》 CSCD 北大核心 2023年第2期310-316,共7页
剧本是一种特殊的文本结构,以人物的对话和对场景的描述信息组成文本。无监督剧本摘要是指对篇幅很长的剧本进行压缩、提取,形成能够概括剧本信息的短文本。提出了一种基于预训练模型的无监督剧本摘要方法,首先在预训练过程中通过增加... 剧本是一种特殊的文本结构,以人物的对话和对场景的描述信息组成文本。无监督剧本摘要是指对篇幅很长的剧本进行压缩、提取,形成能够概括剧本信息的短文本。提出了一种基于预训练模型的无监督剧本摘要方法,首先在预训练过程中通过增加对文本序列处理的预训练任务,使得预训练生成的模型能够充分考虑剧本中对话的场景描述及人物说话的情感特点,然后使用该预训练模型作为训练器计算剧本中的句间相似度,结合TextRank算法对关键句进行打分、排序,最终抽取得分最高的句子作为摘要。实验结果表明,该方法相比基准模型方法取得了更好的效果,系统性能在ROUGE评价上有显著的提高。 展开更多
关键词 训练模型 预训练任务 剧本摘要 无监督 句间相似度 对话
下载PDF
机器阅读理解式中文事件抽取方法 被引量:2
15
作者 吴旭 卞文强 +1 位作者 颉夏青 孙利娟 《计算机工程与应用》 CSCD 北大核心 2023年第16期93-100,共8页
事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先... 事件抽取是信息抽取的重要任务之一,在知识图谱构建、金融行业分析、内容安全分析等领域均有重要应用。现有中文事件抽取方法一般为实体识别、关系抽取、实体分类等任务的级联。将事件抽取转化为阅读理解任务,可为模型引入问题所含的先验信息。提出一种基于预训练模型的机器阅读理解式中文事件抽取方法(Chinese event extraction by machine reading comprehension,CEEMRC),将中文事件抽取简化为两个问答模型的级联。首先对事件触发词抽取、事件类型判定、属性抽取构建相应的问答任务问题。以RoBERTa为基础构建触发词抽取和事件类型识别联合模型、事件属性抽取两个问答模型,并融入触发词先验特征、分词信息、触发词相对位置等信息来提升模型效果。最后以模型预测回答的起始和结束位置完成所需的抽取。实验使用DuEE中文事件数据集,触发词抽取和属性抽取的F1值均优于同类方法,验证了该方法的有效性。 展开更多
关键词 机器阅读理解 问答任务 预训练模型 中文事件抽取
下载PDF
一种融合知识点信息的几何题自动求解方法
16
作者 曹杰 肖菁 曹阳 《中文信息学报》 CSCD 北大核心 2023年第10期86-96,共11页
近年来,数学题的自动求解研究逐渐成为焦点,但是当前研究主要侧重于文字应用题求解,对于几何题的自动求解研究还比较少。针对该问题,已经有研究学者提出了基于深度学习方法的几何题求解模型,但是他们的方法不能根据几何题的特点进行设计... 近年来,数学题的自动求解研究逐渐成为焦点,但是当前研究主要侧重于文字应用题求解,对于几何题的自动求解研究还比较少。针对该问题,已经有研究学者提出了基于深度学习方法的几何题求解模型,但是他们的方法不能根据几何题的特点进行设计,没有将知识点信息应用于题目的求解中。受到人类求解几何题的思维方式的启发,该文基于几何题的求解特点设计了一个几何题知识点预测任务,用于预训练文本编码器,然后从预训练后的文本编码器中获得知识点的语义向量表示。随后设计了一种融合知识点语义信息的几何题求解方法①。实验结果表明,基于知识点预训练任务和知识点信息融合方法的模型能将几何题的自动求解准确率提升至66.89%。 展开更多
关键词 数学几何题 预训练任务 自动求解
下载PDF
基于预训练汇编指令表征的二进制代码相似性检测方法 被引量:3
17
作者 王泰彦 潘祖烈 +1 位作者 于璐 宋景彬 《计算机科学》 CSCD 北大核心 2023年第4期288-297,共10页
二进制代码相似性检测技术近年来被广泛用于漏洞函数搜索、恶意代码检测与高级程序分析等领域,而由于程序代码与自然语言有一定程度的相似性,研究人员开始借助预训练等自然语言处理的相关技术来提高检测准确度。针对现有方法中未考虑程... 二进制代码相似性检测技术近年来被广泛用于漏洞函数搜索、恶意代码检测与高级程序分析等领域,而由于程序代码与自然语言有一定程度的相似性,研究人员开始借助预训练等自然语言处理的相关技术来提高检测准确度。针对现有方法中未考虑程序指令概率特征导致的准确率提升瓶颈,提出了一种基于预训练汇编指令表征技术的二进制代码相似性检测方法。设计了面向多架构汇编指令的分词方法,并在控制流与数据流关系基础上,考虑指令间顺序出现的概率与各个指令单元使用的频率等特征设计预训练任务,以实现对指令更好的向量化表征;结合预训练汇编指令表征方法,对二进制代码相似性检测下游任务进行改进,使用表征向量替换统计特征作为指令与基本块的表征,以提高检测准确率。实验结果表明,与现有方法相比,所提方法在指令表征能力方面最高提升23.7%,在基本块搜索准确度上最高提升33.97%,在二进制代码相似性检测的检出数量上最高增加4倍。 展开更多
关键词 二进制代码 相似性检测 指令表征 分词方法 预训练任务
下载PDF
基于预训练语言模型与多任务学习的事件检测方法
18
作者 韩如雪 杨苗 +5 位作者 宫小泽 胡镑 王永利 熊伟 赵显伟 徐琳 《南京理工大学学报》 CAS CSCD 北大核心 2023年第6期748-755,共8页
为了解决现有事件检测方法存在语料稀疏和触发词一词多义导致的触发词抽取不准确以及类型判断错误等问题,该文将双向Transformer编码表示(BERT)的预训练模型与条件随机场(CRF)结合,并联合多任务学习,提出了一种基于BERT-CRF模型与多任... 为了解决现有事件检测方法存在语料稀疏和触发词一词多义导致的触发词抽取不准确以及类型判断错误等问题,该文将双向Transformer编码表示(BERT)的预训练模型与条件随机场(CRF)结合,并联合多任务学习,提出了一种基于BERT-CRF模型与多任务学习的事件检测方法(MBCED)。该方法同时进行事件检测任务和词义消歧任务,将词义消歧任务中学习到的知识转移到事件检测任务中,既补充了语料,也缓解了一词多义所导致的触发词分类不准确问题。在ACE2005数据集上的传统事件检测模型对比实验结果表明,与动态多池卷积神经网络(DMCNN)、基于循环神经网络的联合模型(JRNN)、基于双向长短期记忆和条件随机场(BiLSTM-CRF)的联合模型、BERT-CRF方法相比,MBCED方法触发词识别的F值提升了1.2%。多任务学习模型对比实验结果表明,与基于多任务深度学习的实体与事件联合抽取(MDL-J3E)模型、基于共享BERT的多任务学习(MSBERT)模型、基于CRF多任务学习的事件抽取模型(MTL-CRF)相比,MBCED在触发词识别和触发词分类2个子任务上的准确率都较好。 展开更多
关键词 词义消歧 预训练模型 多任务学习 事件检测 语料稀疏 触发词识别 条件随机场 触发词分类
下载PDF
融入历史信息的多轮对话意图识别 被引量:2
19
作者 孟佳娜 单明 +3 位作者 孙世昶 姜笑君 刘玉宁 马腾飞 《大连民族大学学报》 CAS 2023年第3期244-249,共6页
为解决人机对话系统研究中多轮对话历史信息的意图识别问题,提出了基于多任务学习的意图识别方法,对意图识别和语义槽填充两个任务进行联合建模,使用BERT和RoBERTa预训练模型作为语义编码器对这两个任务进行多任务联合学习,同时添加历... 为解决人机对话系统研究中多轮对话历史信息的意图识别问题,提出了基于多任务学习的意图识别方法,对意图识别和语义槽填充两个任务进行联合建模,使用BERT和RoBERTa预训练模型作为语义编码器对这两个任务进行多任务联合学习,同时添加历史信息编码器,使用长短期记忆网络对历史信息进行语义建模。实验结果表明:意图识别的准确率明显优于其他现有模型,语义槽填充的F1值也得到了提升。 展开更多
关键词 任务型多轮对话 多任务学习 意图识别 语义槽填充 预训练
下载PDF
基于槽位相关信息提取的对话状态追踪模型
20
作者 石利锋 倪郑威 《计算机应用》 CSCD 北大核心 2023年第5期1430-1437,共8页
对话状态追踪(DST)是任务型对话系统中一个重要的模块,但现有的基于开放词表的DST模型没有充分利用槽位的相关信息以及数据集本身的结构信息。针对上述问题,提出基于槽位相关信息提取的DST模型SCELDST(SCE and LOW for Dialogue State T... 对话状态追踪(DST)是任务型对话系统中一个重要的模块,但现有的基于开放词表的DST模型没有充分利用槽位的相关信息以及数据集本身的结构信息。针对上述问题,提出基于槽位相关信息提取的DST模型SCELDST(SCE and LOW for Dialogue State Tracking)。首先,构建槽位相关信息提取器(SCE),利用注意力机制学习槽位之间的相关信息;然后,在训练过程中应用学习最优样本权重(LOW)策略,在未大幅增加训练时间的前提下,加强模型对数据集信息的利用;最后,优化模型细节,搭建完整的SCEL-DST模型。实验结果表明,SCE和LOW对SCEL-DST模型性能的提升至关重要,该模型在两个实验数据集上均取得了更高的联合目标准确率,其中在MultiWOZ 2.3(Wizard-of-OZ 2.3)数据集上与相同条件下的TripPy(Triple coPy)相比提升了1.6个百分点,在WOZ 2.0(Wizard-of-OZ 2.0)数据集上与AG-DST(Amendable Generation for Dialogue State Tracking)相比提升了2.0个百分点。 展开更多
关键词 对话状态追踪 注意力机制 任务型对话 课程学习 预训练模型
下载PDF
上一页 1 2 6 下一页 到第
使用帮助 返回顶部