顺序表示编码的和声退火混合算法求解TSP

和声搜索是一种新的启发式优化算法,针对和声搜索算法容易陷入局部最优的缺陷,将其与模拟退火算法结合,得到了一种混合算法,为了保证和声的产生过程中不出现非法解,算法采用了基于顺序表示的编码方法.实验表明,混合算法针对TSP问题具有较高的求解质量.

基于双向编码表示转换的双模态软件分类模型

针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性.

《编码表示信息》实验教学设计

实验内容分析本课内容选自《义务教育信息科技课程标准(2022年版)》第二学段(3~4年级)的“数据与编码”模块,本模块针对数据这种信息社会中的新型生产要素,强调数据在信息社会中的重要作用,阐明数据编码让信息得以有效利用的意义,培养学生利用信息科技解决问题的能力。

进化神经网络的编码表示机制研究

神经网络学习包括权值学习和拓朴结构学习,目前大部分妍究集巾于权值学习,结构的选择和确定一般是靠经验和专家知识。设计一个好的神经网络招扑结构是非常困难的。一般地,学习,连同选择一个优化网络招扑结构,是一个NP宇全问题。

机构运动编码表示与神经网络决策的探讨

提出一种机构运动编码方法 ,仅用一串二进制编码就能从功能数据库中获取一组功能实现机构 ,并用BP神经网络进行机构分类决策 ,从而给出较为满意的一类功能实现机构。

基于两级非负线性编码表示的人脸识别

针对大规模人脸识别问题,提出了一种基于两级非负线性编码表示的人脸识别方法.首先利用第一级的线性编码表示,通过在初始的大规模人脸库中寻找对应测试图像的M最近邻,以消除干扰训练样本并降低训练样本集的规模;然后以此M最近邻为训练样本集,通过第二级的线性编码表示实现对测试样本的分类判别.在线性编码表示中,通过进一步引入非负系数约束,更好地改善了分类识别性能.基于AR、ORL和Yale B人脸库的实验结果初步验证了文中所提方法的有效性.

编码表示法表征树形结构及其在设备管理系统中的应用

设备系统中很多模型例如设备分类、功能位置均为树形结构,可用父子ID法表征但是无法简单高效地查询。现提出一种编码表示法表征树形结构,可以简单高效地进行检索查询,并实际应用于设备系统的统计报表。

计算机基础中《数的表示与编码》的教学探索

1946年2月世界上第一台计算机的诞生,揭开了人类科学技术发展史的新篇章。本文作者根据冯·诺依曼存储程序的观点,结合多年的计算机教学实践,论述了计算机应用基础课程中《数的表示与编码》的教学探索。

单词嵌入表示学习综述

单词嵌入表示学习是自然语言处理(NLP)中最基本但又很重要的研究内容,是所有后续高级语言处理任务的基础.早期的单词独热表示忽略了单词的语义信息,在应用中常常会遇到数据稀疏的问题,后来随着神经语言模型(NLM)的提出,单词被表示为低维实向量,有效地解决了数据稀疏的问题.单词级的嵌入表示是最初的基于神经网络语言模型的输入表示形式,后来人们又从不同角度出发,提出了诸多变种.本文从模型涉及到的语种数的角度出发,将单词嵌入表示模型分为单语言单词嵌入表示模型和跨语言单词嵌入表示模型两大类.在单语言中,根据模型输入的颗粒度又将模型分为字符级、单词级、短语级及以上的单词嵌入表示模型,不同颗粒度级别的模型的应用场景不同,各有千秋.再将这些模型按照是否考虑上下文信息再次分类,单词嵌入表示还经常与其它场景的模型结合,引入其他模态或关联信息帮助学习单词嵌入表示,提高模型的表现性能,故本文也列举了一些单词嵌入表示模型和其它领域模型的联合应用.通过对上述模型进行研究,将每个模型的特点进行总结和比较,在文章最后给出了未来单词嵌入表示的研究方向和展望.

基于层间融合滤波器与社交神经引文网络的推荐算法

推荐算法是一种用于解决信息过载问题的方法,引文推荐通过引文上下文能够自动匹配候选论文列表。现有基于神经引文网络模型在引文上下文数据预处理的过程中,存在文本噪声和上下文学习不充分的问题。为此,提出一种基于层间融合滤波器和社交神经引文网络的推荐算法FS-Rec。首先,利用具有层间融合滤波器的BERT模型预处理引文上下文,在频域内从所有频率中提取有意义的特征,缓解引文上下文数据的噪声,同时在频域中对多层信息进行融合,增强上下文表示学习的能力;然后,在引文作者嵌入中引入社交关系,与其他引文信息嵌入通过编码器获得表示,将这些表示与经过BERT预训练的引文上下文表示进行融合,得到最终表示;最后,根据最终表示生成引文文本预测。实验结果表明,相较于现有的上下文引文推荐模型,FS-Rec在2个基准数据集arXivCS和PubMed取得了更高的召回率和平均倒数排名(MMR),证明了模型的有效性。

ALBERT预训练模型在医疗文书命名实体识别中的应用研究

中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transformers,ALBERT)预训练模型微调数据集和Tranfomers中的trainer训练器训练模型的方法,实现在医疗手术麻醉文书上识别手术麻醉事件命名实体与获取复杂麻醉医疗质量控制指标值。文章为医疗手术麻醉文书命名实体识别提供了可借鉴的思路,并且为计算复杂麻醉医疗质量控制指标值提供了一种新的解决方案。

知识增强的BERT短文本分类算法

为解决短文本信息不全且缺乏领域知识导致关键信息难以充分挖掘而造成的深度学习模型分类性能不足等问题,提出一种知识增强的双向编码器表示转换器(BERT)短文本分类算法(KE-BERT)。提出一种建模短文本与领域知识的方法,通过知识图谱进行领域知识的引入;提出一种知识适配器,通过知识适配器在BERT的各个编码层之间进行知识增强。通过在公开的短文本数据集上,将KE-BERT与其它深度学习模型相比较,该模型的F1均值和准确率均值达到93.46%和91.26%,结果表明了所提模型性能表现良好。

基于MacBERT与对抗训练的机器阅读理解模型

机器阅读理解旨在让机器像人类一样理解自然语言文本,并据此进行问答任务。近年来,随着深度学习和大规模数据集的发展,机器阅读理解引起了广泛关注,但是在实际应用中输入的问题通常包含各种噪声和干扰,这些噪声和干扰会影响模型的预测结果。为了提高模型的泛化能力和鲁棒性,提出一种基于掩码校正的来自Transformer的双向编码器表示(Mac BERT)与对抗训练(AT)的机器阅读理解模型。首先利用Mac BERT对输入的问题和文本进行词嵌入转化为向量表示;然后根据原始样本反向传播的梯度变化在原始词向量上添加微小扰动生成对抗样本;最后将原始样本和对抗样本输入双向长短期记忆(Bi LSTM)网络进一步提取文本的上下文特征,输出预测答案。实验结果表明,该模型在简体中文数据集CMRC2018上的F1值和精准匹配(EM)值分别较基线模型提高了1.39和3.85个百分点,在繁体中文数据集DRCD上的F1值和EM值分别较基线模型提高了1.22和1.71个百分点,在英文数据集SQu ADv1.1上的F1值和EM值分别较基线模型提高了2.86和1.85个百分点,优于已有的大部分机器阅读理解模型,并且在真实问答结果上与基线模型进行对比,结果验证了该模型具有更强的鲁棒性和泛化能力,在输入的问题存在噪声的情况下性能更好。

基于API序列和预训练模型的恶意软件检测

针对现有方法存在特征表达受限、无法捕获API序列全局语义信息,且恶意软件数据集通常包含大量无标注数据,无法直接进行有监督学习等问题,利用自然语言预训练模型技术,提出一种基于API调用序列和预训练模型的恶意软件检测方法。使用原始API序列构建分词器;基于BERT模型构建出动态掩码序列模型进行无监督学习的预训练,同时获取API序列的全局动态编码表示;使用该编码构造检测模型。实验结果表明,所提方法能有效检测出恶意软件。

基于多模态交叉互动的情感识别算法

由于单模态情感识别的局限性,研究者已将其研究重点转移到多模态情感识别领域。多模态情感识别围绕最优提取每个模态的特征以及有效融合所提取出的特征这两方面问题进行研究。文中提出了一种基于多模态交叉互动的情感识别方法,以捕获模态表达的多样性。各种模态的编辑器分别提取具有情感信息的特征,模态间注意力机制堆叠的交互模块建模视觉-文本-音频之间的潜在关系。在基于文本、语音和图像的CMU-MOSI和CMU-MOSEI情感识别数据集上进行实验,结果显示在Acc2(Accuracy2)、Acc7(Accuracy7)、F1、MAE(Mean Absolute Error)和Corr(Correlation)这5个指标上文中方法分别取得了86.5%、47.7%、86.4%、0.718、0.776和83.4%、51.5%、83.4%、0.566、0.737的成绩,证明该方法性能具有显著提升,同时也验证了模态间交叉映射互相表示机制比各单模态表示方法具有更好的性能。

基于BERT的多模型融合的Web攻击检测方法

传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。

面向行政执法案件文本的事件抽取研究

行政执法的智能化水平是国家治理能力现代化的体现,数据是智能化发展的重要依托。在行政执法领域,各行政机关存储大量以文本形式记录的历史案件,这种非结构化的数据价值密度较低、可利用性不强。利用事件抽取技术从行政执法案件文本中快速高效地抽取案件职权类型、案发时间、案发地点等结构化信息,可推动行政机关对历史案件信息的利用和智能化执法办案研究。收集整理某城市的真实案例数据,并通过人工标注构建一个行政执法领域的数据集,根据行政执法案件文本的无触发词、文档级、格式不固定等文本特征,提出结合基于Transformer的双向编码器表示(BERT)和基于条件随机场的双向长短期记忆网络(BiLSTM-CRF)模型的两阶段事件抽取方法,通过文本多分类和序列标注依次完成事件类型检测和事件论元抽取任务。实验结果表明,事件类型检测任务的F1值达到99.54%,事件论元抽取任务的F1值达到97.36%,实现了对案件信息的有效抽取。

MathML在数学建模与仿真中的应用研究

说明了将数学标记语言(MathML)引入到数学建模与仿真中的目的;介绍了为数学表达式建立MathML表示编码和内容编码的算法,给出了对用MathML内容编码描述的数学表达式的求值方法;以一个简单的连续系统仿真的为例,说明了应用MathML进行数学建模和仿真的方法。

云边协同联邦计算方法在铁路信号系统故障检测中的应用

铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(ML)故障检测方法,采用双向编码器表示转换器(BERT)深度学习(DL)模型进行实时的智能故障检测.该模型能够在处理故障检测任务时获取双向上下文的理解,从而更准确地捕捉句子中的语义关系,使得其对故障描述的理解更为精准.采用了云边协同的联邦计算方法,使得各铁路运营单位的数据可以在本地进行初步处理,然后将汇总后的梯度上传至云端进行模型训练,最终将训练得到的模型参数发送回各边缘设备,实现模型的更新,突破了模型的训练数据分散的限制,同时允许多个铁路运营单位在保持数据隐私的前提下共同训练BERT模型.研究结果表明,采用联邦边云计算方法进行BERT模型训练,在解决数据保密性问题的同时,有效提升了轨道交通故障检测的准确性与可靠性,优于目前在铁路信号系统领域已有的故障检测方案.

基于BERT-BiLSTM-CRF的电力事故信息抽取方法

为了探究电力事故规律,建立人身安全预警模型,在大规模事故样本中自动精准抽取信息并进行多维分析十分必要。传统中文信息实体特征抽取的精确度较低,因此,基于新型中文处理的命名实体识别技术,结合多种特定机器学习和深度学习模型,提出一种专用于电网事故领域的BERT-BiLSTM-CRF模型。通过基于转换器的双向编码表示预训练模型输出高质量词向量,利用语义增强掩码策略增强模型深入理解文本整体结构的能力。运用双向长短期记忆网络模型同时捕捉上下文信息,完成特征提取。根据条件随机场模型输出最优预测序列。试验结果表明,专用模型优势显著,其准确率、召回率和F1值均高于3种现有实体识别模型,包括预训练好的基于生成式预训练转换器技术的通用大模型。试验验证了所提方法在处理中文电力事故信息抽取问题时准确度高,具有显著优势。