基于双向编码表示转换的双模态软件分类模型

针对已有方法在软件分类方面只考虑单一分类因素和精确率较低的不足,提出基于双向编码表示转换(BERT)的双模态软件分类方法.该方法遵循最新的国家标准对软件进行分类,通过集成基于代码的BERT(CodeBERT)和基于掩码语言模型的纠错BERT(MacBERT)双向编码的优势,其中CodeBERT用于深入分析源码内容,MacBERT处理文本描述信息如注释和文档,利用这2种双模态信息联合生成词嵌入.结合卷积神经网络(CNN)提取局部特征,通过提出的交叉自注意力机制(CSAM)融合模型结果,实现对复杂软件系统的准确分类.实验结果表明,本文方法在同时考虑文本和源码数据的情况下精确率高达93.3%,与从奥集能和gitee平台收集并处理的数据集上训练的BERT模型和CodeBERT模型相比,平均精确率提高了5.4%.这表明了双向编码和双模态分类方法在软件分类中的高效性和准确性,证明了提出方法的实用性.

《编码表示信息》实验教学设计

实验内容分析本课内容选自《义务教育信息科技课程标准(2022年版)》第二学段(3~4年级)的“数据与编码”模块,本模块针对数据这种信息社会中的新型生产要素,强调数据在信息社会中的重要作用,阐明数据编码让信息得以有效利用的意义,培养学生利用信息科技解决问题的能力。

进化神经网络的编码表示机制研究

神经网络学习包括权值学习和拓朴结构学习,目前大部分妍究集巾于权值学习,结构的选择和确定一般是靠经验和专家知识。设计一个好的神经网络招扑结构是非常困难的。一般地,学习,连同选择一个优化网络招扑结构,是一个NP宇全问题。

机构运动编码表示与神经网络决策的探讨

提出一种机构运动编码方法 ,仅用一串二进制编码就能从功能数据库中获取一组功能实现机构 ,并用BP神经网络进行机构分类决策 ,从而给出较为满意的一类功能实现机构。

基于两级非负线性编码表示的人脸识别

针对大规模人脸识别问题,提出了一种基于两级非负线性编码表示的人脸识别方法.首先利用第一级的线性编码表示,通过在初始的大规模人脸库中寻找对应测试图像的M最近邻,以消除干扰训练样本并降低训练样本集的规模;然后以此M最近邻为训练样本集,通过第二级的线性编码表示实现对测试样本的分类判别.在线性编码表示中,通过进一步引入非负系数约束,更好地改善了分类识别性能.基于AR、ORL和Yale B人脸库的实验结果初步验证了文中所提方法的有效性.

编码表示法表征树形结构及其在设备管理系统中的应用

设备系统中很多模型例如设备分类、功能位置均为树形结构,可用父子ID法表征但是无法简单高效地查询。现提出一种编码表示法表征树形结构,可以简单高效地进行检索查询,并实际应用于设备系统的统计报表。

基于多采样双向编码表示的网络舆情主题识别研究

【目的/意义】舆情主题识别一直是舆情领域的研究热点,如今已有丰富的研究成果。现有研究对舆情信息进行表征时多采用了传统的词袋模型、主题模型或词向量模型,只能对词语进行唯一的向量表征且传统模型需对文本分词,可能会因分词错误、数据稀疏、出现集外词等情况影响识别效果。【方法/过程】本文构建了一种基于多采样双向编码表示的网络舆情主题识别模型,在训练前无需对文本进行分词,针对文本过长的情况采用头尾结合的方式进行截断,从字、段、位置三个维度提取特征嵌入,通过自注意力机制进行舆情表征,在训练过程中使用区分性微调和多采样dropout的方法增强泛化能力,提升识别效果。【结果/结论】实验结果表明构建模型在舆情主题分类任务中表现良好,可以在不对文本分词的情况下实现对舆情主题的准确识别。【创新/局限】创新之处在于构建了一种新型的网络主题识别模型,局限之处在于算法复杂,如何进一步调参优化是接下来的研究重点。

基于API序列和预训练模型的恶意软件检测

针对现有方法存在特征表达受限、无法捕获API序列全局语义信息,且恶意软件数据集通常包含大量无标注数据,无法直接进行有监督学习等问题,利用自然语言预训练模型技术,提出一种基于API调用序列和预训练模型的恶意软件检测方法。使用原始API序列构建分词器;基于BERT模型构建出动态掩码序列模型进行无监督学习的预训练,同时获取API序列的全局动态编码表示;使用该编码构造检测模型。实验结果表明,所提方法能有效检测出恶意软件。

云边协同联邦计算方法在铁路信号系统故障检测中的应用

铁路信号系统是当下社会交通运力的主要承载系统,其对安全性有极高的要求.而由于铁路信号系统容易受到外界多种因素影响,易出现故障,需要设计一种针对铁路信号系统的实时故障检测方案,进而才能采取有效的维护措施.不同于传统的机器学习(ML)故障检测方法,采用双向编码器表示转换器(BERT)深度学习(DL)模型进行实时的智能故障检测.该模型能够在处理故障检测任务时获取双向上下文的理解,从而更准确地捕捉句子中的语义关系,使得其对故障描述的理解更为精准.采用了云边协同的联邦计算方法,使得各铁路运营单位的数据可以在本地进行初步处理,然后将汇总后的梯度上传至云端进行模型训练,最终将训练得到的模型参数发送回各边缘设备,实现模型的更新,突破了模型的训练数据分散的限制,同时允许多个铁路运营单位在保持数据隐私的前提下共同训练BERT模型.研究结果表明,采用联邦边云计算方法进行BERT模型训练,在解决数据保密性问题的同时,有效提升了轨道交通故障检测的准确性与可靠性,优于目前在铁路信号系统领域已有的故障检测方案.

基于BERT的水稻表型知识图谱实体关系抽取研究

针对水稻表型知识图谱中的实体关系抽取问题,根据植物本体论提出了一种对水稻的基因、环境、表型等表型组学实体进行关系分类的方法。首先,获取水稻表型组学数据,并进行标注和分类;随后,提取关系数据集中的词向量、位置向量及句子向量,基于双向转换编码表示模型(BERT)构建水稻表型组学关系抽取模型;最后,将BERT模型与卷积神经网络模型、分段卷积网络模型进行结果比较。结果表明,在3种关系抽取模型中,BERT模型表现更佳,精度达95.11%、F1值为95.85%。

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。

融合语义路径与语言模型的元学习知识推理框架

针对传统推理方法无法兼顾计算能力与可解释性,同时在小样本场景下难以实现知识的快速学习等问题,该文设计一款融合语义路径与双向Transformer编码(BERT)的模型无关元学习(MAML)推理框架,该框架由基训练和元训练两个阶段构成。基训练阶段,将图谱推理实例用语义路径表示,并代入BERT模型微调计算链接概率,离线保存推理经验;元训练阶段,该框架基于多种关系的基训练过程获得梯度元信息,实现初始权值优化,完成小样本下知识的快速学习。实验表明,基训练推理框架在链接预测与事实预测任务中多项指标高于平均水平,同时元学习框架可以实现部分小样本推理问题的快速收敛。

基于BERT-BiGRU模型的文本分类研究

文本分类是自然语言处理的典型应用,目前文本分类最常用的是深度学习的分类方法。针对中文文本数据具有多种特性,例如隐喻表达、语义多义性、语法特异性等,在文本分类中进行研究。提出基于编码器-解码器的双向编码表示法-双向门控制循环单元(bidirectional encoder representations from transformers-bidirectional gate recurrent unit,BERT-BiGRU)模型结构,使用BERT模型代替传统的Word2vec模型表示词向量,根据上下文信息计算字的表示,在融合上下文信息的同时还能根据字的多义性进行调整,增强了字的语义表示。在BERT模型后面增加了BiGRU,将训练后的词向量作为Bi GRU的输入进行训练,该模型可以同时从两个方向对文本信息进行特征提取,使模型具有更好的文本表示信息能力,达到更精确的文本分类效果。使用提出的BERT-BiGRU模型进行文本分类,最终准确率达到0.93,召回率达到0.94,综合评价数值F1达到0.93。通过与其他模型的试验结果对比,发现BERT-BiGRU模型在中文文本分类任务中有良好的性能。

基于哈希学习的异常SQL检测

针对最近邻(NN)方法在异常结构化查询语句(SQL)检测应用中面临的存储开销大、检索速度慢的问题,提出了一种基于哈希学习的异常SQL检测(HMSD)方法。该算法利用哈希学习来学习查询SQL语句的二值编码表示。首先,对查询SQL语句进行清洗去重,从而将查询SQL语句表示为实值特征形式;然后利用等方差哈希方法来学习查询SQL语句的二值编码表示;最后,通过二值编码表示进行检索并提高异常SQL检测的速度。实验结果表明,在异常SQL检测数据集Wafamole上,将数据集进行随机划分,使训练集包含10000条SQL语句,测试集包含30000条SQL语句,在128比特长度下,与最近邻方法相比,所提算法的检测精度提高了1.3%,假正例率(FPR)降低了0.19%,假负例率(FNR)降低了2.41%,检索时间减少了94%,存储开销降低了97.5%;与支持向量机方法相比,所提算法的检测精度提高了0.17%,验证了所提算法能解决最近邻方法在异常SQL检测中存在的问题。

微处理机用于人事检索可提高工作效率

随着微型电子计算机在我国四化建设中的广泛应用,我们煤炭科学研究院地质勘探分院对微处理机在人事工作中的应用作了一些尝试,得到很大的启发和鼓舞。人事工作中的统计是一项细致而复杂的数字计算工作,以往的月报、年报和日常随时所需的各种数据要花费较大的工作量,有的还会出现一些差错。因此,我们首先将微处理机用于统计(人事检索)。

我院现行的疾病分类状况及ICD_9应用

为了适应和满足医学临床、教学、科研发展的需求,疾病分类法正不断地改进和完善,新的分类方法逐步取代旧的分类方法,从而大大地提高了病案的检索效率和使用价值。病案管理的改进成效如何,是直接影响医院分级管理进程的一个要素。为此,笔者根据我院现行的病案管理状况结合国际疾病分类9（简称ICD9）的优点及应用谈谈个人的粗浅认识。 1我院现行的疾病分类方法我院病案管理,从1988年开始进行疾病分类以来,现已给约2600种病种进行分类。其分类方法采用了国际疾病分类9和中国疾病分类(简称（CCD）联合编码,即每张疾病索引卡上同时标上ICD9

读者信箱

我是一名车迷,对汽车可以说是达到了"发烧"的地步。自从结识了贵刊,就爱不释手了。通过《汽车与驾驶维修》这位良师益友,使我了解到汽车的各方面知识,获益匪浅。有个问题困扰了我很长时间。

揭秘身份证号码

看到110我们会想到报警电话,看到119我们会想到火警电话,看到137****6524我们会想到是手机号码,看来数不仅能表示数量的多少,还可以编码表示一定的信息。我们每个人的身份证号码也是一组数,它会有什么奥秘呢?今天的数学课老师带着我们一起动手做实验来揭秘!

全站仪“快捷编码成图法”

目前在大比例地形图的碎部测绘方法上,由于全站仪的普遍使用,主要采用草图法和编码法。笔者长期从事地形测绘一线工作,两种方法都使用过,两者各有优劣。于是便有个想法,要将两种作业方法相结合,优势互补,以提高效率。在不久前刚结束的一个1:500的地形图测绘工程中, 笔者采用一种全新的碎部点测绘方法,结果发现工作效率以及成图质量均都有显著提高!笔者称之为全站仪快捷编码成图法(以下简称快码法)。

“数字编码”教学实录与评析

教学内容：冀教版《义务教育课程标准实验教科书·数学》四年级上册第65~67页。教学目标：1.经历设计编码的过程,体会数字在表达、交流和传递信息中的作用。2.能在具体情境中了解一个编码中某些数字所代表的意义。3.体验数字编码带来的方便和快捷,体会数学与生活的密切联系。教学重点：理解、感受数字编码在交流和传递信息中的作用。教学难点：深刻感受数字在交流和传递信息中的作用。