基于GCN和门机制的汉语框架排歧方法

汉语框架排歧旨在在候选框架中给句子中的目标词选择一个符合其语义场景的框架。目前研究方法存在隐层向量的计算与目标词无关、忽略了句法结构信息对框架排歧的影响等缺陷。针对上述问题,该文使用GCN对句法结构信息进行建模;引入门机制过滤隐层向量中与目标词无关的噪声信息;并在此基础上,提出一种约束机制来约束模型的学习,改进向量表示。该模型在CFN、FN1.5和FN1.7数据集上优于当前最好模型,证明了该方法的有效性。

融合高速路门机制的跨语言实体对齐研究

知识图谱实体对齐的目的是找到两个或两个以上知识图谱中指向现实世界中同一对象的过程。目前的传统实体对齐方法和基于表示学习的实体对齐方法主要关注实体本身或者关系信息,然而,知识图谱中的属性信息在构建知识图谱的过程中也至关重要,能够提高实体对齐的准确率。为此,文中提出一种融合高速路门机制的联合实体关系和属性信息的实体对齐模型,利用带有高速路门机制(Highway Gates)图卷积的表示方法学习关系三元组和属性信息的嵌入表示。在大型跨语言数据集上进行实验,结果表明:相比于MTransE、IPTransE、JAPE、GCN-Align和AlignEA等方法,所提方法在Hits@1上分别高出1.29%、4.7%、1.88%、1.35%、0.66%;在Hits@10上分别高出2.49%、3.81%、2.28%、1.39%、2.23%。

基于层次注意力机制和门机制的属性级别情感分析

近年来,作为细粒度的属性级别情感分析在商业界和学术界受到越来越多的关注,其目的在于识别一个句子中多个属性词所对应的情感极性。目前,在解决属性级别情感分析问题的绝大多数工作都集中在注意力机制的设计上,以此突出上下文和属性词中不同词对于属性级别情感分析的贡献,同时使上下文和属性词之间相互关联。该文提出使用层次注意力机制和门机制处理属性级别情感分析任务,在得到属性词的隐藏状态之后,通过注意力机制得到属性词新的表示,然后利用属性词新的表示和注意力机制进一步得到上下文新的表示,层次注意力机制的设计使得上下文和属性词的表达更加准确;同时通过门机制选择对属性词而言上下文中有用的信息,以此丰富上下文的表达,在SemEval 2014 Task 4和Twitter数据集上的实验结果表明了该文提出模型的有效性。

混浊介质显微成像中吸收作用的门机制

采用蒙特卡罗方法研究了混浊介质的吸收特性对共焦荧光显微成像的影响。结果表明 ,混浊介质对光的吸收作用增强了成像的分辨率 ,同时降低成像强度。因此 。

基于关系门控图卷积网络的方面级情感分析

在方面级情感分析任务中,现有方法难以有效利用句法关系类型且性能依赖依存解析的准确性,为此提出注意力增强的关系门控图卷积神经网络(ARGCN)模型.该模型将双向长短时记忆(BiLSTM)网络学习得到的句子顺序特征与依存概率矩阵相结合构建单词图;利用关系门控图卷积神经网络(RG-GCN)和注意力增强网络(AAN)分别从单词图和句子的顺序特征中获取方面词的情感特征;拼接RG-GCN和AAN的输出作为方面词最终的情感特征.在数据集SemEval 2014、Twitter上进行对比实验和消融实验,结果表明ARGCN模型可以有效地利用关系类型,减小依存解析准确性对模型性能的影响,更好地建立方面词和意见词的联系,模型准确率优于所有基线模型.

廉政专门机制建设初探

防止权力被滥用,预防和消灭腐败现象,以巩固政权的统治地位,要求建立一个由专门执行机构和专门法律两大要素组成的廉政机制。我国可考虑在现有基础上,组建一个由既独立、又有权威的廉政执行机构和一系列既配套、又完备的廉政法律组成的廉政专门机制。本文就此问题和若干与之相关的外部因素进行了初步探讨。

一种基于深度变分门神经网络的疾病小核糖核酸关联预测模型

小核糖核酸(miRNA)在基因表达和转录等过程中具有重要作用,与疾病的产生有着密切关联。对于疾病miRNA关联识别,生物鉴定方法代价高、耗时长和效率低。为快速自适应提取疾病和miRNA构成的异质网络信息,该文基于通道型注意力设计变分门图自编码器和门多层感知器,构建一种深度变分门神经网络模型(VGAEN)并用于疾病miRNA关联预测任务。该模型整合miRNA及疾病的多种相似度信息得到miRNA和疾病的整合相似性特征,然后基于多数据融合的整合相似性网络和疾病miRNA邻接信息,利用变分门图自编码器提取miRNA和疾病网络的拓扑信息和语义信息;其次基于疾病miRNA关联矩阵,利用非负矩阵分解提取miRNA和疾病的低维线性去噪特征;最后,利用门多层感知器融合miRNA和疾病特征,预测其关联关系。实验结果表明VGAE-N模型能更有效地预测疾病miRNA关联,可为生物实验提供可靠的技术支撑。

基于循环门单元和注意力机制的学生学习积极性预测模型

为了挖掘校园无线网络数据中蕴含的学生行为,更好地辅助教学管理,本文提出了基于循环门单元和注意力机制(gated recurrent unit-attention,GRU-Attention)的学生学习积极性预测模型。首先对采集到的学生行为轨迹数据进行预处理和聚类分析,根据学生在校园各个场所的平均逗留时间对学习积极性做出预判断。然后根据无线流量的连接频率及用途对学生行为特征数据进行二次判断,并引入学生学习成绩作为参考标准。最后将数据集输入到GRU信息提取层,并在Attention层进行加权处理,计算得出概率分布。实验结果表明,GRU-Attention模型准确度优于其他常见预测模型,可以更好地帮助辅导员去管理和引导学生树立良好的学习态度。

变分资格迹元强化循环网络用于空间滚动轴承剩余寿命预测

针对经典时间循环神经网络(SRNNs)在预测时间序列中存在长时依赖的缺陷,同时由于遍历整个训练数据集进行现有监督式学习增加了时间复杂度,造成SRNNs在预测空间滚动轴承剩余寿命中存在预测精度和计算效率较低的问题,提出一种变分资格迹元强化循环网络(VETMRRN)。在VETMRRN中,构建新型时间循环网络结构以增大历史信息记忆量,并设计基于神谕门机制的元学习超参数自初始化网络来加速搜索VETMRRN的最优回顾序列长度;设计含有资格迹算子的变分自编码元策略梯度学习算法,以提高对VETMRRN参数的训练速度和全局优化效果。在此基础上提出基于VETMRRN的空间滚动轴承剩余寿命预测方法。首先采用Shapely值特征融合提取空间滚动轴承的性能退化特征;然后将性能退化特征输入VETMRRN中预测性能退化特征趋势;最后建立威布尔分布可靠度模型来预测空间滚动轴承的剩余寿命。该方法具有较高的预测精度、较好的泛化性能和较高的计算效率。最后通过空间滚动轴承剩余寿命预测实例证明了该方法的有效性。

一种基于门的进程通讯方式的设计与实现

介绍了一种基于门的进程通讯方式的工作原理,并通过一个试验程序模拟了利用门机制实现进程通讯的过程。门提供了一种调用同一台主机上的另一个进程的能力,同时具有其他IPC所不具备的一个精妙特性,即服务器具有确定客户凭证的能力,服务器可以使用这些信息来确定自己是否想给相应客户的请求提供服务。

对一种双陷门加密体制的分析与改进

对一种具有双陷门解密机制的公钥概率加密体制的安全性进行分析,指出它存在三点不安全因素,不能抵抗选择密文攻击,攻击者通过选取适当的密文,在得到解密的明文后,能够计算出用户的私钥或分解模数,运用这些信息,攻击者可恢复所有的明文。同时,也对该加密体制作了改进,给出了一种能够抵抗适应性攻击的加密方案,防止攻击者利用获得的解密信息计算用户的私钥或分解模数,提高了加密体制的安全性。

基于transformer的门控双塔模型预测H1N1流感抗原性

流感病毒血凝素蛋白的快速演变导致新的病毒株不断产生,新的病毒株可能引起季节性流感甚至全球流感大爆发。及时检测出抗原变异体对疫苗的筛选和设计至关重要。鲁棒的抗原性预测模型是应对疫苗挑战的有效方法。各种端到端的特征学习工具为蛋白组学提供了良好的特征表示方法,但是现有的甲型流感预测模型还不能有效地提取并利用血凝素蛋白氨基酸序列中的特征。基于transformer设计一个门控双塔模型,通过输入甲型流感病毒血凝素蛋白的氨基酸序列,利用两个并行的编码器分别从血凝素蛋白氨基酸序列的时间维和空间维上捕捉抗原特征,并学习特征与预测结果间的非线性关系。为了减少数据中的噪声,融合时间维与空间维上的特征时,通过门机制自适应地获取衡量它们相对重要性的权重进行选择性融合,最后使用融合特征预测H1N1流感抗原变异株。在H1N1数据集上的实验结果表明,该模型利用优秀的非线性特征学习能力提高了抗原变异的预测性能,同时具有良好的鲁棒性。

面向法律判决文书的长文档抽取式文摘方法——BIGDCNN

针对法律判决文书信息点较多、结构化程度较高,传统的抽取式文摘方法容易产生冗余句子且无法覆盖全部关键信息的问题,提出BIGDCNN(BERT based Improved Gate Dilated Convolutional Neural Network)模型。首先将原始数据进行语料转换获取序列标注数据,再通过预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)得到从词粒度到句子粒度的长文本表示;最后使用融合了改进门机制的膨胀卷积神经网络(DCNN)以及单模型融合方法,实现低冗余度提取原文关键信息的同时增强抗干扰性,并减小了梯度消失的风险。在法律判决文书自动文摘实验中,本模型的ROUGE-1、ROUGE-2、ROUGE-L评分为62.85%、46.56%、59.25%,较主流模型BERT+Transformer分别提升了15.10、15.75、12.97个百分点。BIGDCNN模型解决了传统抽取式文摘方法的问题,可以高效地运用在法律判决文书的自动文摘场景中。

基于图卷积和注意力的方面级情感分类

为解决图注意力网络对边信息的忽视和固定卷积层数的方法不能自适应获取情感词信息的问题,提出一种基于图卷积和注意力的方面级情感分类模型。加入句法依存边信息提高对不同句法连接词的区分度;一个迭代注意力机制被设计用于建立方面词和句中所有词的关联关系,自适应选择全局词信息。模型在Twitter、Rest14和Rest16数据集上获得更好的性能。实验结果验证了该方法的有效性。

融合多标签损失与双注意力的U型视网膜血管分割

眼底视网膜血管的检测与分析对许多眼科疾病的诊断具有重要意义.为了更精确、健全地提取视网膜血管的特征信息,提出一种融合多标签损失与双注意力的U型网络模型.首先在编码部分通过空间金字塔池化提供多尺度输入,在U型网络内部融入双注意残差块提升网络对特征信息的提取能力;其次,在网络底部嵌入特征相似模块以捕获特征之间的远程依赖关系,为了有效地抑制眼底图像中的噪声影响和捕获血管多尺度信息,在跳连部分分别引入双路径注意门机制与稠密的空洞空间金字塔池化模块;最后,在解码部分设置侧输出层生成与层级对应的局部预测图像,并配合多标签Dice损失函数进行训练.在DRIVE,STARE和CHASE_DB1数据集上进行实验,灵敏度分别为80.54%,83.97%和82.40%,受试者曲线下的面积(AUC)分别为98.07%,98.50%和98.36%.

基于U型注意力门自编码器的色织物缺陷检测方法

针对现有的基于自编码器和生成对抗网络的无监督深度学习算法在色织物缺陷检测任务中,存在普适性差、漏检率和误检率偏高等问题,提出一种U型注意力门自编码器(U-shaped attention gate auto-encoder, UAGAE)的色织物缺陷检测算法。首先,采用轻量化网络EfficientNet-B6作为特征提取模块来获取输入图像更具代表性的特征,通过引入注意力门(attention gate, AG)机制来抑制无关区域的特征响应,以解码器的特征作为参考剔除跳跃连接中的冗余信息来辅助图像重构;然后,在训练阶段使用组合的损失函数保证重构图像的结构和细节;最后,在检测阶段通过自适应阈值分割和数学形态学处理获得最终检测结果。所提算法在公共数据集YDFID-1上实现了53.45%的准确率(precision,P)、61.58%的召回率(recall,R)、53.63%的分数(F1-measure,F1)和40.83%的平均交并比(intersection over union,IoU),在14个花型上实现了最佳的F1和IoU。对比实验结果表明,UAGAE算法相较于其他几种缺陷检测算法能够更好地完成色织物的缺陷检测与定位。

多策略融合的肺结节检测模型与算法

肺结节早期检测可以提高病人的生存率,自动检测算法可以有效辅助医生进行诊断.为了提高肺结节检测精确度、降低漏诊率,提出了基于循环残差注意力门机制的U-Net(Recurrent Residual Attention Gate U-Net,R2AGU-Net)肺结节检测模型.首先在原始的U-Net基础上改进,添加循环残差卷积模块并融合注意力门机制,在增强特征提取性能的同时将注意力放在目标结节区域,通过抑制无关的特征响应获得较高的检测精度;其次改进损失函数解决肺结节图像数据不均衡问题,获得较高的检测敏感度;最后通过三维卷积神经网络(3D CNN)分类候选结节,降低检测的假阳性.在两个数据集上进行实验验证,结果表明本文提出的算法提升了检测速度和敏感度,取得了比现有算法更好的性能,具有较好的泛化能力。

基于深度学习的机械智能制造知识问答系统设计

为了构建智能制造知识问答系统,促进智能制造知识传递,加快智能制造产业布局,利用深度学习算法对传统问答系统构建流程过于复杂、所需手工与先验知识要求过高、问题与答案无法有效映射等问题进行改进。采用长短记忆神经网络算法来避免一般深度学习算法在进行梯度优化时的梯度消失与梯度爆炸问题,算法中的门机制能够消除链式法则对梯度过度优化的影响,直接对句子的语义做出解析,并利用相似度计算判别回答的正确与否。通过在评测集上的验证实验表明,该语义解析方法能够显著提升问答系统的准确率。

神经机器翻译的系统融合方法

为了提高机器翻译模型的泛化能力,基于神经机器翻译系统,将系统融合技术应用于模型训练过程.在神经机器翻译系统的基本结构——编码器-解码器结构的基础上,提出5种融合方法(平均融合、权重融合、拼接融合、门机制融合和注意力机制融合)分别应用于多个编码器-一个解码器的融合、多个编码器-多个解码器的融合和一个编码器-多个解码器的融合.在中英翻译任务上进行实验,相对于基准系统,系统融合方法改进的机器翻译模型的机器双语互译评估(BLEU)值最终提升了0.59~3.01个百分点.实验结果表明,系统融合能有效地提升译文质量.

基于Siamese网络的句子相似度计算方法

句子相似度度量是自然语言处理领域的一个重要组成部分。针对传统基于统计学习的方法只能进行表面文本相似度计算,存在着无法提取出文本深层语义信息的问题,提出了一种基于Siamese网络的句子相似度计算方法,利用CNN与BiLSTM相结合的方法来挖掘句子中的深层语义信息,得到句子不同词粒度的向量表示;利用门控机制(transform gate)的思想,对BiLSTM和CNN提取的句子深层语义特征赋予不同的权重,突出对句子贡献度较大的特征,将特征组合成句子的向量表示;最后通过计算出的曼哈顿距离来度量两个句子的相似度。实验结果表明,基于CCKS2018评测项目微众银行客户问句匹配大赛数据集,该算法相比较于其他多种方法准确率和F1值都有不同程度的提高。