公共空间共享参数的跨模态检索研究

针对跨模态检索中不同模态数据的数据结构和特性存在较大差异的问题,提出了基于公共空间方法的共享参数跨模态检索(SPCMR)方法:首先,利用卷积神经网络提取图像和文本的高级语义特征;然后,接入全连接层将其映射到公共空间并共享2个特征子网的部分隐层权重;最后,连接线性分类器并与标签信息进行判别训练。在公开数据集上采用平均精度(mAP)作为评价指标进行实验。结果表明:SPCMR方法能充分利用跨模态间的语义信息,有效提升图文检索的精度。

Revit共享参数驱动的暖通机械设备参数体系

文章以Revit共享参数为媒介,暖通设备为对象,构建了一套标准化参数体系。同时通过C#语言为参数数据库管理、设备族参数管理开发软件工具。应用本体系可实现在正向设计过程中对设备参数统一的标准化表达,为注释族复用、协同设计数据传递、自动化设计程序开发、平台间信息交互等提供了标准化的数据结构基础。相关成果不仅可以适用于暖通机械设备,还可以为其他专业的参数标准化工作提供借鉴。

基于参数共享的篇章级蒙汉神经机器翻译

针对传统蒙汉神经机器翻译缺少对篇章上下文的有效利用问题,构建了基于Transformer模型的篇章级蒙汉神经机器翻译模型,编码端使用相对注意力机制对多个句子检索全局上下文信息,解码端使用基于缓存的方法记录已翻译句子的相关信息,在预测当前句子的过程中,使用缓存的句子信息作为篇章上下文信息,同时利用分组策略共享层与层之间的参数,减少模型的参数量,在有限的内存中尽可能多地提高语料的利用率。实验结果表明,融合参数共享策略的篇章级模型比句子级Transformer模型在BLEU4上高8.7,比不加入参数共享的篇章级机器翻译模型在BLEU4上高2.49。

基于注意力的共享参数胶囊网络

针对传统胶囊网络特征信息的传播冗余性和解构低效性问题,提出一种共享参数的注意力胶囊网络.该网络的优点主要体现于以下两方面:(1)提出注意力机制的动态路由方法,通过计算低级胶囊的相关性,使得在保留特征空间信息的同时更加关注相关性高的特征信息,并完成前向传播;(2)在动态路由层提出共享转换矩阵,基于低级胶囊投票一致性对高级胶囊激活,并通过共享转换矩阵减少模型的参数量,同时实现改进胶囊网络的稳健性.首先,通过5个公开数据集的分类对比实验,表明所提出胶囊网络在Fashion-MNIST、SVHN和CIFAR 10数据集上分别取得了5.17%、3.67%和9.35%的最好分类结果,而且在复杂数据集上具有显著的白盒对抗攻击鲁棒性;然后,通过在基于smallNORB和affNISH公开数据集的仿射变换对比实验,表明所提出的胶囊网络具有显著的仿射变换鲁棒性;最后,通过计算效率分析对比实验结果,表明所提出共享参数胶囊网络在不增加浮点运算的情况下,参数量比传统的胶囊网络减少4.9%,具有突出的计算量优势.

基于软参数共享的事件联合抽取方法

事件抽取是项重要的信息抽取任务,旨在抽取文本中的事件信息。目前基于多任务学习的事件联合抽取方法大多基于硬参数共享,此类方法往往会导致跷跷板现象的出现,即一项任务的性能往往通过损害另一项任务的性能来提高。为了解决这一问题,提出了一种基于软参数共享的事件联合抽取方法,该方法明确地分离了共享参数和任务特定参数,并通过双层门控网络增强模型提取和筛选语义知识的能力,使模型能同时为两个任务学习到合适的特征表示,实现了更高效的信息共享和联合表示学习。在DuEE1.0公共数据集上进行了实验,使用准确率、召回率、F_(1)值作为评价指标,并通过对比实验和消融实验验证了方法的有效性。对比基于硬参数共享的联合抽取模型事件识别任务F_(1)值提高了2.0%,论元角色分类任务F_(1)值提高了0.9%,有效地缓解了跷跷板现象的出现,验证了方法的有效性。

基于参数共享的卷积神经网络压缩

卷积神经网络在图像识别、目标检测等计算机视觉领域成为热门研究方向,并取得了重大进展。随着识别率的不断提高,模型深度不断加深,网络结构愈加复杂,所需的计算量和存储空间也随之大大增加,这使得卷积神经网络在资源有限的移动终端和嵌入式设备上的应用存在很多困难。因此压缩卷积神经网络,减小其占用的存储空间和计算资源成为卷积神经网络一个重要的研究方向,本文提出利用toeplitz矩阵对网络的全连接层权重参数实现共享,针对数字手写体识别网络,全连接层可学习参数压缩174倍时,模型分类准确率相较于原网络仅下降0. 74%。此外,本文提出可基于输入和输出两个角度对网络的卷积层权重参数实现循环共享,当基于输入对卷积层权重参数实现循环共享时,数字手写体识别网络的卷积层可学习参数压缩14倍,模型分类准确率仅下降0. 03%。

基于高阶残差和参数共享反馈卷积神经网络的农作物病害识别

当前,大部分农作物病害图像识别方法主要关注于精度而忽略了鲁棒性.在面向实际环境时,由于噪声干扰和环境因素影响导致识别精度不高.为此提出了一种高阶残差和参数共享反馈的卷积神经网络模型以应用于实际环境农作物病害识别.其中,高阶残差子网络为病害表观提供丰富细致的特征表达,以提高模型识别精度;参数共享反馈子网络用来进一步抑制原深层特征中的背景噪声,以提高模型的鲁棒性.实验结果表明,当面向实际环境农作物病害识别时,本文方法在识别精度和鲁棒性上均优于其他方法.

电子电路板级模块高效设计环境参数库共享技术

提出了器件符号对应法 ,实现电子电路板级模块高效设计环境中各种EDA工具的参数库的转换和共享 ,并给出了PROTEL的原理图在VIEWLOGIC和PSPICE中进行仿真的应用实例。实践证明 。

基于动态自选择参数共享的合作多智能体强化学习算法

在多智能体强化学习的研究中,参数共享作为学习过程中一种信息集中的方式,可以有效地缓解不稳定性导致的学习低效性。但是,在实际应用中智能体使用同样的策略往往会带来不利影响。为了解决此类过度共享的问题,提出了一种新的方法来赋予智能体自动识别可能受益于共享参数的智能体的能力,并且可以在学习过程中动态地选择共享参数的对象。具体来说,智能体需要将历史轨迹编码为可表示其潜在意图的隐信息,并通过与其余智能体隐信息的对比选择共享参数的对象。实验表明,提出的方法在多智能体系统中不仅可以提高参数共享的效率,同时保证了策略学习的质量。

融合音素的缅甸语语音识别文本纠错

缅甸语语音识别文本中包含大量的同音和空格错误,使用通用的文本语义信息纠正错误字符,对缅甸语空格和同音错误定位和纠正不准确。考虑到缅甸语是一种声调语言,并且音素中包含了声调信息,因此提出融合音素的缅甸语语音识别文本纠错方法。通过参数共享策略对转录文本及其音素进行联合建模,利用音素信息辅助检测并纠正缅甸语同音和空格错误。实验结果表明,本文所提方法相比基线方法ConvSeq2Seq,在缅甸语语音识别纠错任务中的F1值提升了85.97%,达到了79.15%。

自动语音识别模型压缩算法综述

随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性能具有重要价值.针对上述问题,全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、模型量化、低秩分解、网络剪枝、参数共享以及组合模型几类方法,并进行了系统综述,为模型在资源受限设备的部署提供可选的解决方案.

基于多任务深度学习的自适应软参数共享方法

在软参数共享模型的基础上,通过任务之间的相似度与参数之间的关系,设置自适应正则项系数λ^(*),自适应参数衰减比例0.文章提出了基于多任务深度学习的自适应软参数共享方法.在基于均值约束的L2范数基础上,通过自适应地去除损失函数中正则项中的项数,去除任务间相似度不高的信息.文章的方法将软参数多任务学习动态地转化为软参数多任务与单任务联合学习,相对于软参数多任务学习方法,该方法减少了负迁移现象带来的影响.相对于单任务学习方法,该方法可以极大地降低局部最小解的风险.模拟研究和案例分析都验证了该方法的有效性,该方法的预测精度优于传统的多任务学习和单任务学习.

改进式MATD3算法及其对抗应用

提升多智能体训练效果一直是强化学习领域中的重点。以多智能体双延迟深度确定性策略梯度(MATD3)算法为基础,引入参数共享机制,进而提升训练效率。同时为缓解真实奖励与辅助奖励不一致的问题,借鉴课程学习思想,提出辅助奖励衰减因子,以保证训练初期的策略探索积极性与训练末期的奖励一致性。将所提出的改进式MATD3算法应用于战车博弈对抗,从而实现战车的智能决策,应用结果表明,智能战车的奖励曲线收敛稳定,且效果良好。同时就改进式算法与原始MATD3算法进行对比仿真,仿真结果验证了改进式算法能够有效提升收敛速度以及奖励收敛值。

供应链企业间财务共享的模型构建及管控研究

文章提出了供应链企业间财务共享的理念,对其可行性进行了分析,并构建相关模型,提出了一种经过改良的利益分配机制,即考虑信息共享激励参数的Shapley模型,以此来满足供应链成员企业的利益诉求,从而确保这种多企业间财务共享模式的稳定运行。

稀疏异质多智能体环境下基于强化学习的课程学习框架

现代战争的战场较大且兵种较多,利用多智能体强化学习(MARL)进行战场推演可以加强作战单位之间的协同决策能力,从而提升战斗力。当前MARL在兵棋推演研究和对抗演练中的应用普遍存在两个简化:各个智能体的同质化以及作战单位分布稠密。实际战争场景中并不总是满足这两个设定,可能包含多种异质的智能体以及作战单位分布稀疏。为了探索强化学习在更多场景中的应用,分别就这两方面进行改进研究。首先,设计并实现了多尺度多智能体抢滩登陆环境M2ALE,M2ALE针对上述两个简化设定做了针对性的复杂化,添加了多种异质智能体和作战单位分布稀疏的场景,这两种复杂化设定加剧了多智能体环境的探索困难问题和非平稳性,使用常用的多智能体算法通常难以训练。其次,提出了一种异质多智能体课程学习框架HMACL,用于应对M2ALE环境的难点。HMACL包括3个模块:1)任务生成模块(STG),用于生成源任务以引导智能体训练;2)种类策略提升模块(CPI),针对多智能体系统本身的非平稳性,提出了一种基于智能体种类的参数共享(Class Based Parameter Sharing)策略,实现了异质智能体系统中的参数共享;3)训练模块(Trainer),通过从STG获取源任务,从CPI获取最新的策略,使用任意MARL算法训练当前的最新策略。HMACL可以缓解常用MARL算法在M2ALE环境中的探索难问题和非平稳性问题,引导多智能体系统在M2ALE环境中的学习过程。实验结果表明,使用HMACL使得MARL算法在M2ALE环境下的采样效率和最终性能得到大幅度的提升。

基于ViT-CNN混合网络的合成孔径雷达图像船舶分类

为了解决视觉转换器模型缺乏多尺度与局部特征捕获能力,难以适应合成孔径雷达图像船舶分类任务的问题,本文提出一种混合网络模型用于合成孔径雷达图像船舶分类。利用分阶段下采样网络结构,解决了ViT无法捕获多尺度特征的问题。通过在ViT模型的3个核心模块中融入卷积结构,设计了卷积标记嵌入、卷积参数共享注意力和局部前馈网络3个模块,使得网络能够同时捕获船舶图像的全局和局部特征,进一步增强了网络归纳偏置和特征提取能力。研究表明:本文所提模型在OpenSARShip和FUSAR-Ship2个通用合成孔径雷达船舶图像数据集上,分类准确率较最优方法分别提高了2.96%和4.18%,有效地提升了合成孔径雷达图像船舶分类性能。

基于双中间模态的四流网络跨模态行人重识别

摄像头大多配备红外和可见光功能,因此,重识别方法的应用必然要解决跨模态行人重识别问题。为缩小跨模态行人重识别中红外和可见光模态之间的差异,提高识别精度,提出基于双中间模态的四流跨模态行人重识别方法。由2个轻量级网络分别生成可见光模态和红外模态的双中间模态图像,并从可见光图像和红外图像中继承标签,通过拆分ResNet50骨干网络以重构适应于4种模态共享特征学习的网络。此外,还探讨了四流骨干网络中的参数共享问题,分析四模态共享块数量对于跨模态行人重识别的影响。实验结果表明,相比HcTri,该方法在SYSUMM01数据集上的全局检索模式下的Rank-1和mAP分别提高2.38和4.64个百分点,在室内检索模式下分别提高6.24和6.77个百分点,在RegDB数据集上可见光至红外检索模式下的Rank-1、mAP和mINP分别提高2.52、3.74和4.68个百分点,在红外至可见光检索模式下的Rank-1、mAP和mINP分别分别提高2.70、3.47和5.56个百分点。

改进VGG网络的人脸表情识别

在VGG网络上加入改进型高阶残差模块和参数共享反馈子网络降低网络退化度和减少网络参数量,并利用通道注意力机制给通道分配不同权重,来提高表情识别度。将此网络运用到两个具有代表性的数据集FER2013、CK+中。实验结果表明,识别率分别为65.34%和96.88%。

一种基于BIM模型的公路工程质量管控方法

传统质量管理方式存在多种问题,不适应现代工程信息化的发展需要。相较于传统的二维施工图纸,三维BIM模型能对土木工程所有信息进行集成,把土木工程全周期、全要素信息均集成在一个信息数据库中,利用数字技术存储和传递建筑结构和构造特征信息,并加以3D模型实现信息的可视化展示;全寿命周期包括了土木工程从提出概念、决策、设计、施工建设、运营、养护到拆除阶段,一个从无到有,再到无的完整过程。三维BIM模型在工程各参建方之间的沟通上有不可比拟的优势,工程信息的传递不仅直观而且高效,且信息不丢失。以建立BIM模型为基础,创建共享参数对工程质量进行信息化管理。

基于多任务学习的多姿态人脸重建与识别

针对当前人脸识别中姿态变化会影响识别性能,以及姿态恢复过程中脸部局部细节信息容易丢失的问题,提出一种基于多任务学习的多姿态人脸重建与识别方法——多任务学习堆叠自编码器(Mt LSAE)。该方法通过运用多任务学习机制,联合考虑人脸姿态恢复和脸部局部细节信息保留这两个相关的任务,在步进逐层恢复正面人脸姿态的同时,引入非负约束稀疏自编码器,使得非负约束稀疏自编码器能够学习到人脸部的部分特征;其次在姿态恢复和局部信息保留两个任务之间通过共享参数的方式来学习整个网络框架;最后将重建出来的正脸图像通过Fisherface进行降维并提取具有判别信息的特征,并用最近邻分类器来识别。实验结果表明,Mt LSAE方法获得了较好的姿态重建质量,保留的局部纹理信息清晰,而且与局部Gabor二值模式(LGBP)、基于视角的主动外观模型(VAAM)以及堆叠步进自编码器(SPAE)等经典方法相比,识别率性能得以提升。