基于权重复用的训练加速算法

深度学习已广泛应用在科研教学、工业生产等各领域,但因其数据量庞大和模型结构复杂,在模型训练阶段要依赖大量的计算资源。为了能在实验教学环节提升资源利用效率,让学生更加熟练地掌握数据搜集和模型参数调整优化的能力,提出了一种基于权重复用的训练加速方法,分别对VGG和ResNet网络结构的深度和宽度进行伸缩拓展,允许模型复用结构相似但不需要完全一致的网络权重。实验结果表明,在CIFAR10数据集上测试,采用权重复用方法进行初始化的训练更快收敛,而且在训练结束时与随机化训练的准确率相近,实现拓展后的网络加速训练,是一种更加灵活的知识迁移方法,有助于培养学生对复杂模型的理解与优化能力。

自适应量化权重用于通信高效联邦学习

针对联邦学习训练过程中通信资源有限的问题,本文提出了两种联邦学习算法:自适应量化权重算法和权重复用控制算法,前者对权重的位数进行压缩,减少通信过程中传输的比特数,算法在迭代过程中,自适应调整量化因子,不断减少量化误差;后者能阻止不必要的更新上传,从而减少上传的比特数.基于标准检测数据集Mnist和Cifar10,在CNN和MLP网络模型上做了仿真模拟,实验结果表明,与典型的联邦平均算法相比,提出的算法降低了75%以上的通信成本.

《产品质量法》赋予了生产者、销售者哪些权利?

《产品质量法》在规定生产者、销售者承担产品质量责任和履行义务的同时,也赋予生产者、销售者一定的权利。一.申请质量认证权 1.申请企业质量体系认证权申请企业质量体系认证是《产品质量法》第十四条第一款赋予生产者、销售者的权利。