基于粒子群优化的自适应微调算法

模型微调是一种重要的迁移学习技术,在各种缺乏训练数据的任务中取得了显著成功,并且只需少量训练时间就能获得满意效果。然而,随着网络模型规模和结构复杂性增加,为特定目标任务设计合适的微调方案变得越来越困难。为了解决这个问题,本文提出了一种基于粒子群优化的自适应微调算法。该算法将预训练模型中的微调层选择问题建模为参数优化问题,并基于种群进化思想,自适应地为目标任务找到合适的层微调方案。实验结果表明,该算法能够精确地求解适合目标任务的层微调方案,并且能够显著提升微调性能。与标准微调基线方法相比,本文算法只需要几次迭代即可实现具有竞争力的性能,从而大幅度减少了训练时间。

基于神经网络语言模型的动态层序Softmax训练算法

针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB^1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.

多级卷积神经网络的沥青路面裂缝图像层次化筛选

如何快速准确地识别与评估沥青路面裂缝病害,已成为路面养护和保障道路安全的重要任务之一。实际采集路面图像中往往存在大量的非裂缝图像,在保证裂缝图像无漏筛的前提下,尽可能提高裂缝图像的精确率与非裂缝图像的真负例率,则对于降低人工筛选的工作强度,以及后续裂缝自动分割与病害损坏程度评估具有重要实际意义。故此,提出了一种多级卷积神经网络的沥青路面裂缝图像筛选方法,由训练、微调与验证三阶段构成,利用微调集获得softmax层输入微调增量。为避免裂缝图像召回率增加与精确率下降的问题,在对比不同卷积神经网络筛除的非裂缝图像异同基础上,采用改进AlexNet作为一级筛选网络,VGG16或ResNet50作为二、三级筛选网络的层次化处理模型。对于含噪声及复杂路面图像测试集的实验结果表明,三级层次化筛选模型能在100%召回裂缝图像时,达到高的真负例率及准确率。与其他方法的对比实验表明,所提方法可有效解决沥青路面裂缝图像漏筛问题,且具有更好的检测效果。

基于灰狼算法的配电网短路故障自动监测系统

针对接地短路故障中识别率较低、抗干扰性较大的问题,该文提出短路故障自动化监测系统。通过集成经验模态对零序电流做出分解,提取相应的本证模态分量,构建特征向量。结合灰狼算法对门控神经网络优化,加入相应的softmax分类优化,构建接地短路故障的自动化监测系统。经过实际算例验证,改进系统能够更稳定地进行故障识别,具有更高的准确率以及抗干扰性能。

Cell处理器微调度系统设计

介绍一种基于最新的Cell处理器的微调度系统的设计算法和结构。针对Cell开发中多任务调度问题,文中提出使用改进的Lawler算法微调度内核算法,具有较高的调度效率。文中提出的多层次解耦的软件开发模型,有效的克服了Cell系统开发困难的现状。通过对样例应用的分析和验证,系统被证明可以适应广泛的高性能科学计算问题。

多层共挤吹塑机模头的改进

多层共挤聚烯烃热收缩膜(POF)是近年来出现的新型热收缩包装材料。而设备中关键部件"多层共挤装置"(模头)的结构将直接影响着产品的生产质量。本文通过对传统模头的改进,在模口的圆周上增加36个螺纹孔,以利用螺钉进行对模口的微调,从而提高POF膜管厚度的均匀性,改善了产品的生产质量。

基于机器视觉的随机纹理瓷砖的分选系统

针对日益加快的瓷砖生产速度与缓慢的人工分选速度之间不协调导致的瓷砖出产效率低下的问题,提出了以机器视觉软件HALCON 11.0为软件开发平台的结合瓷砖颜色、纹理特征提取的算法,以及针对多分类问题的改进多层感知器神经网络算法(MLPNN).首先对拍摄到的瓷砖图像进行去噪预处理,在HSI颜色空间中提取瓷砖的色调(Hue)特征并计算反映瓷砖的纹理特征的灰度共生矩阵(GLCM)和灰度幅值分布特征,再将得到的特征作为多层感知器的神经网络输入层神经元,然后设计以softmax为激活函数的多层感知器神经网络来进行模式匹配,并与BP神经网络模式匹配方法进行对比,最终搭建出具有简单人机交互界面的随机纹理瓷砖的分选实验样机.实验结果表明:本系统对实验的各类随机纹理瓷砖的分选准确率都在90%以上,具有较高的分选准确率,能应用于瓷砖生产实践.

基于堆栈稀疏自编码器的滚动轴承故障诊断

针对提取有效滚动轴承特征和消除特征之间的冗余,提出一种基于堆栈稀疏自编码器和Softmax层构建的深度神经网络(DNN)用于轴承故障诊断。首先从振动信号提取12个统计特征和6个时频域特征,然后将获得的特征用于构建18维特征向量;高维特征向量通过堆栈稀疏自编码器逐层贪婪学习获得无冗余的高级特征;最后将高级特征输入Softmax分类层进行轴承故障诊断。实验结果表明:相比于传统BP和SVM分类器,DNN能更准确地识别滚动轴承故障类型。

基于迁移学习策略的肝纤维化分期诊断方法

针对肝纤维化四分期准确率较低,S2与S3期分期难的问题,文中提出了一种基于迁移学习策略的肝纤维化诊断方法。该方法基于预训练好的深度残差网络模型,随机初始化各层权值参数,加入采用旋转、裁剪patch小块等方法扩充的数据集微调各类参数。经过softmax分类器结合patch小块投票原则,最终得到肝纤维化S0~S1、S2、S3、S4期的分期准确率分别为93.75%、90.63%、87.50%、86.96%。该结果表明,文中方法在基于高频超声图像的肝纤维化定量诊断任务中达到了较好的效果。通过比较分析可知,文中所述方法优于其他已有方法,为临床计算机辅助诊断肝纤维化疾病提供了更加有效的解决方案。

栈式自编码器特征表达能力研究

以深度学习中的自编码器为基础,堆积稀疏自编码形成深度网络,以贪心算法逐层训练实现特征层的层抽象映射,监督训练Softmax分类器,然后使用BP(反向传播)算法优化权值,构建SAE(栈式自编码器),并重点对其特征表达能力进行探究。第一,以单层自编码器作为特征表达的基础模块,探究自编码器中隐藏层节点数对特征表达能力影响;第二,重点探究对于多层自编码器的理解,堆积自编码器是否是一个好的获取理想特征表达的途径,主要评估多层自编码器对于特征表达的准确性和稳定性影响。基于MNIST(美国国家标准与技术研究所数据库)数据集的实验与PCA(主成分分析)、LLE(局部线性嵌入)、BP算法特征表达能力进行对比分析,验证栈式自编码器特征表达能力的有效性。

智能应用的隐私保护研究

关于人工智能领域的隐私保护方法有很多。本文首先对相关的安全多方隐私计算方法、图像检索隐私保护方法、机器学习的隐私保护方法进行了综述。目前边缘计算为多方面智能应用程序提供了很多好处,但与此同时在边缘计算卸载过程中进行端-边分布式计算的时候,会产生隐私泄露问题。本文提出保证人脸属性特征提取、隐私特征消隐的双向任务的分布式布局隐私保护策略,主要目的就是在传输主要任务的同时,避免隐私信息人物向远程传输而将其尽量在移动设备上进行消隐处理,以提高隐私保护的有效性。从最终实验结果可以得出,该网络框架算法可以有效达到隐私消隐的效果。

大跨度无调平层桥面后处理技术浅析

泽蒙-博尔察大桥跨度大,桥面设计无水泥混凝土调平层,且首层沥青混合料厚度仅有3cm,与常规桥面标高偏差的规范允许值不统一。上部构造施工完成后,需要对桥面进行处理,以满足防水和沥青混凝土铺装的施工要求。在不影响行车和施工质量的基础上,项目通过微调线形和配套的桥面后处理方法,为防水和沥青混凝土铺装提供了一个完美的施工作业面,取得了良好的效果。

基于优化卷积深度信念网络的智能手机身份认证方法

针对智能手机面临的信息安全问题,研究了一种优化卷积深度信念网络的智能手机身份认证方法。先对采集的原始数据进行预处理,再引入稀疏自编码器进行预训练,预训练后的权重作为卷积深度信念网络模型的卷积核,选用逐层贪婪算法用于模型的正式训练;训练后,经均方根连接层对提取的特征进行整合,并利用监督学习算法调节均方根连接层与输出层之间的权重;最后,由Softmax分类器输出分类结果。该方法可直接处理高维手势数据,建立手势模型进行特征提取。仿真结果表明,与隐马尔科夫算法、深度信念网络算法相比,该方法可显著提高身份认证的准确率。

Vishay推出采用氮化铝基板制造的新款小尺寸表面贴装精密薄膜片式电阻

日前,VishayIntertechnology,Inc.宣布,推出新系列高功率表面贴装的精密薄膜片式电阻-PCAN系列器件。该系列器件采用氮化铝基板,功率等级为2W^6W,分别采用1206和2512小外形尺寸。今天发布的VishayDale薄膜电阻的氮化铝基板采用更大的背面端接,减少了上侧电阻层与最终用户的电路组装上焊点之间的热阻。这样。

片状电容器的容量标注及使用方法(上)

片状电容器也称贴片式电容器，常用的有：片状多层陶瓷电容器、高频圆柱状电容器、片状绦纶电容器、片状电解电容器、片状钽电解电容器、片状微调电容器等。