基于小批量梯度下降法的高斯核参数优化

核函数是核方法的重要组成部分,设计得好坏直接影响模型的分类效果,高斯核函数以其优良的特性被广泛应用,但高斯核参数的优化十分困难.针对此问题,使用核目标度量准则制定目标函数,将问题转化为求极小值的最优化问题,利用小批量梯度下降法求解目标函数.在十六组机器学习领域常用的数据集上进行测试,实验结果表明,该方法均具有最短的训练时间和较高的分类准确率.

基于小批量梯度下降和Spark分布式方法的局部断层细化对齐

生物样品在获取电子冷冻断层扫描(cryo-ET)图像时的辐射损伤,信息缺失和低信号噪声比(SNR),限制了从断层数据中恢复3维结构信息。仿照电子低温显微镜(cryo-EM)单颗粒3维重构技术,对局部断层数据进行对齐和平均,产生高精度大分子复合体的3维结构。现有的局部断层对齐技术都会涉及6个自由度(3个旋转参数、3个平移参数),因此,它们在每次迭代对齐中处理整个3维体积图像来计算这6个自由度,这是计算密集型的。针对上述问题,本文提出一种基于小批量梯度下降(MBGD)方法实现局部断层3维数据细化对齐,并首次利用Spark分布式框架实现局部断层对齐全局择优。通过对仿真数据和实验数据的对齐,基于小批量梯度下降细化对齐算法与基线方法相比,实现了对齐精度和速度的提高。

基于小批量梯度下降法的FIR滤波器

针对梯度下降算法收敛速度慢,每次更新梯度都使用全部的样本点数且计算量大、复杂度高等问题,提出一种新型的用于相干光接收机的色散补偿FIR(finite-length impulse response)滤波器。在Matlab中搭建基带多速率相干光通信系统传输模型,利用小批量梯度下降法(mini-batch gradient descent),每次使用百分之一的样本数更新梯度和抽头权值h(n),计算均方误差,使计算复杂度降低为原来的1%,且当学习效率为0.05时,收敛值达到0.0055,均方误差收敛值更小。均方误差收敛后得到滤波器抽头的权值,本方法得到的滤波器权值在全频带具有更好的滤波效果。通过基带脉冲成型限制基带信号有效带宽,滤波器的抽头数目为197,相对全频带抽头数减少37.5%,所以能在窄频带设计出抽头数目更少,滤波效果更佳的最优滤波器。

基于小批量梯度下降的神经网络模型估算针叶林生物量

探讨了基于小批量梯度下降的B-P神经网络模型,利用MODIS遥感图像、地面调查数据、地形数据以及森林覆盖率,估算天然针叶林地上生物量。在对针叶林地上生物量和遥感数据、地形数据、植被指数以及森林覆盖率进行单因素相关性分析的基础上,采用基于小批量梯度下降的B-P神经网络建立一组不同网络结构的天然针叶林生物量模型,在测试集上筛选出均方误差最小的网络结构,在验证集上用实测地上生物量值对筛选出的模型进行验证,并与多元回归模型比较。结果表明:小批量梯度下降训练算法收敛速度很快,最多不超过100 s,比较适合做大范围的生物量实时反演监测;模型很好地反应了针叶林地上生物量与MODIS遥感图像、地面调查数据、地形数据以及森林覆盖率的定量关系(相关系数R2=0.835),明显地优于传统的多元回归方法(相关系数R2=0.427)。由此可见,基于小批量梯度下降的B-P神经网络模型可以用于天然针叶林结构参数的定量研究,利用基于小批量梯度下降的B-P神经网络模型进行天然针叶林地上生物量实时监测具有一定的应用潜力。

基于小批量梯度下降的布谷鸟搜索算法

布谷鸟搜索算法是一种解决函数目标优化问题的全局搜索算法,具有选用参数少、容易实现、搜索路径优、寻优能力强等特点。为了提高布谷鸟搜索算法的求精能力和收敛速度,改善后期收敛慢和搜索精度不稳定的问题,提出了一种基于小批量梯度下降的布谷鸟搜索算法。引入小批量梯度下降,优化寻找最优解的过程,加快局部最优的搜索,从而提高算法的求精能力和收敛速度。仿真实验结果表明,基于小批量梯度下降的布谷鸟搜索算法简单高效,在保持标准布谷鸟搜索算法优点的基础上提高了算法的收敛速度和寻优精度,具有较强的稳定性和鲁棒性。

基于小批量梯度下降法的个性化推荐模型

隐语义模型(LFM)是推荐系统中应用比较广泛的模型之一。其核心思想是通过隐含特征联系用户兴趣和物品,得到用户对物品偏好关系的目标函数,然后通过随机梯度下降法求得最优解,从而个性化地对用户进行物品的推荐。但是计算过程中随机梯度下降法会造成目标函数值震荡的比较剧烈,准确度欠缺,所以提出对目标函数优化选择用小批量梯度下降法,建立基于小批量梯度下降法的个性化推荐模型,减少目标函数最优解的随机性,提高准确度,减少运行时间,从而达到提高个性化推荐质量的目的。实验数据采用Movielens数据集,Python作为工具,均方根误差(RMSE)、平均绝对误差(MAE)作为标准,将改进前后的算法结果做对比,验证基于小批量梯度下降法的个性化推荐模型能够得到更好的推荐效果。

基于梯度的三种优化方法及比较

近年来,高速发展的科学技术将人工智能带入大众的视野。机器学习和深度学习作为人工智能的核心技术,引起了众多学者的关注。在机器学习领域,由于目标模型损失函数的复杂性,使得无法快速有效地得到参数估计的表达式,因此,运用基于梯度的优化方法求解该类优化问题很受欢迎,到目前为止最主流的一个算法就是梯度下降法,但在实际应用中,随着数据规模越来越大,传统的梯度下降法训练的过程及其缓慢,已不能够快速有效的解决大规模机器学习问题。所以,在梯度下降方法的基础上进行了改进,提出了随机梯度下降算法。随机方法因其良好的标度特性在大规模应用问题中受到青睐,本文首先详细介绍了梯度下降法、随机梯度下降法及小批量随机梯度下降法三个方法基本思想及其求解最优化问题的具体过程,然后设计数值例子进行模拟实验,并比较三种方法的优劣性,最后通过实验结果得出结论:梯度下降法收敛性较好,但计算效率低,随机梯度下降法计算效率高,而小批量梯度下降法则是介于二者之间。因此在计算大规模的问题时,随机梯度下降法相较于另外两种方法更为有效。

轧机轧制力的改进训练策略深度神经网络预测

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。

用于图像分类的模糊策略学习率ResNet

ResNet深度神经网络用于图像分类时,全连接层训练算法收敛性差降低了分类效果。针对此不足,提出一种模糊策略梯度算法训练ResNet。推导出ResNet全连接层权重的迭代公式,用历史梯度信息修正当前一阶小批量梯度,用模糊策略学习率更新权重,通过上下边界函数处理学习率的过大或过小而引发的迭代振荡,改善训练算法收敛性。在CINIC-10和CIFAR-100数据集上的实验结果表明,所提算法训练的ResNet分类效果优于相比较算法。特别是在综合性分类指标Kappa系数上,所提算法训练的ResNet较最新的AdaBound算法平均提高了9.29%,改进效果显著。

人工参与的迭代式数据清洗方法研究

数据采集技术的进步导致了数据集规模的飞速上涨,由于数据的大规模和高复杂性引起了严重的数据质量问题,数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本,提出了一种人工参与的迭代式的数据清洗方法(IDCHI)。该方法在检测模块中提出了数据选择优化方法,使分类器在初始阶段就拥有较高的准确度;并进一步提出了待人工标注数据选择方法,有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。

满足本地差分隐私的分类变换扰动机制

本地差分隐私作为一种隐私保护技术,被广泛用于连续数值型数据的均值估计,使用的扰动机制将直接影响均值的准确度.为进一步提高均值估计的准确性,提出了一种满足差分隐私的分类变换扰动机制.该机制对连续数值型数据划分变换范围并进行分段,根据分段将其变换为1维二元分类数据.转换后使用随机响应机制进行扰动,再根据扰动后的数据标识的数值段从中随机均匀抽取数值作为扰动值.在真实数据和合成数据中的均值估计实验结果表明该机制极大地提高了准确性.除此之外,将分类变换扰动机制用于构建满足本地差分隐私的小批量梯度下降算法,并完成线性回归学习任务,实验结果证明该方法同样优于其他已有机制,可得到更小的均方误差.

基于深度学习的帕金森患者声纹识别

90%的帕金森病(PD)患者存在声带紊乱,提出一种利用WMFCC提取患者的声纹特征、DNN识别并分类的方法用于区分PD患者和健康人。通过计算患者声纹中倒谱系数的加权和系数,解决高阶倒谱系数小、特征分量对音频的表征能力差等问题。DNN训练并分类识别有效地提高系统精度,使用MBGD优化算法降低损失函数的计算量,提高系统训练速度。针对PD database中样本测试分类,结果相较传统SVM等方法,该方法提高了判别PD准确率,可达87.5%,为PD患者早期快速辅助诊断提供了良好的解决方案。

基于逻辑回归模型的缺血性脑卒中发病率预测研究

介绍基于逻辑回归模型的缺血性脑卒中发病率预测方法及流程,包括收集和清洗数据、构建大数据平台、提取预测特征、构建基于逻辑回归的模型等。通过仿真实验验证该方法的有效性,为脑卒中数据分析、疾病预防提供技术支持。

一种基于深度学习的电影推荐算法

随着互联网的发展,人们的娱乐方式趋于多样化,但人们总想可以直接定位根据自己口味的电影而不是通过自己的搜索和朋友的推荐。然而目前已有的推荐系统机制过于简单,往往是根据网友对电影的的综合评分,可根据关键字,类别等具体搜索,久而久之的搜索痕迹来证明用户的喜好。这种基于协同过滤的推荐系统在遇到冷启动问题时会产生较大的偏差。本文利用卷积神经网络结合协同过滤系统设计出了一款基于神经网络的电影推荐系统,利用MBGD(小批量梯度下降法)对模型进行优化,并在有限的数据集下进行了该系统的实验。实验结果表明该系统比传统推荐方法具有更高的准确性。

MapReduce框架下基于线性回归的短期负荷预测

为解决负荷预测时因数据量大、数据种类繁多带来的计算速度慢、预测精度低等问题,在MapReduce并行编程框架下,提出基于小批量随机梯度下降法的线性回归模型.首先,为清理智能配电终端产生的重复数据和不良数据,提出利用自适应近邻排序算法清除重复记录的数据,并利用K均值聚类的方法剔除异常数据和记录不完整的数据,然后利用F检验法来检验该数据集能否线性表征负荷,再利用T检验法检验特性向量与负荷间线性关系的显著性,并剔除与负荷线性关系较弱的特性向量.根据以上方法建立短期负荷预测模型,并将其用在甘肃武威某区域配电网短期负荷预测中.结果表明,所提出的短期负荷预测模型的平均绝对百分误差为2.043%,均方根误差为3112.62.这些预测误差满足负荷预测的要求,极大地提高了负荷计算的速度,缩短了负荷预测时间.

MBGD-RBF自适应滤波器在光电编码器检测系统中的应用

为提高小型光电编码器检测系统的精度,提出一种基于小批量梯度下降法(MBGD)优化RBF神经网络算法的非线性自适应滤波器对检测系统的高精度基准编码器输出信号进行滤波。这种滤波方法不需要了解误差来源的先验知识,具有很强非线性拟合特性。通过Matlab/Simulink仿真验证,经MBGD-RBF自适应滤波器对基准编码器输出信号滤波以后,系统检测精度从原来的6.34″提高至2.059″,证明该方法能够有效地对编码器输出信号进行滤波,提升编码器的输出信号质量,进而提高检测系统的检测精度。

反应堆辐射屏蔽多目标优化方法研究

为解决基于蒙特卡罗方法的传统屏蔽优化方法效率低、可应用性差的缺点,本文基于精英策略的非支配排序遗传算法(NSGA-Ⅱ)和小批量随机梯度下降法(MBGD)对反应堆屏蔽优化方法进行了研究,同时改进了遗传算法自适应变异率算子以增强遗传算法的全局寻优能力,提出了反应堆屏蔽多目标优化方法。构建反应堆二次屏蔽多目标优化模型,将蒙特卡罗方法与神经网络预测方法输出的屏蔽后归一化中子透射率进行对比,验证了MBGD的准确性。通过神经网络与NSGA-Ⅱ的耦合对屏蔽参数进行约束寻优,能够快速找到屏蔽设计模型的Pareto前沿,可实际应用于反应堆辐射屏蔽多目标优化工程设计。