基于批量梯度下降法的混凝土破坏准则参数研究

为解决混凝土破坏准则中参数的系统误差导致混凝土破坏强度预测精度不足问题,本文利用批量梯度下降法对混凝土破坏准则参数进行重新拟合,选取的破坏准则分别为Ottosen准则、Hsieh-Ting-Chen准则、Willam-Warnke准则,得出3种破坏准则根据新参数拟合的破坏包络曲面、拉压子午线和偏平面内破坏迹线近似重合。结果表明:新参数下3种混凝土破坏准则近似描述了相同的混凝土破坏包络曲面,证明利用批量梯度下降计算破坏准则参数的有效性。通过批量梯度下降法,可根据有限的实验样本重新计算不同破坏准则参数,得出最接近真实破坏曲面的参数最优解,为破坏准则研究的参数计算提供新途径。

基于小批量梯度下降法的高斯核参数优化

核函数是核方法的重要组成部分,设计得好坏直接影响模型的分类效果,高斯核函数以其优良的特性被广泛应用,但高斯核参数的优化十分困难.针对此问题,使用核目标度量准则制定目标函数,将问题转化为求极小值的最优化问题,利用小批量梯度下降法求解目标函数.在十六组机器学习领域常用的数据集上进行测试,实验结果表明,该方法均具有最短的训练时间和较高的分类准确率.

基于批量梯度下降的机翼结构载荷方程求解方法

针对采用常规矩阵方程求解载荷方程的方法所受到建模工况及建模电桥数量关系限制的问题,基于批量梯度下降方法对载荷方程求解方法进行了改进,将该方法应用于电桥数量大于机翼建模工况数量的机翼剖面剪力载荷方程求解,结果表明,该方法可高效准确地对载荷方程进行求解。

基于小批量梯度下降和Spark分布式方法的局部断层细化对齐

生物样品在获取电子冷冻断层扫描(cryo-ET)图像时的辐射损伤,信息缺失和低信号噪声比(SNR),限制了从断层数据中恢复3维结构信息。仿照电子低温显微镜(cryo-EM)单颗粒3维重构技术,对局部断层数据进行对齐和平均,产生高精度大分子复合体的3维结构。现有的局部断层对齐技术都会涉及6个自由度(3个旋转参数、3个平移参数),因此,它们在每次迭代对齐中处理整个3维体积图像来计算这6个自由度,这是计算密集型的。针对上述问题,本文提出一种基于小批量梯度下降(MBGD)方法实现局部断层3维数据细化对齐,并首次利用Spark分布式框架实现局部断层对齐全局择优。通过对仿真数据和实验数据的对齐,基于小批量梯度下降细化对齐算法与基线方法相比,实现了对齐精度和速度的提高。

基于小批量梯度下降法的FIR滤波器

针对梯度下降算法收敛速度慢,每次更新梯度都使用全部的样本点数且计算量大、复杂度高等问题,提出一种新型的用于相干光接收机的色散补偿FIR(finite-length impulse response)滤波器。在Matlab中搭建基带多速率相干光通信系统传输模型,利用小批量梯度下降法(mini-batch gradient descent),每次使用百分之一的样本数更新梯度和抽头权值h(n),计算均方误差,使计算复杂度降低为原来的1%,且当学习效率为0.05时,收敛值达到0.0055,均方误差收敛值更小。均方误差收敛后得到滤波器抽头的权值,本方法得到的滤波器权值在全频带具有更好的滤波效果。通过基带脉冲成型限制基带信号有效带宽,滤波器的抽头数目为197,相对全频带抽头数减少37.5%,所以能在窄频带设计出抽头数目更少,滤波效果更佳的最优滤波器。

基于小批量梯度下降的神经网络模型估算针叶林生物量

探讨了基于小批量梯度下降的B-P神经网络模型,利用MODIS遥感图像、地面调查数据、地形数据以及森林覆盖率,估算天然针叶林地上生物量。在对针叶林地上生物量和遥感数据、地形数据、植被指数以及森林覆盖率进行单因素相关性分析的基础上,采用基于小批量梯度下降的B-P神经网络建立一组不同网络结构的天然针叶林生物量模型,在测试集上筛选出均方误差最小的网络结构,在验证集上用实测地上生物量值对筛选出的模型进行验证,并与多元回归模型比较。结果表明:小批量梯度下降训练算法收敛速度很快,最多不超过100 s,比较适合做大范围的生物量实时反演监测;模型很好地反应了针叶林地上生物量与MODIS遥感图像、地面调查数据、地形数据以及森林覆盖率的定量关系(相关系数R2=0.835),明显地优于传统的多元回归方法(相关系数R2=0.427)。由此可见,基于小批量梯度下降的B-P神经网络模型可以用于天然针叶林结构参数的定量研究,利用基于小批量梯度下降的B-P神经网络模型进行天然针叶林地上生物量实时监测具有一定的应用潜力。

基于小批量梯度下降的布谷鸟搜索算法

布谷鸟搜索算法是一种解决函数目标优化问题的全局搜索算法,具有选用参数少、容易实现、搜索路径优、寻优能力强等特点。为了提高布谷鸟搜索算法的求精能力和收敛速度,改善后期收敛慢和搜索精度不稳定的问题,提出了一种基于小批量梯度下降的布谷鸟搜索算法。引入小批量梯度下降,优化寻找最优解的过程,加快局部最优的搜索,从而提高算法的求精能力和收敛速度。仿真实验结果表明,基于小批量梯度下降的布谷鸟搜索算法简单高效,在保持标准布谷鸟搜索算法优点的基础上提高了算法的收敛速度和寻优精度,具有较强的稳定性和鲁棒性。

基于小批量梯度下降法的个性化推荐模型

隐语义模型(LFM)是推荐系统中应用比较广泛的模型之一。其核心思想是通过隐含特征联系用户兴趣和物品,得到用户对物品偏好关系的目标函数,然后通过随机梯度下降法求得最优解,从而个性化地对用户进行物品的推荐。但是计算过程中随机梯度下降法会造成目标函数值震荡的比较剧烈,准确度欠缺,所以提出对目标函数优化选择用小批量梯度下降法,建立基于小批量梯度下降法的个性化推荐模型,减少目标函数最优解的随机性,提高准确度,减少运行时间,从而达到提高个性化推荐质量的目的。实验数据采用Movielens数据集,Python作为工具,均方根误差(RMSE)、平均绝对误差(MAE)作为标准,将改进前后的算法结果做对比,验证基于小批量梯度下降法的个性化推荐模型能够得到更好的推荐效果。

基于梯度的三种优化方法及比较

近年来,高速发展的科学技术将人工智能带入大众的视野。机器学习和深度学习作为人工智能的核心技术,引起了众多学者的关注。在机器学习领域,由于目标模型损失函数的复杂性,使得无法快速有效地得到参数估计的表达式,因此,运用基于梯度的优化方法求解该类优化问题很受欢迎,到目前为止最主流的一个算法就是梯度下降法,但在实际应用中,随着数据规模越来越大,传统的梯度下降法训练的过程及其缓慢,已不能够快速有效的解决大规模机器学习问题。所以,在梯度下降方法的基础上进行了改进,提出了随机梯度下降算法。随机方法因其良好的标度特性在大规模应用问题中受到青睐,本文首先详细介绍了梯度下降法、随机梯度下降法及小批量随机梯度下降法三个方法基本思想及其求解最优化问题的具体过程,然后设计数值例子进行模拟实验,并比较三种方法的优劣性,最后通过实验结果得出结论:梯度下降法收敛性较好,但计算效率低,随机梯度下降法计算效率高,而小批量梯度下降法则是介于二者之间。因此在计算大规模的问题时,随机梯度下降法相较于另外两种方法更为有效。

联合双维度用户调度的自适应联邦边缘学习

联邦边缘学习无需传输本地数据,在保护用户隐私的基础上,大大降低了上行链路压力。联邦边缘学习通过智能边缘设备,利用本地数据集训练局部模型后上传模型参数至中心服务器;中心服务器聚合本地上传的局部模型参数形成全局模型后进行更新,然后将更新后的模型下发给智能边缘设备开始新一轮迭代。但是局部模型精度以及局部模型训练时间,对全局模型聚合以及模型更新过程会产生重大影响。因此提出自适应动态批量梯度下降策略,在局部模型训练过程中自动调整梯度下降抽取的批量大小,优化联邦学习的局部模型精度及收敛速度。针对用户数据的非独立同分布特性,设计一种联合双维度用户调度策略的自适应动态批量梯度下降算法,通过收敛时间和数据多样性进行双维度约束。经MNIST数据集、fashion MNIST数据集和CIFAR-10数据集的训练测试,算法在有效降低聚合等待时间的同时能够进一步提高全局模型精度和收敛速度。与固定批量为64、128、256的梯度下降算法相比,该算法的全局模型精度在运行100 s时提升分别为32.4%、45.2%、87.5%。

基于S-BGD和梯度累积策略的改进深度学习方法及其在光伏出力预测中的应用

为提高光伏出力的预测精度,提出了一种改进深度学习算法的光伏出力预测方法。首先,针对传统的深度学习算法采用批量梯度下降(batch gradient descent,BGD)法训练模型参数速度慢的问题,利用随机梯度下降(stochastic gradient descent,SGD)法训练快的优点,提出了一种改进的随机-批量梯度下降(stochastic-batch gradient descent,S-BGD)搜索方法,该方法兼具SGD和BGD的优点,提高了参数训练的速度。然后,针对参数训练过程中容易陷入局部最优点和鞍点的问题,借鉴运动学理论,提出了一种基于梯度累积(gradient pile,GP)的训练方法。该方法以累积梯度作为参数的修正量,可以有效地避免训练陷入局部点和鞍点,进而提高预测精度。最后,以澳大利亚艾丽斯斯普林光伏电站的数据为样本,将所提方法应用于光伏出力预测中,验证所提方法的有效性。

轧机轧制力的改进训练策略深度神经网络预测

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。

人工参与的迭代式数据清洗方法研究

数据采集技术的进步导致了数据集规模的飞速上涨,由于数据的大规模和高复杂性引起了严重的数据质量问题,数据清洗是数据活动中必要且重要的环节。为了在保证清洗准确率的情况下有效地降低人工标注成本,提出了一种人工参与的迭代式的数据清洗方法(IDCHI)。该方法在检测模块中提出了数据选择优化方法,使分类器在初始阶段就拥有较高的准确度;并进一步提出了待人工标注数据选择方法,有效地降低人工标注的数据量。实验结果表明该方法可有效且高效地清洗错误数据。

基于HBase的多分类逻辑回归算法研究

为解决在大数据环境下,用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题,提出了块批量梯度下降算法,用于计算回归模型的系数。将训练数据集存入HBase后,通过设置表扫描对象的起始行键参数,可取出大小合适的含训练样本及结果值的数据块;同时为避免客户端到服务端频繁的RPC调用,取出的数据块可进行多次迭代计算,以加快系数的收敛。当取出的数据块达到指定的迭代次数后,再按行键次序取出下一个数据块。如此循环,直到系数收敛或达到指定的循环控制阈值。多分类的逻辑回归问题可转换为二分类来解决,因此需要为每一个分类在训练数据表中设定结果值列,结合训练样本列簇,按块批量梯度下降算法得到每个分类的回归系数。实验结果表明得到的回归系数能准确地对测试样本进行分类。

满足本地差分隐私的分类变换扰动机制

本地差分隐私作为一种隐私保护技术,被广泛用于连续数值型数据的均值估计,使用的扰动机制将直接影响均值的准确度.为进一步提高均值估计的准确性,提出了一种满足差分隐私的分类变换扰动机制.该机制对连续数值型数据划分变换范围并进行分段,根据分段将其变换为1维二元分类数据.转换后使用随机响应机制进行扰动,再根据扰动后的数据标识的数值段从中随机均匀抽取数值作为扰动值.在真实数据和合成数据中的均值估计实验结果表明该机制极大地提高了准确性.除此之外,将分类变换扰动机制用于构建满足本地差分隐私的小批量梯度下降算法,并完成线性回归学习任务,实验结果证明该方法同样优于其他已有机制,可得到更小的均方误差.

一种MEMS加速度计的噪声处理与参数训练方法

为进一步提高微机电系统(MEMS)加速度计的测量精度,建立以测量值为输入、真实值为输出的MEMS加速度计误差补偿模型,利用Allan方差和最小均方(LMS)自适应滤波算法对加速度计在6个位置下的多组实际测量数据进行噪声分析和预处理,处理后的全部测量数据作为样本训练模型参数,利用最小二乘和批量梯度下降相结合的方法获得样本数据对真实模型参数的最优拟合,并利用该模型对加速度计进行误差补偿,实现MEMS加速度计的高精度标定。实验验证表明,利用该模型对MEMS加速度计进行误差补偿后,输出值的均值误差为(0.72~1.19)×10^-4 g,标准差为(0.75~1.61)×10^-4 g,相对于补偿前,均值误差降低了2个数量级,标准差降低了1个数量级,有效提高了MEMS加速度计的测量精度和稳定性。

基于深度学习的帕金森患者声纹识别

90%的帕金森病(PD)患者存在声带紊乱,提出一种利用WMFCC提取患者的声纹特征、DNN识别并分类的方法用于区分PD患者和健康人。通过计算患者声纹中倒谱系数的加权和系数,解决高阶倒谱系数小、特征分量对音频的表征能力差等问题。DNN训练并分类识别有效地提高系统精度,使用MBGD优化算法降低损失函数的计算量,提高系统训练速度。针对PD database中样本测试分类,结果相较传统SVM等方法,该方法提高了判别PD准确率,可达87.5%,为PD患者早期快速辅助诊断提供了良好的解决方案。

基于逻辑回归模型的缺血性脑卒中发病率预测研究

介绍基于逻辑回归模型的缺血性脑卒中发病率预测方法及流程,包括收集和清洗数据、构建大数据平台、提取预测特征、构建基于逻辑回归的模型等。通过仿真实验验证该方法的有效性,为脑卒中数据分析、疾病预防提供技术支持。

一种高分辨率遥感图像道路自动提取方法

高分辨率遥感图像道路提取是遥感界关注的重要研究领域,如何快速、有效、智能地进行遥感信息分析和处理是当今遥感界迫切需要解决的问题,自动道路提取方法称为道路提取研究的热点。针对道路提取受遥感图像噪声和树木阴影等复杂自然场景因素影响的问题,提出一种基于卷积神经网络(CNN)和数学形态学算法相结合的自动道路提取方法。首先,构建出深度卷积神经网络模型,在训练卷积神经网络模型时,通过改进的批量随机梯度下降算法(MBGD)来训练深度卷积神经网络;然后,利用训练好的深度卷积神经网络进行道路特征的提取;最后,结合数学形态学优化算法进一步优化道路提取结果。实验结果表明,该方法能提取出完整的道路区域。

一种基于深度学习的电影推荐算法

随着互联网的发展,人们的娱乐方式趋于多样化,但人们总想可以直接定位根据自己口味的电影而不是通过自己的搜索和朋友的推荐。然而目前已有的推荐系统机制过于简单,往往是根据网友对电影的的综合评分,可根据关键字,类别等具体搜索,久而久之的搜索痕迹来证明用户的喜好。这种基于协同过滤的推荐系统在遇到冷启动问题时会产生较大的偏差。本文利用卷积神经网络结合协同过滤系统设计出了一款基于神经网络的电影推荐系统,利用MBGD(小批量梯度下降法)对模型进行优化,并在有限的数据集下进行了该系统的实验。实验结果表明该系统比传统推荐方法具有更高的准确性。