基于梯度的三种优化方法及比较

近年来,高速发展的科学技术将人工智能带入大众的视野。机器学习和深度学习作为人工智能的核心技术,引起了众多学者的关注。在机器学习领域,由于目标模型损失函数的复杂性,使得无法快速有效地得到参数估计的表达式,因此,运用基于梯度的优化方法求解该类优化问题很受欢迎,到目前为止最主流的一个算法就是梯度下降法,但在实际应用中,随着数据规模越来越大,传统的梯度下降法训练的过程及其缓慢,已不能够快速有效的解决大规模机器学习问题。所以,在梯度下降方法的基础上进行了改进,提出了随机梯度下降算法。随机方法因其良好的标度特性在大规模应用问题中受到青睐,本文首先详细介绍了梯度下降法、随机梯度下降法及小批量随机梯度下降法三个方法基本思想及其求解最优化问题的具体过程,然后设计数值例子进行模拟实验,并比较三种方法的优劣性,最后通过实验结果得出结论:梯度下降法收敛性较好,但计算效率低,随机梯度下降法计算效率高,而小批量梯度下降法则是介于二者之间。因此在计算大规模的问题时,随机梯度下降法相较于另外两种方法更为有效。

轧机轧制力的改进训练策略深度神经网络预测

为了提高双机架炉卷轧机的轧制力预测精度,提出了具有快速而高效训练策略的深度神经网络预测方法。介绍了双机架炉卷轧机的工作原理,分析了轧制力影响参数。在深度神经网络基础上,使用随机小批量的样本选取法,提高深度神经网络训练速度;提出自适应矩估计梯度优化算法,用于解决传统训练方法陷入局部极值的问题,从而给出了改进训练策略的深度神经网络轧制力预测方法。经轧制实验验证,改进深度神经网络的训练时间为226.15s,而传统网络的训练时间为862.93s;改进网络的预测误差绝大部分控制在3%以内,而传统网络的预测误差绝大部分控制在5%以内。以上数据表明,改进深度神经网络的训练速度和预测精度均远优于传统深度神经网络。

基于栈式稀疏降噪自编码网络的辐射源调制识别

针对辐射源识别中噪声敏感和识别能力不足等问题,提出了一种基于核空间时频特征与栈式稀疏降噪自编码网络的识别系统.通过时频变换、稀疏域降噪和核空间降维投影降低噪声干扰和特征冗余,基于降噪自编码与稀疏自编码思想构建栈式稀疏降噪自编码识别网络.实验结果表明系统在识别率和时效性上综合性能最优,能够显著降低噪声敏感性,低信噪比环境下适应性较强.当信噪比为-12dB时,系统对8类辐射源信号的整体平均识别率达到96.75%.

基于核协同表示与鉴别投影的辐射源调制识别

针对辐射源识别中的特征稳定性不高和低信噪比环境适应性不足等问题,提出了一种基于二次时频分布、核协同表示与鉴别投影的识别方法.首先,通过时频变换、稀疏域降噪和二次特征提取的预处理算法降低噪声干扰和特征冗余,以获取高稳定性的二次时频分布特征;然后,采用核协同表示和鉴别投影思想进行降维学习和字典学习,以提升数据低维表征和类间鉴别能力;最后,通过离线训练完成系统优化并用于分类验证.仿真结果表明,二次时频分布特征具备较高稳定性,识别方法具备较强鲁棒性、时效性和适应性;当信噪比为-10dB时,该方法对8类辐射源信号的整体平均识别率达到96.88%.

反应堆辐射屏蔽多目标优化方法研究

为解决基于蒙特卡罗方法的传统屏蔽优化方法效率低、可应用性差的缺点,本文基于精英策略的非支配排序遗传算法(NSGA-Ⅱ)和小批量随机梯度下降法(MBGD)对反应堆屏蔽优化方法进行了研究,同时改进了遗传算法自适应变异率算子以增强遗传算法的全局寻优能力,提出了反应堆屏蔽多目标优化方法。构建反应堆二次屏蔽多目标优化模型,将蒙特卡罗方法与神经网络预测方法输出的屏蔽后归一化中子透射率进行对比,验证了MBGD的准确性。通过神经网络与NSGA-Ⅱ的耦合对屏蔽参数进行约束寻优,能够快速找到屏蔽设计模型的Pareto前沿,可实际应用于反应堆辐射屏蔽多目标优化工程设计。