神经网络过拟合问题的DROPOUT优化

过度复杂的神经网络模型很容易发生过拟合现象,从而使训练数据的错误率降到很低,甚至可以到0,但在测试数据上预测不准确。文章针对过拟合问题,使用一种dropout算法来解决此问题。在pytorch上搭建神经网络实验环境,分析和实验结果表明,该方法能有效解决神经网络的过拟合问题。

基于pytorch的神经网络优化算法研究

自从Alphago战胜人类职业围棋选手以来,科研领域就掀起了深度神经网络研究的热潮,而优化器是神经网络训练各神经元之间参数学习的核心算法。经过分析目前多个最具影响力的神经网络优化算法,总结各算法的优缺点,并通过主流的神经网络框架Pytorch搭建神经网络对不同的优化算法进行测试,对比参数收敛速度及误差率。测试表明在相同学习率、相同批量大小、用相同数据训练同一神经网络的情况下,不同的优化算法对神经网络参数收敛速度和误差率影响很大。

轻量化双通道图像语义分割模型

深层神经网络兴起后,语义分割算法模型在常用的室内外分割数据集上取得了很高的分割精度。当今模型多为编解码结构,通过多层下采样的卷积网络对原图像进行编码,然后通过对称或非对称的解码网络还原图像尺寸,输出语义分割图,虽然可以提高分割精度,但模型复杂度高,参数量大,难以在汽车、手机等移动设备上使用。在保证分割精度的前提上,模型参数量降低,分割效率提升。为了保证分割精度,图像的特征提取分空间特征提取和上下文特征提取两条路径,将不同类型特征图融合后上采样还原;同时使用1×1卷积减少卷积通道,极大降低了参数量。在camvid数据集上测试,模型参数量仅为5.8M,并取得了58.6%的MIOU,保证分割精度的前提下,大程度降低参数量。

基于深度全卷积神经网络的图像识别研究

将要建立多层卷积网络模型,并使用AlexNet预训练模型,在此基础上进行迁移学习,使用kaggle的猫狗数据集进一步训练,模型最终能高灵活度、高准确率的识别猫狗图像,并且不受图像中猫狗的占比大小影响。该网络模型共有6 000万参数,一共包含8个卷积层,其中某些卷积层带有归一化层和池化层,最后一层是具有两个通道的图像输出,每个通道的值分别代表图像为猫和狗的概率。整个网络模型,弃用全连接层,选用全卷积网络来代替全连接层,大大提高网络的灵活性,解决了输入图像分辨率的限制问题,并且全卷积网络的前向传播更加高效,加快了训练的速度。为了方便分析以及进一步的研究,将可视化一层卷积和二层卷积所得到的卷积核和特征图。