改进Softmax分类器的深度卷积神经网络及其在人脸识别中的应用

提出了一种有效的特征学习方法,构建了9层结构的卷积神经网络,利用Softmax回归算法进行人脸分类识别.卷积神经网络在输出层利用改进的Softmax进行分类,在隐藏层采用修正线性单元作为激活函数,并在网络中加入局部响应归一化处理,有效避免了梯度消失问题.利用大量人脸图像数据对网络进行预训练,得到较好的网络初始权重.在针对YALE,FERET,LFW-A等人脸数据库进行人脸识别实验中,与现有的几种人脸识别方法 SDAEs,RRC,MPCRC,CRC,SRC等进行对比表明,该方法在各人脸数据库的识别中均得到较高的识别率.

地方高等师范院校的责任与使命——基于山东师范大学教师教育的调研

通过从课程设置、课堂教学、实践教学等层面对山东师范大学教师教育进行调研,发现在课程设置方面,存在着课程结构失衡——重"学术性"轻"师范性"的倾向以及课程内容陈旧、脱离实践的问题;在课堂教学方面,存在着教学方式机械及教师专业实践弱的问题;在实践教学方面,存在着认识陈旧、形式单一、管理松散的问题。建议在今后的改革中优化教师教育课程结构,突出专业特色;重视实践类课程,强化实践取向;深化课堂教学方法改革,提升教学质量。

基于并列卷积神经网络的超分辨率重建

为提取更多有效特征并提高模型训练的收敛速度,提出一种基于并列卷积神经网络的超分辨率重建方法。该网络由两路不同结构的网络组成:一路为简单的残差网络,其优化残差映射比原始的映射更容易实现;另一路为增加了非线性映射的卷积神经网络,增强了网络的非线性能力。随着并行网络结构的复杂化,收敛速度慢成为突出问题。针对这个问题,在卷积层后添加正则化处理,以简化模型参数、增强特征拟合能力,最终达到加快收敛的目的。实验结果表明,与基于深度卷积神经网络算法相比,该网络结构收敛速度更快,主观视觉效果更好,峰值信噪比(PSNR)平均提高了0.2dB。

缺失数据下局部估计的弱相合性和渐近正态性

在缺失响应变量的不完全数据下,对非参数回归模型进行研究.利用局部线性回归方法,给出了回归函数m(x)的估计,并给出了条件偏差和条件渐近方差,证明了缺失数据下局部估计具有渐近正态性和弱相合性.

联合迁移学习和自适应学习率的苹果成熟度识别

针对目前用于苹果成熟度识别的卷积神经网络存在训练时间长,训练样本多的不足,提出了联合迁移学习和自适应学习率的识别方法。首先,选用结构较小的VGG-F模型作为预训练模型;然后在VGG-F模型的训练过程中融入局部响应归一化的数据预处理、以函数损失为依据的学习率自适应调整和优选动量值的三种训练策略;最后将已构建的图像样本用于调整后的模型进行重训练和测试。实验结果表明,相比于基本VGG-F模型、具有深层结构的VGG-16和VGG-19模型,文中提出的模型将平均识别准确率分别提高7.5%、6.33%和4.5%,且重训练时间远少于其他三种模型,从而验证了文中方法在解决苹果成熟度识别问题时具有训练成本低和识别准确率高的优势。

全卷积神经网络的字符级文本分类方法

传统卷积神经网络文本分类模型全连接层参数过多易引发过拟合问题,为此,将图像分割中的全卷积思想首次引入字符级文本分类任务中,不仅避免了过拟合问题,而且通过卷积层替换全连接层减少了参数数量,从而加快了模型收敛速度。文本分类问题中单词、短语等层面的处理方式存在获取文本信息不充分的问题。使用字符级全卷积神经网络进行文本分类,充分获取文本信息,并在卷积池化层后添加局部响应归一化层(LRN),提高了模型的总体性能。通过使用多指标在测试数据集中进行模型评估,充分验证了该模型的有效性,与其他模型相比,提出的模型在二分类与多分类任务中具有更好的分类性能。

基于迷你卷积神经网络的停车场空车位检测方法

针对日益严峻的停车难问题,提出一种基于改进卷积神经网络停车场空车位检测方法。首先,根据车位只需用两种状态来表示其占空的特点,对传统卷积神经网络结构进行改进,提出迷你卷积神经网络(MCNN)的概念;然后,通过减少网络参数来减少训练和识别时间,并在网络中加入局部响应归一化层以加强对明度的校正,以及使用小卷积核来获取更多图像细节;最后,对视频帧图进行手动掩码设置,通过边缘检测切割成单个车位图,并使用训练好的MCNN进行车位识别。实验结果表明,与传统机器学习方式相比,基于MCNN的检测方法识别率能提高3~8个百分点,同时网络参数仅为常规使用卷积模型的1/1 000,且在文中所述的几种不同环境中,识别率的均保持在92%以上。实验结果表明,MCNN可移植到低配置摄像头,实现停车场空车位自动检测。

基于多通道图像深度学习的恶意代码检测

现有基于深度学习的恶意代码检测方法存在深层次特征提取能力偏弱、模型相对复杂、模型泛化能力不足等问题。同时,代码复用现象在同一类恶意样本中大量存在,而代码复用会导致代码的视觉特征相似,这种相似性可以被用来进行恶意代码检测。因此,提出一种基于多通道图像视觉特征和AlexNet神经网络的恶意代码检测方法。该方法首先将待检测的代码转化为多通道图像,然后利用AlexNet神经网络提取其彩色纹理特征并对这些特征进行分类从而检测出可能的恶意代码;同时通过综合运用多通道图像特征提取、局部响应归一化(LRN)等技术,在有效降低模型复杂度的基础上提升了模型的泛化能力。利用均衡处理后的Malimg数据集进行测试,结果显示该方法的平均分类准确率达到97.8%;相较于VGGNet方法在准确率上提升了1.8%,在检测效率上提升了60.2%。实验结果表明,多通道图像彩色纹理特征能较好地反映恶意代码的类别信息,AlexNet神经网络相对简单的结构能有效地提升检测效率,而局部响应归一化能提升模型的泛化能力与检测效果。

改进的LeNet-5网络在图像分类中的研究

LeNet-5卷积神经网络(LeNet-5 Convolutional Neural Network)虽然在手写数字识别中取得了不错的成绩,但是对具有复杂纹理特征的图像进行分类时准确率不高。针对LeNet-5网络对低层次特征利用率较低的问题,引入跨连结构,将第1个池化层和第2个池化层向后传播的同时与第2个全连接层相连,充分地利用网络提取的低层次特征。针对LeNet-5网络泛化能力低的问题,采用重叠池化并在后面加上局部响应归一化操作,提高网络的泛化能力。在Fer2013、Cifar-10和Fashion-MNIST数据集上进行的实验结果表明,与LeNet-5卷积神经网络相比,改进的LeNet-5卷积神经网络在复杂纹理特征数据集上表现出了更好的分类能力。

基于多尺度卷积神经网络的人脸润饰检测算法

针对目前人脸润饰检测算法特征提取复杂、识别率低的问题,提出了一种基于多尺度卷积神经网络的人脸润饰检测算法.不同于传统的卷积神经网络,本文的网络增加了图像预处理,利用基于方向梯度直方图(Histograms of Oriented Gradient, HOG)特征的人脸提取算法从原始图像中提取出人脸部分;在第一个池化层后连接局部归一化(Local Response Normalization, LRN)层,加速模型的收敛;提出了多尺度卷积层,将大小为1×1, 3×3和5×5的卷积核进行级联,提高模型分类效果.实验结果表明,本文算法的检测精度在人脸润饰数据集LFW和ND-IIITD分别达到99.5%和92.9%,相比于主流网络结构和最新人脸润饰检测算法,检测精度有显著提高.