基于多类型池化卷积神经网络的文本分类

为了解决传统的基于机器学习方法的文本分类耗时耗力、不具备通用性、效果不好的问题及提高短文本分类的效果,文章提出了一种基于多类型池化的卷积神经网络分类方法。文章首先使用CNN(卷积神经网络)提取短文本的特征信息,然后利用多种类型的池化操作对提取的特征信息进行筛选,得到最终的分类依据。通过实验表明,文章提出的方法在短文本分类上要优于其他CNN分类模型和一些传统的机器学习方法。

基于一维卷积混合神经网络的用户兴趣分类

个性化推荐系统的关键是挖掘用户的情感偏好,而网络中大量的用户浏览行为记录为此提供了线索。传统描述兴趣度采用的方法是选择典型的浏览行为构造多元线性回归模型,然而浏览行为之间相互联系,容易导致共线性问题。为了提高挖掘用户兴趣的准确度,引入卷积神经网络(CNN)和胶囊网络(CapsNet),提出一种混合神经网络预测模型。首先,在卷积神经网络中对多种浏览行为使用一维卷积和最大池化操作提取局部特征;其次,在胶囊网络中将卷积网络输出的特征向量作为胶囊层的输入,使用动态路由算法对行为特征进行整体特征提取;最后,使用softmax分类器进行兴趣预测分类。实验结果表明,该模型在训练集的准确率高达95.8%,同时在测试集上的准确率都优于CNN和CapsNet,且该模型在训练过程中交叉熵损失明显低于CNN和CapsNet。采用该方法可以利用多种浏览行为准确挖掘用户的兴趣,提高了推荐系统的服务质量。

基于CNN的路面裂缝图像分类

笔者提出一种基于CNN理论的的裂缝分类模型,共包括七层:输入层、两个卷积层、两个池化层、全连接层和输出层。该模型以Re LU函数作为激活函数,采用最大池化方法进行降维操作,并利用Softmax分类器将裂缝分为横向裂缝、纵向裂缝以及复杂裂缝(包括网状和块状)。实验数据选用4 000幅裂缝图像开展训练,选用1 000幅裂缝图像进行测试。结果表明,该基于CNN的裂缝分类方法具备良好的分类效果。

基于多粒度区域相关深度特征学习的行人重识别

在对行人重识别的研究中,联合使用从图像中提取的全身与局部特征已经成为当前的主流方法。但是许多基于深度学习的重识别模型在提取局部特征时忽略了它们在空间上的相互联系,当不同行人具有局部相似的外观时,这些局部特征的辨别能力会受到很大影响。针对该问题,提出了一种学习多粒度区域相关特征的行人重识别方法。该方法在对骨干网络提取的卷积特征张量作不同粒度的区域划分后,设计了区域相关子网络模块来学习融入空间结构关系的各局部区域特征。在区域相关子网络模块中,为了赋予局部特征与其他区域相关联的空间结构信息,综合利用了平均池化运算的空间保持能力与最大池化运算的性能优势。通过对当前特征和其他各区域的局部特征进行联合处理,使各局部特征间产生很强的空间相关性,提升了特征判别能力。在区域相关子网络模块的设计上,采用了与深度残差网络相同的短路连接结构,使得网络更易于优化。最后,由全身特征与使用区域相关子网络增强后的各局部区域特征联合实现行人重识别。Market-1501,CUHK03,DukeMTMC-reID 3个公开数据集上的实验结果表明,所提算法取得了优于当前主流算法的行人身份匹配准确率,具有非常优秀的重识别性能。

基于PACGAN与差分星座轨迹图的辐射源个体识别

深度学习解决个体识别的一个突出问题是难以获得足够样本对网络进行训练,针对该问题,提出了一种基于PACGAN(Pooling Auxiliary Classifier Generative Adversarial Network)的辐射源个体识别算法。该算法针对输入信号的差分星座轨迹图进行处理,并对辅助分类生成式对抗网(ACGAN)进行了适应性改进。在判别器网络中引入池化操作,增强其在多分类任务中的特征提取能力;针对样本图像特征大量边缘分布的情况,添加零填充层以增强其边缘特征提取能力,增大卷积层感受野以提取全局性特征。通过对五种ZigBee设备的实验,结果表明本文提出算法在小样本条件下相较于其他方法具有更高的准确性。

基于点云卷积神经网络的蛋白质柔性预测

目的蛋白质的柔性运动对生物体各种反应有着重要意义,基于蛋白质的空间结构预测其柔性运动是蛋白质结构-功能关系领域的重要问题。卷积神经网络(convolutional neural network,CNN)在蛋白质结构-功能关系研究中已有成功应用。方法本研究借鉴计算机视觉研究中PointNet方法的思想,提出了一种蛋白质柔性预测的CNN模型。在该模型中,分别使用池化操作和空间变换网络来处理蛋白质原子三维点云的排列不变性和整体旋转不变性,针对蛋白质分子大小不一的特点,将大小不等的蛋白质小批量输入网络进行训练,并使用Pearson相关系数作为评价指标。此外为提升模型性能,在CNN模型的基础上,通过最大池化和平均池化串联的方法提取体系的全局特征,增强蛋白质全局信息的提取能力。利用243个非冗余蛋白质的B因子对所提出的模型进行训练和测试。结果基于PointNet的CNN模型和改进模型对蛋白质B因子的预测值与实验值的平均Pearson相关系数分别为0.64、0.65,优于广泛应用的高斯网络模型(Gaussian network model,GNM)。尤其,对于天然无序蛋白质柔性的预测,本方法明显优于GNM。结论本研究为蛋白质的柔性预测提供了有效的模型。

一种误差梯度变化平滑的目标检测算法

在YOLOv5算法的基础上提出一种改进梯度变化的目标检测算法.该算法在YOLOv5的基础上,保留其骨干网络框架,在其特征处理部分中,对池化操作进行替换,将原本的最大池化操作替换为平滑池化操作,同时将特征处理部分的Leaky ReLU激活函数替换为Mish函数.经过上述修改后的检测算法在训练阶段的误差反向传播过程中能够令权重参数具有更加平滑的梯度变化.