基于复合卷积和自注意力的会话推荐

最近,基于卷积神经网络(convolutional neural networks,CNN)的方法显示了在会话数据建模中的潜力,尤其是在提取用户复杂的局部行为交互方面。递归神经网络(recurrent neural networks,RNN)很难从远距离学习项目依赖,而自注意力(self-attention,SA)结构具有对会话事件的顺序进行建模并捕获远距离项目之间交互关系的能力,对于会话数据来说是一种优越的选择。因此提出了一种复合卷积自注意力架构(compound convolutional and self-attention network,CCNN-SA)。该架构利用了两个卷积模块提取的复杂局部特征,同时使用了多头自注意力结构从会话事件中学习长期交互关系,这种灵活而统一的网络体系结构有利于对会话序列的各种重要特征进行综合建模。在两个来自电子商务的基准数据集上对所提出的模型进行了验证,在表征命中率和预测结果排名的评估指标Recall@20和MRR@20上,对于YOOCHOOSE数据集分别提升了2.79%和5.87%,在DIGINETIC数据集上分别提升了2.17%和6.43%,验证了模型的有效性与合理性。

注意力机制与复合卷积在手写识别中的应用

将图片切分成单“字”识别再连接成“串”是脱机手写图像识别的一种方法,但由于手写字符间易存在粘连,切分方法不易实现。卷积循环神经网络(CRNN)虽解决了整张文本图片输入,标签却不易对齐的问题,但由于不同人脱机手写风格的严重差异,网络提取出的特征表示力不够。对此提出了加强型卷积块注意力模块和复合卷积,并将其加入处理脱机文本识别的CRNN+CTC主流框架中。加强型卷积块注意力模块增大输入特征图的贡献权重且并联地使用通道注意力、空间注意力,丰富了细化特征图语义信息的同时避免了通道注意力模块对空间注意力模块的权重干扰,使得网络更聚焦图片中的有用特征而非无用的拖拽字迹特征。而嵌入在网络深层的复合卷积采用的多卷积核卷积意味着不同尺度的特征融合,增强了网络的泛化性。基于加强型卷积块注意力模块和复合卷积的CRNN+CTC框架在具有语义信息的IAM数据集上准确率达到85.7748%,字符错误率为8.6%;在RIMES数据集上准确率达到92.8728%,字符错误率为3.9%,比起当前主流的脱机文本识别算法,性能进一步提升。

基于复合卷积层神经网络结构的焊缝缺陷分类技术

X射线检测方法被广泛应用于焊缝内部缺陷的检测过程,但检测过程主要依靠人工查看X射线图像对产品质量做出评级,此种检测方式效率低且需要操作人员丰富的检测经验,难以满足批量检测需求,亟需借助卷积神经网络的方法提升其检测效率。因此提出一种复合卷积层网络结构的CC-ResNet模型,将不同尺度的卷积核复合为一层卷积,替换单个卷积核结构,并对模型训练过程中的损失函数进行优化。使用车间产品焊缝X射线图像建立数据集,通过对CC-ResNet网络模型进行实验可得,其平均召回率和平均准确率为98.52%和95.23%,与其他网络模型相比提高了缺陷检测能力,为车间进行焊缝缺陷的智能化和批量化检测提供了算法基础。

相控阵雷达移频卷积复合调制干扰方法研究

为实现对采用线性调频信号的相控阵雷达灵活有效干扰,解决稀疏与密集多假目标干扰信号快速生成问题,将卷积调制和移频调制有机结合,给出了一种移频卷积复合调制的相控阵雷达干扰方法.理论分析与仿真结果表明,该方法可充分利用卷积与移频调制的各自优点,不仅能在真实目标前后或周围快速生成稀疏多假目标,而且通过适时调整卷积脉冲串的重复周期,亦可快速生成密集假目标干扰并将真实目标"淹没",形成了类似压制的干扰效果.

应用改进卷积神经网络的网络安全态势预测方法

针对神经网络态势预测模型训练复杂度高的问题,提出了一种基于改进卷积神经网络的态势预测方法。结合深度可分离卷积与分解卷积技术的优点,提出了一种基于复合卷积结构的改进型卷积神经网络安全态势预测模型,实现了态势要素和态势值的映射。实验仿真结果证明,相比于已有的典型预测方法,该方法明显降低了复杂度,减少了预测时间,并提升了预测准确率。

基于深度学习的场景文字检测方法的研究

针对场景文字定位与识别的问题,通过对VGG-19卷积神经网络进行改进,提出一种新模型Q-VGG19模型。该模型采用复合卷积层来替代原网络中部分卷积层,并结合全卷积网络模型的思想,融合多个卷积阶段的特征,将低卷积层丰富的空间位置信息来弥补高卷积层中损失的细节信息,实现了对场景文字区域的高效识别,提升了模型对小文本区域的检测性能。本文还结合文字检测交并比评价指标,将模型分割出的文本候选框进行补偿扩大,以提高交并比。本文实验在ICDAR2015,MSRA-TD500两个数据集上得到较好的效果。

基于改进VGG-16模型的英文笔迹鉴别方法

笔迹鉴别是通过对待测文本和样本笔迹的相似度进行比较,来判定笔迹是否相同的一种检验技术,其在司法鉴定、法庭科学以及金融领域合同确认等多个领域都有广泛的应用.传统英文笔迹鉴别方法是通过比对被鉴别文本与模板的相似程度来实现,效率低,准确度差.近年来,随着深度神经网络技术的飞速发展,利用其自主学习的优势提取相关特征,可以大大提高笔迹鉴别的准确率.传统VGG-16模型在图像分类上一直表现良好,但由于网络结构一直采用顺次连接的方式,导致训练时间过长,参数调整难度大,且不能很好地提取图像的细微特征,因此对笔迹鉴定的效果不够理想.本文通过对传统VGG-16卷积神经网络模型进行改进,提出了一种CC-VGG网络模型,利用复合卷积层替换部分卷积层,实现了手写体英文笔迹的自动鉴别.在公开的CVL和ICDAR2013数据集上,该模型取得了较好的鉴别效果,平均正确率分别达到92.7%和86.9%,与现有算法相比准确率均有所提高.此外,建立了一个包含130类、共26000张图片的手写英文笔迹图像数据集EI130,在该数据集上该模型也取得了较高的准确率.与其他算法的对比实验证明了本文算法在训练时间上具有优越性;此外,在多个数据集上的实验结果也证明了本文算法的有效性和先进性.