基于Gabor卷积和Transformer的课堂表情识别研究

为了针对复杂环境变化无法精准识别学生表情问题,本文设计了一个基于Gabor卷积和Transformer的表情识别模型Gabor-Vision-Transformer(GVT).将Gabor卷积和Transformer的思想相结合,设计了一个特征提取块GVT-Block.首先通过Gabor卷积提取富含丰富纹理和边缘信息的面部局部特征,再通过Transformer提取全局数据之间的长距离信息,从而更好地学习面部关键特征,显著提高模型的分类效果.GVT模型在RAF-DB和FER2013Plus数据集上的准确率分别为88.56%和87.38%,并与多个模型进行对比实验和分析,验证了本模型效果的优越性.

基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割

针对室内场景下光照变化、物体相互遮挡以及类别复杂等问题,提出了一种基于双流加权Gabor卷积网络融合的彩色-深度(RGB-D)图像语义分割方法。为了获得方向和尺度不变性特征,设计了一种加权Gabor方向滤波器用于构建深度卷积网络(DCN),提取对方向和尺度变化具有适应性的特征信息。为了构建轻量级特征提取网络,采用宽残差-加权Gabor卷积网络分别提取彩色和深度双流图像特征,并利用金字塔池化模块对提取的深度特征进行多尺度融合以丰富图像上下文信息。对所提语义分割方法在NYUDv2数据集上进行实验,分别设置不同的对比方法。结果表明所提方法具有合理性和有效性,并在分割效果上具有一定的竞争性。

基于Gabor卷积神经网络的图像分类算法研究

为了研究Gabor滤波器在卷积神经网络中的性能和特征提取能力,提出了模拟视觉神经元特性的Gabor卷积神经网络计算模型。利用符合视觉神经元感知特性的Gabor滤波器作为建议神经网络的卷积核,将Gabor滤波器与CNN相结合,从而构建Gabor卷积神经网络。实验采用3个公共图像数据集进行图像分类任务,验证GaborConv网络的各项性能,并与经典的VGG16进行对比分析。实验结果表明,Gabor卷积神经网络的图像分类精度相对CNN有所提高,其收敛速度也明显加快,同时大量减少网络训练参数数量,释放计算机的内存。

嵌入注意力的GaborCNN快速人脸表情识别方法

人脸表情识别是智能人机交互研究的基础问题之一,面部情绪变化与嘴、眼睛、眉毛、鼻子等区域密切相关,这些特征对识别表情非常重要。为此,提出一个由4个Gabor滤波卷积层、注意力模块和两个全链接层组成的注意力Gabor卷积网络,同时使用不平衡损失focalloss对网络进行优化。首先,通过Gabor核与传统卷积滤波器调制的Gabor定向滤波器相较于传统卷积滤波器能更好地捕获感兴趣区域的信息,然后利用通道注意力、空间注意力模块提取区域中更关键的特征。在FERPlus和RAF-DB数据集上的实验表明,该模型结构简单、易于训练、计算成本低,识别精度分别达到88.39%、87.22%。

一种快速红枣表面缺陷识别方法

随着产品市场化程度越来越高以及人们消费水平的提高,低成本、高效以及可靠的自动化果品分级设备或技术飞速发展。文章提出一种红枣表面缺陷快速识别技术,先以ERFNet为主干分割红枣区域,然后采用Gabor卷积神经网络(GCN)对红枣区域进行识别。提出方法识别准确率达到98.7%,处理速度约20帧/秒。