多分支精简双线性池化的人脸表情识别

针对人脸表情识别研究中特征提取不充分、难以辨别人脸表情细微的类间差异等问题,提出了一种多分支精简双线池性化的人脸表情识别方法。该方法以ResNet-18为基础,在避免大幅度增加计算复杂度的前提下提升ResNet-18的特征提取能力,提出了一个新的多样化分支块(diverse branch block)对ResNet-18进行改进;为使改进后的ResNet-18更方便地聚焦人脸图像中产生表情区域的特征,提出了残差空间注意力;为了减少人脸表情细微的类间差异带来的不利影响,增强人脸表情类间的区别性,设计了多分支精简双线性池化结构。最后用所提的方法分别在公开的人脸表情数据集CK+、RAF-DB进行实验,识别率分别达到了98.46%、82.99%。实验结果表明,该方法的识别率优于DLP-CNN、MA、DeepExp3D等诸多的表情识别方法,具有一定的竞争性。

一种改进Faster R-CNN的图像篡改检测模型

随着人工智能的发展,数字图像被广泛应用于各大领域。然而,图像编辑软件的出现导致大量图像受到恶意篡改,严重影响了图像内容的真实性。图像篡改检测的研究不同于通用的目标检测,它需要更加关注图像本身的篡改信息,而这些信息表现形式往往比较微弱,所以检测时需要侧重于学习更丰富的篡改特征。提出一种结合梯度边缘信息和注意力机制的双流Faster R-CNN模型,可以实现不同篡改类型区域的检测定位。双流之一为原色流,利用注意力机制提取图像的表层特征,如亮度对比、篡改边界的视觉差异等。双流之二为梯度流,利用梯度高通滤波器增强真实区域与篡改区域之间的边缘异常特征,使模型更容易发现篡改图像中微弱的篡改痕迹。通过紧凑型双线性池化将原色流和梯度流的特征进行融合。由于公开可用的图像篡改数据集规模较小,基于PASCAL VOC 2012数据集创建了规模为10000幅的图像篡改检测数据集,用于模型预训练。在COVER、COLUMBIA和CASIA数据集上的检测结果表明,所提模型的检测精度相比当前最好模型的提高了7.1%~9.6%,并在JPEG压缩和图像模糊攻击下表现出了更高的鲁棒性。

基于空-谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络(SSF-Net)的高光谱图像分类方法。首先,利用双通道卷积神经网络(Two-CNN)同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化(MCB)将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。

基于多通道压缩双线性池化的情感-原因句子对提取模型

提出一个基于多通道压缩双线性池化的模型,对文档中的候选情感-原因句子对进行排序。该模型利用图注意力网络提取包含位置信息的情感特定化表示和原因特定化表示,通过局部关系学习模块,进一步学习情感与原因句子之间的局部关系表示,再使用多通道压缩双线性池化来融合学习情感-原因候选句子对表示。最后,对候选句子对进行排序。实验结果表明,与最新模型相比,所提模型在多方面表现更优。

基于三维双流网络的视频目标移除篡改取证

为了解决目标移除篡改视频时域检测和定位不准的问题,提出了一种基于三维双流网络的视频篡改取证方法。首先,利用空域富模型(SRM)层提取视频帧的高频信息;然后,使用改进的三维卷积(C3D)网络作为双流网络的特征提取器从高频图像帧和原始视频帧中分别提取高频信息和低频信息;最后,通过紧凑双线性池化(CBP)层将两组不同的特征向量融合成一组特征向量并用于分类检测。实验结果表明,在SYSU-OBJFORG数据集中,所提方法在全部视频帧中的分类准确率上具有优势,使视频目标移除篡改时域检测和定位更加准确。