基于自适应纹理特征融合的纹理图像分类方法

现有基于深度学习的图像分类方法普遍缺少纹理特征的针对性,分类精度较低,难以同时适用于简单纹理和复杂纹理分类。提出一种基于自适应纹理特征融合的深度学习模型,能够结合类间差异性纹理特征做出分类决策。首先,根据纹理特征的最大类间差异性,构建图像的纹理特征图像;然后,采用原始图像与特征鲜明的纹理特征图像并行训练改进的双线性模型,获取双通道特征;最后,基于决策融合构建自适应分类模块,连接原图与纹理集的平均池化特征图进行通道权重提取,根据通道权重融合2个并行神经网络模型的分类向量,得到最优融合分类结果。在KTH-TIPS,KTH-TIPS-2b, UIUC和DTD 4个公共纹理数据集上对模型的分类性能进行评估,分别得到了99.98%、99.95%、99.99%和67.09%的准确率,表明所提模型具有普遍高效的识别性能。

基于双线性插值的单目标检测算法

针对已有算法对于空中小目标检测效果差、精度低、漏检等问题,提出一种基于双线性插值的单目标检测算法。对主干网络进行设计,再根据特征图的特点,使用不同的方法进行特征融合。在特征融合的过程中使用双线性插值算法进行上采样。对算法的先验框进行设计,使算法的先验框尺寸与数据集目标框尺寸更加契合。实验结果表明,提出算法的平均检测精度对比SSD提升了10.29%,算法计算量对比Faster-RCNN减少了82.18%。

融合多模态数据的中文医学实体识别研究

[目的/意义]医学实体识别是医疗健康知识挖掘和知识组织的关键环节。深入挖掘多模态数据间语义关联可以提升医学实体识别效果,进而为领域知识补全和知识推理提供支撑。[方法/过程]提出一种基于双线性注意力融合机制的多模态中文医学实体识别模型BAF-MNER。首先通过视觉和文本编码器进行多模态医学数据的语义特征学习;接着利用双线性注意力网络实现图像和文本跨模态语义交互,并引入门控机制过滤视觉噪声;然后融合基于注意力机制的视觉特征和文本特征进而构建多模态特征表示,同时增加批量归一化层优化深度神经网络;最后将多模态特征向量输入CRF层解码获取预测标签。[结果/结论]本模型能够有效提升中文医学实体识别效果,在多模态医学数据集上的F1值较单模态基线模型提升4.07%,较多模态基线模型提升1.65%;在多模态公开数据集上的实验表明模型具有良好的泛化能力。

基于图卷积和双线性注意力网络的药物靶标亲和力预测

药物靶标亲和力预测在药物研发中扮演着重要的角色。针对现有预测方法大多忽略药物分子的二维结构信息、缺乏深层表征融合学习的问题,提出了基于图卷积和双线性注意力网络的药物靶标亲和力预测模型(GBN_DTA)。该模型首先基于多层图卷积神经网络编码药物分子图,同时结合1D-CNN和双向长短期记忆网络(BiLSTM)编码靶标序列;然后使用双线性注意力网络融合编码后的药物和靶标特征,最终获得亲和力预测分数。实验结果表明,该模型在DAVIS和KIBA数据集上的性能均优于其他6种主流方法,有效提升了预测准确率。

结合注意力的纺织品瑕疵检测方法研究

本文阐述了一种名为SAAM-YOLOX的基于改进YOLOX的纺织品瑕疵检测模型,旨在解决纺织品瑕疵检测中针对犬牙花纹与格纹背景中出现的误检和漏检问题,以及整体检测精度不高的问题。在特征提取阶段,该模型引入了离散余弦变换所构建的多分支离散余弦注意力机制(multi-branch discrete cosine attention,MDCA),能够解决模型在犬牙花纹与格纹背景中出现的误检和漏检问题,并且在检测精度上有一定的提高;在特征融合阶段,为了聚集和加强不同尺度的语义特征,SAAM-YOLOX模型采用了尺度聚合技术和注意力机制来构建尺度聚合注意力模块(scale aggregation attention module,SAAM)。在SAAM的上采样过程中,使用双线性插值结合自注意力机制来增强特征信息的有效性,从而进一步提高检测的精度。在完成尺度聚合后,加入注意力模块来增强混合尺度的特征表示,最终实现提高检测效果的目的。实验结果表明,本文检测模型解决了犬牙花纹与格纹背景中出现的误检和漏检问题,并且提高了瑕疵检测的精度。

基于多模态遥感影像的边缘感知引导显著性检测

针对多模态遥感影像显著性检测鲁棒性差和检测精确度不佳等问题,提出一种基于多模态边缘感知引导的显著性检测方法,该方法主要由多模态遥感影像显著检测主干网络、跨模态特征共享模块和边缘感知引导网络构成。通过在特征提取主干网络中加入跨模态特征共享模块,使得不同模态间特征通过共享交互实现协同增强,并且抑制具有缺陷的特征信息。基于边缘感知引导网络,通过边缘图监督模块来检测边缘特征的有效性,从而生成准确边界。在3种显著目标检测遥感图像数据集上进行实验,平均的F_(β)、平均绝对误差(MAE)、S_(m)分数分别为0.9176,0.0095和0.9199。实验结果表明,提出的多模态边缘感知引导网络(MEGNet)适用于在多模态场景中进行显著性检测。

基于特征融合的FL-BCNN鱼类识别算法研究

为了解决水下相机设备捕获的鱼类图像质量差、数据量不均匀等难以准确识别鱼类的问题,提出一种基于特征融合的FL-BCNN鱼类识别算法。对B-CNN算法进行改进,融合不同卷积层的特征,提高细粒度特征的表达能力,解决了图像质量差引起的特征不明显的问题。利用焦点损失函数(Focal Loss)解决样本数据不平衡的问题,提高水下鱼类图像的识别能力。利用F4K(15)数据集与四个已有算法进行鱼类识别对比实验。实验结果表明,FL-BCNN鱼类识别算法的识别精度较高,具有较好的识别速度,可以有效解决鱼类识别中样本不平衡的问题。

基于双线性特征融合方法的畸变失真图像质量评价

针对畸变失真图像影响后续图像信息获取的问题,提出了一种基于双线性特征融合方法的畸变失真图像质量评价算法。首先基于人类视觉对图像结构特征敏感的特点提取结构图像,然后将原始图像和结构图像作为双流卷积网络的输入,将两支路网络输出的低层结构特征和高层语义特征通过双线性池化层进行特征融合,最后通过全连接层输出图像质量预测分数。为了验证算法的有效性,在4个公开的图像数据集LIVE、CSIQ、MLIVE与TID2013上进行实验。结果表明,所提算法与当前的失真图像质量评价算法相比,在LIVE、CSIQ和MLIVE数据集上斯皮尔曼等级相关系数(Spearman rank-order correlation coefficient,SROCC)和皮尔逊线性相关系数(Pearson linear correlation coefficient,PLCC)指标至少提升0.2%左右,在TID2013数据集上SROCC值至少提升0.5%左右。所提算法评价结果与人类视觉主观感知有较好的一致性,对多种失真图像质量评价可以取得不错的效果。

基于鉴别注意力融合的仪表细粒度分类方法

基于视觉的仪表自动巡检读数是一项重要的研究内容;仪表的读数通常通过检测指针的位置来确定;不同规格型号的仪表,指针指向相同位置所代表的具体读数不同,因此,预先识别仪表的详细类别是进行自动读数的重要前提。为提升仪表自动读数的便捷性和准确率,提出了一种基于鉴别注意力融合的仪表细粒度分类方法。首先利用YOLOv5对仪表表盘进行粗提取,随后使用提出的模型对表盘进行细粒度识别;无需标注显著特征,在特征提取器上添加鉴别注意力模块,补充浅层空间和位置信息对仪表细粒度分类的引导作用;生成的鉴别粒度注意力图和骨干网络最后一层输出的特征图进行双线性融合,生成特征矩阵;引入正交损失,对生成的特征矩阵进行约束处理;构建仪表细粒度分类数据集。理论分析和实验结果表明,所提仪表细粒度分类方法提高了网络对表盘鉴别粒度区域的识别能力,有效改善了仪表细粒度分类的性能,为后续仪表智能准确的读数提供了保证。

基于双线性融合的多模态细粒度情感分析

为充分挖掘多模态情感分析中不同模态内部消息及其复杂的交互关系,消除噪声干扰,最大化发挥数据融合的优势,提出一种基于双线性融合的多模态细粒度情感分析方法,通过两个独立的特征,提取模块对单个模态特征进行编码,充分挖掘模态内部信息,利用双线性融合方法获取模态间的交互信息,得到融合后的特征向量,通过Softmax层进行细粒度的情感分类。与单模态情感分析和一般的多模态情感分析相比,实验取得了很好的结果。

基于双线性特征融合的皮肤病分类研究

皮肤覆盖肌肉、骨骼和身体的每个部分,是人体中最大的器官。由于其暴露于外界,所以感染更容易发生在皮肤上。皮肤病作为一种常见疾病,利用计算机技术对其进行辅助诊断,有助于减轻医生负担。针对常规卷积神经网络应用于皮肤病图像分类时由于不同种皮肤病图像之间的类间相似性以及同种皮肤病图像之间具有类内差异性导致分类困难的问题,提出一种改进双线性特征融合模型。使用经过剪枝的Inception-ResNet-v1和v2版本作为特征提取器并行提取图像特征,对特征进行双线性融合,获取更多阶数的特征信息可以提高模型对图像细节的敏感度。然后添加额外的软注意力模块,通过加权和的方式进行过滤或者加强,给图像每个位置给予不同的权重以达到对模型的加强效果。在skin-cancer-classesisic数据集上的7种皮肤病图像上进行训练,与S-CNN、MobileNet和Incremental CNN的对比证明了该模型的有效性,在Precision、Recall和F1-Score指标上该模型均为最优。

融合用户社会关系的双线性扩散图推荐模型

为了解决传统协同过滤算法中用户行为数据的稀疏问题,在图卷积网络的基础上,提出了一个融合用户社会关系的双线性扩散图推荐模型,并设计了双线性扩散聚合器。该聚合器由两大核心部分组成:一是用来捕捉用户-邻居交互信息的扩散聚合部分,该部分通过建模用户社交影响的动态扩散过程,从社交图的局部邻域中聚合邻居信息到目标用户节点上,以此丰富目标用户表征;二是用来捕捉邻居-邻居交互信息的双线性聚合部分,该部分通过挖掘同阶用户邻居之间潜在的社会交互,并使用内积操作突出邻居社交信息中的共有特征,将其作为目标用户的辅助信息完善用户嵌入。为了验证该模型的有效性,在Yelp和Flickr数据集上进行推荐实验,并与现有的推荐模型进行实验对照分析。实验结果显示,该模型较现有的推荐模型有更高的命中率和归一化折损累计增益。因此,融合用户社会关系的双线性扩散图推荐模型能够有效缓解用户行为数据的稀疏问题,并使得推荐准确率有了较大提升。

基于多粒度特征融合的叶片分类与分级方法

长期以来,已有很多工作致力于研究植物叶片分类,虽然它们在公开数据集上表现较好,但实际应用并不理想,且难以应用于更复杂的问题,如叶片分级,即要求在对叶片进行分类的基础上,再对同一类的叶片进行更细级别(质量等级)的划分。为此,提出了一种新的植物叶片分类以及分级模型,该模型关注叶片的多粒度信息,并将粗粒度与细粒度进行有效融合。该模型包含粗粒度和细粒度两个分支,由粒度混合损失将两个分支联系起来,促使模型逐步学习由粗到细的粒度表征。采用了多步骤训练方式,每一步提取不同层级的特征,实现浅层特征与深层特征的融合。此外,还提出了几何通道注意力模块,该模块由空间变换和双线性注意力池化组成,使模型可以关注图像中更具区分度的局部区域,提取出的特征更具区分性。所提方法在Flavia leaf和Swedish leaf两个公开的叶片分类数据集上分别达到了99.8%和99.7%的分类准确率,且在所构建的烟叶分级数据集上达到了71.9%的分级准确率,均超过了目前最优的方法。

图像失真矫正算法与应用

多通道环幕或穹顶投影系统中,曲面银幕造成投影图像出现非线性失真。由于采用多投影机拼合一幅画面,所以银幕上两投影机投影的拼合区存在图像重叠,如果重叠像素的位置和方向存在偏差将产生重影。使用双线性变换矩阵矫正图像,能够方便地使投影图像的四个端点在视觉平面上呈现为矩形,但边线可能为曲线。然后对每条曲线边用两个二次曲线进行偏差调整,使投影图像在视觉上接近正规矩形,同时消除拼合区的重影实现影像准确融合。

基于空-谱融合网络的高光谱图像分类方法

针对高光谱图像分类中提取的空-谱特征表达能力弱及维数较高的问题,提出一种基于空-谱融合网络(SSF-Net)的高光谱图像分类方法。首先,利用双通道卷积神经网络(Two-CNN)同时提取高光谱图像的光谱和空间特征;其次,使用多模态压缩双线性池化(MCB)将所提取的多模态特征向量的外积投射到低维空间,以此产生空-谱联合特征。该特征融合网络,既可以分析光谱特征和空间特征向量中元素之间的复杂关系,同时也避免对光谱和空间向量直接进行外积计算,造成维数过高、计算困难的问题。最终实验表明,与现有基于神经网络的分类方法相比,所提出的高光谱图像分类算法能够获得更高的像元分类精度,表明该网络所提取的空-谱联合向量对高光谱图像具有更强的特征表达能力。

一种改进的双线性插值图像放大算法

针对传统的双线性插值图像放大算法存在的边缘模糊问题,提出一种改进算法:先计算插值点的双线性插值和最近邻点插值,然后以4个邻点的灰度方差构造权重,将二种插值进行加权融合获得最终插值结果。该算法既考虑到插值点与邻点之间距离关系,又考虑到邻点的灰度分布特性,有效地提高了放大图像的质量。实验结果验证了算法的有效性。

基于局部特征的图像插值算法在B/S视频监控中的应用

在B/S模式的视频监控应用中,针对传统的双线性插值图像放大算法会造成图像细节模糊的问题,提出一种改进算法.先计算4个邻点灰度的标准差,通过判断标准差是否大于某个阈值来将图像分为边缘区域和非边缘区域,对于非边缘区域的像素点直接使用双线性插值算法,对于边缘区域的像素点,采用最邻近和双线性插值算法进行加权融合所得的结果.并设计与实现了B/S模式的视频监控系统,在系统中应用改进算法对视频图像进行放大.实验结果表明,该算法可以避免最邻近插值产生的局部锯齿问题,同时也改进了双线性插值造成的图像细节模糊,能够改善视频图像放大后的视觉效果.

基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.

基于双线性回归的个体人脸表情图像归正方法

针对当前人脸表情归正方法缺少个体特征的不足,提出一种基于双线性核降秩回归(BKRRR)的归正方法.BKRRR从训练样本集中同时合成虚拟表情图像和中性表情图像,通过二者差分形成表情掩膜.将待测样本通过分段仿射变换投影至中性表情模板,然后以BKRRR虚拟中性表情图像作为前景图像,以待测样本的中性表情投影图像作为背景图像,以表情掩膜作为前景模板,采用基于泊松方程的图像融合技术获取保留个体特征的虚拟中性表情人脸.实验表明文中方法所合成的虚拟图像在主观视觉和客观评价上均优于目前基于学习的表情归正方法,利于人脸识别精度的提高.

基于改进B-CNN模型的羊绒与羊毛纤维识别

由于物体本身较小的类间差异和因拍摄环境、背景等导致的较大的类内差异,羊绒和羊毛的图像识别一直是纺织领域的难题。为解决羊绒与羊毛纤维难以鉴别的问题,提出一种改进的双线性卷积神经网络(bilinear convolutional neural network,B-CNN)模型用于羊绒和羊毛纤维识别。该方法通过对两路网络进行改进,提取纤维原始样本图像和骨架图像不同层次特征向量,采用向量拼接方式融合2幅图像特征,实现信息互补,从而增强特征表达能力,最后使用迁移训练,解决纤维扫描电子显微镜(scanning electron microscope,SEM)图像小样本问题,提高分类精度和效率。实验结果表明:该模型与经典B-CNN模型相比,测试集准确率最高可达98.06%,说明该模型能够有效解决羊绒与羊毛纤维识别问题。