-
题名基于物体检测及关系推理的视觉问答方法研究
被引量:2
- 1
-
-
作者
邱真娜
张丽红
陶云松
-
机构
山西大学物理电子工程学院
-
出处
《测试技术学报》
2020年第5期439-445,450,共8页
-
基金
山西省研究生创新项目资助项目(2019SY015)。
-
文摘
大多数图像描述及视觉问答任务中,主要工作是对图像数据的拟合分类,而缺乏图像中物体之间的关系推理,导致描述图像或回答问题时准确率不高.为解决该问题,本文提出一种基于物体检测及关系推理的视觉问答模型.该模型由上游网络和下游网络两部分组成,上游网络采用极快速区域卷积神经网络,下游网络由多层感知机组成的多模态特征融合推理网络构成.上游网络对图像进行物体检测与特征提取,利用长短期记忆网络对提问的问题进行信息提取以嵌入下游网络;下游网络对问题和图像的特征进行融合和推理,进而得出答案.采用数据集CLEVR进行模型训练与视觉问答测试,实验结果表明,本模型与其他已有模型相比,图像中物体之间关系推理的准确率获得了提高,达到98.96%.
-
关键词
深度学习
视觉问答
关系推理
长短期记忆网络
多模态特征融合
-
Keywords
deep learning
visual question answering
relational reasoning
long short-term memory network
multimodality feature fusion
-
分类号
TP317.4
[自动化与计算机技术—计算机软件与理论]
-