一种基于注意力机制与多模态的图像描述方法

最近几年在深度学习领域中,自动生成一副图像的自然语言描述引发了学界的广泛关注,原因是图像描述在实际应用中的重要性以及它连接了两个重要的人工智能领域:计算机视觉和自然语言处理.以往的模型大多采用基于模板或简单的编码-解码方式,生成的文本结构较为单一并且不能够根据图像中各个物体的相互关系表达出图像的深层意义.提出了一种基于注意力机制与多模态的图像描述方法,在LSTM(Long-Short Term Memory)的基础上改进了Attention机制,并在Attention结构后面添加了多模态层对图像的上下文特征信息以及LSTM的隐层状态进行融合处理.在两个公共数据集:MS COCO以及Flickr 30K上进行验证,实验结果证明所提方法有效且可以使生成的描述语句更加丰富.

融合皮肤检测的卷积姿势机手势分割方法

为解决复杂背景的手势分割问题,提出一种基于融合皮肤检测的卷积姿势机手势分割方法。通过两个CNN网络得到训练的手势分割部分和皮肤分割部分,通过最后一阶段的CNN网络输出最终的手势分割图像,皮肤分割的准确性对最终分割图像起辅助作用,其中核心部分即手势分割部分采用卷积姿势机网络,并运用中间监督的思想将皮肤信息融合。该网络将手势轮廓和经皮肤提取的手势细节结合,分别对轮廓、皮肤、融合3个子网络进行训练,结果对比提取手势的其它方法,验证了该方法的有效性。