消息传递与分层解码在视频描述中的应用

本文针对已有视频描述方法中提取的特征难以捕获视频中对象之间的相互联系,以及解码过程中难以充分利用特征重构视频信息的现状,提出一种结合消息传递网络和分层解码器的视频描述系统。首先,利用卷积神经网络和对象检测器提取视频的二维特征、三维特征以及对象特征;然后,使用消息传递网络来更新对象特征,添加对象之间的联系信息;接着,利用时空注意力模块将所有特征进行融合得到视频整体特征;最后,利用分层解码器解码整体特征来获得视频的描述。实验结果显示,该系统能够准确生成对视频内容的描述,并且生成的描述更能体现出对象之间的联系。

短文本新闻标题生成方法

当今新闻具有文本短、发布频繁、时效性强等特点,一个媒体账号一天内发布数十条新闻。为大量新闻制定适用且有吸引力的标题已经成为媒体工作者的一项主要工作内容。媒体工作者需要一个自动生成短文本标题的系统来缓解工作压力。为解决该问题,文中提出了一种短文本新闻标题生成模型。该模型采用序列到序列结构,在编码器和解码器分别应用预训练语言模型和分层自注意力解码器。为了使生成标题包含原始新闻的关键信息,提出一种基于LCSTS数据集和Weibo4数据集的分阶段训练方法,并使模型分别从这两个数据集学习提取关键新闻信息和构建风格化表达,使模型生成标题能够准确表达新闻的核心内容从而吸引读者。

利用模型相似性的三维模型簇协同分割

为准确捕捉三维点云模型的上下文信息,提高分割准确率,提出一种利用模型相似性进行三维模型簇协同分割的方法。首先,对点云模型进行最远点采样得到质心点,并采用球内随机选取的方式确定邻域点以构建球形邻域;然后,使用特征聚合算子编码三维点云之间的几何拓扑关系,提取各邻域间的相关联特征,并利用各球形邻域的质心坐标构建空间相似性矩阵,由空间相似性矩阵对编码器网络所提取的模型局部特征进行加权求和,完成对三维模型的协同分析;最后,搭建分层特征提取网络对经过加权处理的关联特征进行解码操作,完成模型簇协同分割任务。实验结果表明,本文算法在ShapeNet Part数据集上的协同分割准确率达到了86.0%。与kNN算法相比,以球内随机选取法为邻域点采样策略,可使网络的分割准确率提升0.8%;相比于使用共享的多层感知机进行特征提取,使用特征聚合算子进行卷积运算可使网络的分割准确率提高12.9%;与当前主流的模型分割算法相比,本文算法的分割准确率得到了进一步的提升。