视觉语言预训练综述

近年来深度学习在计算机视觉(CV)和自然语言处理(NLP)等单模态领域都取得了十分优异的性能.随着技术的发展,多模态学习的重要性和必要性已经慢慢展现.视觉语言学习作为多模态学习的重要部分,得到国内外研究人员的广泛关注.得益于Transformer框架的发展,越来越多的预训练模型被运用到视觉语言多模态学习上,相关任务在性能上得到了质的飞跃.系统地梳理了当前视觉语言预训练模型相关的工作,首先介绍了预训练模型的相关知识,其次从两种不同的角度分析比较预训练模型结构,讨论了常用的视觉语言预训练技术,详细介绍了5类下游预训练任务,最后介绍了常用的图像和视频预训练任务的数据集,并比较和分析了常用预训练模型在不同任务下不同数据集上的性能.

基于地磁轨迹信号的新型室内定位

无处不在的地磁场由于室内环境中建筑结构的差异而具有独特的特征。此外,地磁信号的分辨难度会导致定位结果的不准确。本文提出了一种使用深度神经网络来提高定位精度的地磁室内定位系统。为了解决地磁场的低分辨率问题,本文将连续的地磁信号矢量化为轨迹序列,并以此为基础设计了一种新的地图构建方法来搭建用于室内定位的地磁数据库。然后,通过引入时间卷积网络(TCN)来提取磁轨迹序列的深层特征。实验结果表明,这种方法优于KNN和基于LSTM的DRNN等其他机器学习算法。

全媒体内容质量评价研究综述

在全媒体时代,媒体内容的表现形式逐渐丰富,开始成为影响信息传播的一个重要因素。内容质量评价仍停留在“流量思维”阶段,难以客观评价内容质量,亟需发展以用户为中心的全媒体内容质量评价方法。本文主要概述近十年来国内外公开发表的不同媒介的评价模型,回顾了图像、视频、音频、文本四类的客观质量评价在全媒体数据中的研究工作及相应的应用,主要介绍基于传统方法和基于深度学习方法两大方向中一些影响力较大的方法,每类方法有分成有参考和无参考的方法,对此总结了各方法特点,对一些具有代表性的方法进行了实验对比分析。最后对四种媒介内容质量评价领域仍面临的问题进行了总结并展望未来可能的发展方向。

基于单张彩色图输入的平面提取综述

彩色图片是目前最常见的视觉信息采集形式,获取容易且来源丰富,因此从单张彩色图中进行平面提取具有很强的应用价值。基于单张彩色图输入的平面提取任务旨在从图像中分割出所拍摄场景中的平面结构,并同时估计相机到平面的深度信息。随着单目相机的发展,图片的分辨率、质量不断提升,但深度信息缺失的问题仍困扰着基于单张图片输入的平面提取方法。该文从几何方法及神经网络方法两方面对现有基于单张彩色图输入的平面提取工作进行概括总结,并分析两类方法的算法流程及优劣。最后,在几何以及神经网络两类方法现有工作的基础上,进一步探讨了后续可拓展的研究工作。