视频问答技术研究进展

视频问答(video question answering,VideoQA)根据视频内容自动回答自然语言问题,是视觉语言领域较为新兴的一个研究方向,近年来引起了广泛关注.VideoQA问题的解决对于人机交互、智慧教育、智能交通、场景分析以及视频检索等各个领域都有着重大意义.VideoQA是一项具有挑战性的任务,因为它需要模型同时理解视频与文本内容来生成问题的答案.首先,分析了VideoQA与图像问答(image question answering,ImageQA)的区别,总结了当下VideoQA相对于ImageQA所面临的4个挑战;然后,围绕着这些挑战对目前现有VideoQA模型进行了细致的分类,并重点介绍了模型的实现及不同模型之间的关联;接着详细介绍了在VideoQA中常用的基准数据集及目前主流算法在部分数据集上的性能,并进行了对比与分析;最后,讨论了该领域未来面临的挑战和研究趋势,为未来进一步研究提供一些思路.

基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型

本文针对具有挑战性的多语言文本-视频跨模态检索问题进行研究.传统文本-视频跨模态检索模型通常针对单一语言进行设计,比如英语,模型仅支持某一特定语言的文本查询.如果有不同语言检索需求,则需另收集目标语言的训练数据并重新训练构建新的检索模型,这使得模型很难快速有效地适用于其他语言的检索任务.近年来,针对多语言问题的研究逐渐深入,这为多语言跨模态检索的实现打下了良好的基石.为了解决多语言跨模态检索问题,本文提出了一种简单有效的基于多语言-视觉公共空间学习的多语言文本-视频跨模态检索模型,将不同语言与视觉信息映射到同一公共空间.该空间以视频向量为锚点,分别与不同的语言向量进行对齐,以此实现多语言跨模态的学习,由此建立了统一的多语言学习框架,使用一个模型满足了多语言的检索需求并探究了不平行语料库、平行语料库、伪平行语料库三种训练场景下的模型性能.同时,在多语言建模中有效地利用了不同语言之间的互通性和互补性,弥补了单语言文本特征表达的不足;并在文本端与视频端引入了基于对比学习的抗噪音鲁棒性学习方法,进一步提升了不同模态特征的表示能力.在VATEX、MSR-VTT多语言数据集上实验的数据证明,本文模型不仅能够简单快速地适用于多种语言检索任务,模型性能也较为突出,在较为常见的伪平行场景下和最先进的方法相比,中文VATEX和MSR-VTT在总召回率上分别提升了约5.97%和1.37%.

快速图像标注的改进跨媒体相关模型

针对跨媒体相关模型(CMRM)标注效率低、标注效果差的不足,提出了改进的跨媒体相关模型。提出的模型在改进了词汇平滑处理方法的基础之上,通过简洁的图像特征表示方法和相似度计算方法更准确地度量了图像与图像之间的相关性。在Corel5k数据集上的实验结果表明,所提出的改进CMRM标注效率显著提高,性能是原始CMRM的近3倍,而且,也优于高质量的标注模型,如著名的多伯努利相关模型(MBRM)和有指导的多类标签(SML)等模型。

城市道路工况下改进的发动机起停节油控制策略

随着车辆油耗限值标准越来越严格,为了降低燃油消耗率、满足标准,很多车辆装有怠速起停系统。但实际城市运行工况下的分析表明,在早晚高峰时期车辆频繁地短时怠速停车,导致起停系统频繁起停,这不仅会影响驾驶舒适性更不能实现起停系统应有的节油效果。因此对实际工况的行驶情况进行分析,找到早晚高峰等频繁短时怠速停车的工况特点,提出了改进的起停控制策略。改进方法先根据工况的特点判断工况类别,再判断是否需要关闭发动机。所提出的改进的控制策略,能够有效地减少起停系统在早晚高峰时段的频繁起停,提升起停系统的节油效果。实际行驶工况的节油分析表明改进后的起停系统确实能够实现更好的节油效果。

复杂底部结构下的重型载货汽车气动阻力

针对具有复杂底部结构的五轴重型载货汽车气动阻力进行研究,建立了与实车外形结构一致的车辆模型,利用基于格子玻尔兹曼方法的计算流体动力学软件XFlow,模拟了模型外流场流体的宏观行为。进行了模型的格子尺度优化试验,得到整车模型的空气阻力系数以及底部结构对整车气动阻力的影响。对模型底部压力分布、旋转车轮的表面速度分布、模型底部外流场速度分布、湍流强度分布以及车辆模型底部粒子轨迹线进行了分析,根据分析结果对车辆模型底部进行结构优化。仿真结果表明:车辆模型的空气阻力系数误差在6%以内,对模型底部结构进行优化可以降低整车空气阻力系数23%。

基于K均值聚类分析的车辆横向稳定性判定方法

针对既有车辆失稳判定方法存在的不足,开展了车辆横向稳定性关于模式识别的研究,提出了一种基于K均值聚类分析的车辆横向稳定性判别方法.利用CarSim建立整车动力学模型,采用K均值聚类算法对车辆行驶状态数据进行离线聚类分析,得到离线聚类质心及其危险等级.搭建CarSim与Simulink联合仿真平台,计算车辆实时行驶数据点与离线聚类质心之间的欧氏距离,设计了车辆横向稳定性判定指标,对车辆行驶稳定性进行了在线识别.该判定方法充分利用车辆离线数据和实时数据,对车辆行驶状态数据进行数据挖掘.仿真结果表明,该判定方法能够准确实时量化车辆的行驶稳定性,为控制系统的介入时机与程度提供判据.

基于最小二乘支持向量机的怠速时间预测

汽车起停系统因其可以在汽车怠速时关闭发动机减少车辆怠速油耗而被大量应用。但在交通拥堵的实际工况下,在短时停车时使用自动起停功能反而会增加燃油消耗。针对这一问题使用基于时空学习的最小二乘支持向量机对怠速时长进行预测,在短时怠速时不关闭发动机。实验表明,本文提出的基于时空学习的最小二乘支持向量机能够对怠速时长进行预测,准确率在80%以上。将此方法应用于怠速起停控制,基于怠速预测的起停控制系统在早晚高峰节油2%左右,在平峰时节油0.2%。同时,高峰期减少50%以上的起停次数,平峰期减少15%以上的起停次数,能有效提升驾驶舒适性。

基于图像识别的信号灯路口辅助驾驶方法

为了提高有信号灯路口的通行效率,将通过路口的车辆行驶状态分为4种情况(匀速通过、加速通过、减速通过和停车等待),并针对不同情况对驾驶员提出相应的驾驶行为提示.提出基于单一摄像头的图像识别系统,该系统通过加权K近邻方法识别出信号灯的颜色和倒计时.根据信号灯识别结果,建立车载摄像头与信号灯之间距离的计算模型,得到车辆与信号灯之间的距离和车辆车速.根据信号灯状态以及距离和车速信息判断车辆所处的行驶状态,给出合理的车速控制建议.实验结果表明:信号灯识别准确率高于97%;速度计算的平均误差小于5%;仿真实验验证结果表明:所提辅助驾驶方法能够减少车辆在信号灯路口的停车等待时间,提高通行效率.

列队行驶工况下的油罐车气动阻力研究

为研究列队行驶车辆的气动阻力影响,通过基于格子玻尔兹曼方法(LBM)的计算流体动力学软件XFlow,对2辆油罐车列队行驶进行空气动力学分析.首先,建立了与实车外形一致的1∶10油罐车模型,保留了结构的复杂性;进行了格子尺度优化试验,对模型表面速度场、湍流强度分布以及各部件对油罐车空气阻力的影响进行了研究;完成了不同行驶间距下与变道过程中的计算流体动力学(CFD)仿真,得到了车辆的气动阻力变化规律;最后,对列队行驶车辆进行了燃油经济性分析.结果表明:列队行驶技术是油罐车节能减排的有效途径,2辆油罐车在30 m/s的速度下列队行驶时,可节省燃油10.69%.

基于实际换挡规律的卡车列队行驶起步控制

为了解决卡车列队行驶起步过程中的控制问题,在车辆行驶3.5万公里的实验数据中提取456段起步过程的挡位数据,对该数据中各挡位的使用情况进行统计与分析.根据统计结果制定相应的换挡规则,利用自适应模糊控制算法设计车辆列队行驶的控制模型,在模型中通过跟随车辆的挡位信息对模糊控制器的输入量进行加权系数调整,提高控制算法的自适应性,通过TruckSim和Matlab的联合仿真,将实车实验数据作为头车模拟工况,模拟3辆卡车在车联网环境下的列队起步过程,仿真结果表明起步过程中的行驶间距误差可以控制在车辆单位时间内行驶距离的5%以内,具有一定的控制精度.

基于视觉内容与语义相关的图像标注模型

针对当前标注系统的不足,设计了一种高效的标注模型,其标注步骤包括标注和标注改善,标注算法采用加权的正反例标志向量法,标注改善采用NGD方法。实验表明,标注效率远优于经典的标注模型,标注质量优于大多数标注模型。

面向视频冷启动问题的点击率预估

视频的点击率预估是视频推荐系统中的重要任务之一,推荐系统可以根据点击率的预估调整视频推荐顺序以提升视频推荐的效果.近年来,随着视频数量的爆炸式增长,视频推荐的冷启动问题也变得愈发严重.针对这个问题,提出了一个新的视频点击率预估模型,通过使用视频的内容特征以及上下文特征来加强视频点击率预估的效果;同时,通过对冷启动场景的模拟训练和基于近邻的替代方法提升模型应对新视频点击率预估的能力.提出的模型可以同时对旧视频和新视频进行点击率预估.在两个真实的电视剧(Track_1_series)和电影(Track_2_movies)点击率预估数据集上的实验表明:提出的模型可以显著改善对旧视频的点击率预估性能,并在两个数据集上均超过了现有的模型;对于新视频,相比于不考虑冷启动问题的模型只能获得0.57左右的AUC性能,该模型在两个数据集上分别获得0.645和0.615的性能,表现出针对冷启动问题更好的鲁棒性.

双域级联决策和协作标注自提升的鲁棒弱监督语义分割

引入网络图像是提升弱监督语义分割性能的有效方法,为了鲁棒地利用外部数据实现知识迁移,提出双域协作自提升的鲁棒迁移学习方法.首先通过网络域和目标域双域级联决策实现网络域到目标域数据的知识迁移,提升弱监督语义分割决策的鲁棒性;然后利用双域协作学习减少噪声图像,改善标注质量,提升网络域知识的可靠性.在通用数据集PASCAL VOC 2012验证集和测试集上, mIoU分别达到65.4%和65.9%,性能优于当前大多数弱监督语义分割方法,证明了所提方法的有效性.