Introduction to AVS2 Scene Video Coding Techniques

The second generation Audio Video Coding Standard (AVS2) is the most recent video coding standard. By introducing several new coding techniques, AVS2 can provide more efficient compression for scene videos such as surveillance videos, conference videos, etc. Due to the limited scenes, scene videos have great redundancy especially in background region. The new scene video coding techniques applied in AVS2 mainly focus on reducing redundancy in order to achieve higher compression. This paper introduces several important AVS2 scene video coding techniques. Experimental results show that with scene video coding tools, AVS2 can save nearly 40%BD?rate (Bj?ntegaard?Delta bit?rate) on scene videos.

Digit Recognition in Natural Scene Texts

Digit recognition from a natural scene text in video surveillance/broadcasting applications is a challenging research task due to blurred, font variations, twisted, and non-uniform color distribution issues with a digit in a natural scene to be recognized. In this paper, to solve the digit number recognition problem, a principal-axis based topology contour descriptor with support vector machine （SVM） classification is proposed. The contributions of this paper include： a） a local descriptor with SVM classification for digit recognition, b） higher accuracy than the state-of-the art methods, and c） low computational power （0.03 second/digit recognition）, which make this method adoptable to real-time applications.

锚框校准和空间位置信息补偿的街道场景视频实例分割

街道场景视频实例分割是无人驾驶技术研究中的关键问题之一,可为车辆在街道场景下的环境感知和路径规划提供决策依据.针对现有方法存在多纵横比锚框应用单一感受野采样导致边缘特征提取不充分以及高层特征金字塔空间细节位置信息匮乏的问题,本文提出锚框校准和空间位置信息补偿视频实例分割(Anchor frame calibration and Spatial position information compensation for Video Instance Segmentation,AS-VIS)网络.首先,在预测头3个分支中添加锚框校准模块实现同锚框纵横比匹配的多类型感受野采样,解决目标边缘提取不充分问题.其次,设计多感受野下采样模块将各种感受野采样后的特征融合,解决下采样信息缺失问题.最后,应用多感受野下采样模块将特征金字塔低层目标区域激活特征映射嵌入到高层中实现空间位置信息补偿,解决高层特征空间细节位置信息匮乏问题.在Youtube-VIS标准库中提取街道场景视频数据集,其中包括训练集329个视频和验证集53个视频.实验结果与YolactEdge检测和分割精度指标定量对比表明,锚框校准平均精度分别提升8.63%和5.09%,空间位置信息补偿特征金字塔平均精度分别提升7.76%和4.75%,AS-VIS总体平均精度分别提升9.26%和6.46%.本文方法实现了街道场景视频序列实例级同步检测、跟踪与分割,为无人驾驶车辆环境感知提供有效的理论依据.

叙事地图的要素及组织:基于电子游戏“要素-结构-场景”架构的视角

信息通信技术背景下,地图的对象空间从二元空间拓展到三元空间,信息空间的出现给地图学带来的一系列挑战,由地图投影、制图综合、符号系统构成的传统制图学经典理论框架已难以满足元宇宙、虚实融合和人机物融合等带来的空间刻画需求。针对目前叙事地图的理论框架大多面向传统的地图媒介和形式,本文以“要素-结构-场景”为架构探讨了叙事地图在新时代背景和数字载体下的组织形式。明确叙事要素是叙事地图构建的基础,叙事结构为叙事要素提供组织形式,叙事场景为叙事地图的叙事要素和叙事结构的呈现提供载体。鉴于地理环境类电子游戏具有天然的叙事性,本文通过该类游戏对“要素-结构-场景”这一框架进行了例证,旨在为信息通信时代下叙事地图的应用和实践提供理论基础。

基于大场景视频监控的坝面施工机械潜在碰撞风险预警方法

基于大场景视频监控实现坝面施工机械潜在碰撞风险预警对保证大坝施工安全具有重要意义。然而,目前坝面施工机械潜在碰撞风险检测主要依赖人工经验判断,易出现漏判和误判等问题。因此,本研究提出一种基于大场景视频监控的坝面施工机械潜在碰撞风险预警方法。首先,基于Trajectron++轨迹预测算法,通过迁移学习,实现对坝面大场景视频监控中数量众多、类型多样的施工机械在未来一段时间内的轨迹预测。其次,提出将行驶接近时间和机械最大拥挤度作为坝面施工机械潜在碰撞风险的量化指标,并基于模糊规则,建立不同行驶速度条件下两个指标与潜在碰撞风险分级预警的模糊隶属度函数。最后,采用证据理论对两个指标的预警结果进行融合,计算最终的预警等级。以两河口大坝施工现场的大场景视频监控为例进行实验验证,结果表明坝面施工机械未来6 s的轨迹预测平均位移误差和最终位移误差分别为1.17和2.36 m,且基于模糊-证据融合的施工机械潜在碰撞风险分级预警结果可为坝面施工安全提供自动化、智能化分析方法。

基于情景再现的小视频联合图文宣教在预防住院儿童跌倒坠床中的应用

目的观察基于情景再现的小视频联合图文宣教在预防住院儿童跌倒坠床中的应用效果。方法采用类试验研究方法,将2021年住院患儿及陪护列为对照组,2022年住院患儿及陪护列为观察组,对照组采用常规口头宣教,观察组采用基于情景再现的小视频联合图文宣教,比较两组陪护对住院儿童跌倒认知水平、陪护及患儿对预防措施完全依从率及患儿跌倒坠床发生率。结果对照组陪护对住院儿童跌倒认知得分为(91.67±8.59)分,陪护及患儿对预防措施完全依从率为19.17%,患儿跌倒坠床发生率为0.188‰;观察组陪护对住院儿童跌倒认知得分为(104.54±7.86)分,陪护及患儿对预防措施完全依从率为55.00%,患儿跌倒坠床发生率为0.073‰,差异均有统计学意义(P<0.05)。结论基于情景再现的小视频联合图文宣教能提高陪护对住院儿童跌倒认知水平,提高陪护及住院儿童对预防措施的依从性,降低住院儿童跌倒坠床发生率,值得在临床中推广。

长视频的超级帧切割视觉内容解释方法

针对现有基于编码解码的视频描述方法存在的对视频较长、在视频场景切换频繁情况下视觉特征提取能力不足或关键性片段捕获能力不足等视频描述不佳的问题,提出一种基于超级帧切割长视频的视频字幕方法。首先,提出超级帧提取算法,计算关键视频时间占比率以满足视频浏览时长限制,缩短视频检索时间。然后,构建两层筛选模型以自适应提取超级帧,过滤冗余关键帧,执行多场景语义描述。将保留的关键帧嵌入周围帧,利用深层网络模型以及小卷积核池化采样域获取更多的视频特征,克服了经典视频标题方法不能直接用于处理长视频的困难。最后,通过用长短时记忆模型代替循环神经网络解码生成视频标题,给出视频内容的分段解释信息。在YouTube数据集视频、合成视频和监控长视频上进行测试,采用多种机器翻译评价指标评估了该方法的性能,均获得了不同程度的提升。实验结果表明,该方法在应对视频场景切换频繁、视频较长等挑战时,能够获得较好的片段描述。

面向摄像头视频监控的泥石流发生场景智能识别方法

摄像头视频监控在泥石流防灾减灾中的应用较为广泛,但现有的视频检测技术功能有限,无法自动判断出泥石流灾害事件的发生。针对这一问题,本文基于迁移学习策略,改进一种基于卷积神经网络的视频分类方法。首先,借助TSN模型框架,将底层网络架构更改为ResNet-50,用于运动特征提取和泥石流场景识别。然后,通过ImageNet和Kinet-ics-400数据集预训练该模型,使模型具备较强的泛化能力。最后,结合经过预处理的地质灾害视频数据集对模型进行训练和微调,使其能够精准地识别出泥石流事件。通过大量的运动场景视频对该模型进行检验,实验结果表明,该方法对泥石流运动场景视频的识别准确率可达87.73%。因此,本文的研究成果可充分发挥视频监控在泥石流监测预警中的作用。

稀疏表示下大场景视频图像运动目标跟踪仿真

大场景视频中存在复杂的背景信息,这些背景信息与目标的外观相似,导致难以准确跟踪目标。为了解决这一问题,提出基于稀疏表示的大场景视频图像运动目标跟踪方法。通过提取视频图像haar-like特征并对特征投影压缩,在字典中融入背景信息,构造超完备字典。改进传统粒子滤波,提出基于残差的Unscented粒子滤波算法,在传统稀疏表示中添加判别函数生成判别稀疏表示,利用L1范数最小化求解候选目标稀疏系数,在字典不断更新下通过基于残差的Unscented粒子滤波算法,实现大场景视频图像运动目标跟踪。实验结果表明,所提方法目标跟踪精度和重合度均在0.9以上,且跟踪平均时间短。

基于卷积神经网络的多路视频多视角场景编解码方法

常规的多路视频多视角场景编解码,主要采用视频单帧迭代处理实现编解码过程,忽略了视频中冗余信息对编解码效果的影响,导致编解码结果的视频帧峰值信噪比较低。因此,提出基于卷积神经网络的多路视频多视角场景编解码方法。构建双任务的双残差连接块卷积神经网络,在该网络中最小化视频空间点的距离值,匹配得到视频运动估计矢量特征并补偿,降低冗余信息的影响,在此基础上定义多路视频的编码内容,并通过重构解码帧实现多视角场景的编解码过程。实验结果表明:所提方法应用后得出的视频编解码结果,表现出的视频帧峰值信噪比较高,有效改善了视频质量,满足了多路视频多视角场景的实际应用需求。

基于深度学习的水面深度视频稳像

水面视频的稳像与深度稳像技术,在海洋监测、渔业资源调查、水上运动赛事直播等多个领域均展现出重要的应用价值。将深度学习运用于水面场景的深度视频稳像。首先使用软件Adobe Premiere Pro(Pr)的变形稳定器对水面视频进行稳像,以消除俯视角水面视频的无人机水平晃动。用裁剪率、失真值、累计光流等指标进行评估,结果显示稳像后视频质量损失较小,前后帧差异相较于原视频均在减少,因此稳像效果很好,视频稳定性得到了改善。然后采用一种神经视频深度稳定方法对水面进行深度视频稳像,该视频处理框架包括了深度预测器DPT-L和稳定网络两部分。实验结果表明,深度稳像后水面波浪与背景的边界变得更清楚,纹理变得清晰,其边界轮廓线与原视频的基本吻合,得到了很好的深度稳像效果。

专业化视频会议架构建设与新技术研究

随着科技的不断发展,各系统单位对专业化视频会议的技术需求日益提升。在架构建设较为统一的背景下,专业化视频会议的场景设计正变得愈加多样化,同时,智能平台、网络适应、人工智能(Artificial Intelligence,AI)等新技术的应用也愈加广泛。在保障保密的前提下,管理、安全及智能化方面的创新已成为专业视频会议系统的新特征。基于此,概述视频会议的定义及其规模,阐述专业化视频会议系统的应用场景和系统架构,探讨专业化视频会议系统的新技术及其未来发展方向。

超高清视频技术在嘉兴市快速路环线工程的应用

交通事故危害是主要的公共安全问题之一,交通管理任务愈发艰巨。如何减少交通事故发生和降低交通事故危害,是一个值得深入研究的问题。如果能够智能高清识别监控视频中的交通事故,就可以做到第一时间发现交通事故,及早为事故受害者提供抢救服务,还可起到规避二次事故、减少财产损失和降低事故危害的作用。

人工智能嵌入下视频图像大数据综合感知与智能应用

城市级视频监控系统是平安城市建设的重要内容,要适应各种智能技术发展新特征。针对当前视频监控系统从“看得见”“看得清”发展到了“看得懂”的第三阶段,本文聚焦基于AI嵌入式技术的视频图像感知应用,针对当前数据治理与场景创新所面临的难题,运用关联分析与Apriori算法,提出构建视频图像大数据综合感知体系的思路,并初步勾勒出对失踪人员查找、社区个人极端防范、未成年人保护等多种社会管理与服务场景的智能化应用,为新时期提升维护社会安全稳定的能力水平、满足以服务为导向的新型治安治理需要提供实践参考。

基于多尺度时空Transformer的视频动态场景图生成模型

为应对动态视频中物体间关系在时间维度上的动态变化,提出一种基于多尺度时空Transformer的视频动态场景图生成模型,在经典的Transformer架构基础上引入了多尺度建模思想,以实现对视频动态细粒度语义的精确建模。首先,在空间维度上保留了传统模型对物体在全局空间相关性的关注;同时还对物体间的相对位置进行了局部空间相关性建模,以便更好地理解人和物之间的交互动态,提供更准确的语义分析结果。其次,在时间维度上,除了保留传统模型对视频中物体短期时间相关性的关注外,还关注了同一对物体在完整视频中的长期时间相关性,通过更全面地建模物体之间的长期关系,生成更准确、连贯的场景图,在一定程度上缓解了由遮挡、重合等引起的场景图生成问题。最后,通过空间编码器与时间编码器的共同作用,更加精准地建模视频动态细粒度语义,克服了传统的单尺度模型的局限性。实验结果显示,在Action Genome基准数据集上,与基线模型STTran相比,在谓词分类、场景图分类与场景图检测三个任务的Recall@10指标上分别提升了5.0、2.8、2.9个百分点。实验结果表明,多尺度建模思想能够更加精确地建模,并有效地提高在视频动态场景图生成任务上的性能。

视频分割下风力发电出力数据采集与特性分析

针对风力发电出力场景分析存在连续场景捕捉困难的问题,提出了视频分割下风力发电出力数据采集与特性分析方法。首先,搭建风力发电出力场景采集平台,以采集风力发电出力场景的视频数据。然后,对视频场景进行分割,并以镜头分割结果为基础,对后向镜头一致特征进行计算。接着,通过改进基于图像特征变化的关键帧提取算法提取风力发电出力场景关键帧,并分析风力发电出力场景。最后,采用具体实例进行性能测试。测试结果表明,该方法能够获得被研究地区当年夏季和冬季的日、月出力场景特性。该方法具有较好的性能。

一种受雨滴污染视频的快速分析方法

提出一种用于处理户外视觉系统中受雨滴影响的视频场景的方法.该方法包括两个部分,分别是检测受雨滴影响的运动目标和复原被雨滴污染的固定背景区域.通过分析雨滴的物理成像模型,并结合人类视觉系统对雨滴的分辨原理,指出受雨滴影响的像素值与背景像素值具有相同的色相值.针对成像质量退化导致色相分量不能直接用于雨滴检测这一问题,以HSV空间的定量分析为基础提出了可区分雨滴区域与运动物体区域的度量函数.实验结果表明此度量函数可以有效抑制雨滴产生的干扰,克服现有模型只能通过统计方法对某些特定类型雨滴进行有效辨识的局限性,能够快速处理视频数据,并且对成像质量造成的退化具有很好的鲁棒性.

一种受雨滴影响的运动目标检测方法

提出一种在户外受雨滴影响的视频场景中检测运动目标的方法.在R,G,B空间构建雨滴在视频中的成像模型,该模型可以计算受雨滴影响像素的亮度变化值.能够有效克服现有模型只能针对某些特定类型雨滴进行辨识的局限性.在使用基于颜色信息的雨滴成像模型基础上,提出运动目标检测函数,此函数可以有效抑制雨滴产生的干扰.实验结果表明,提出的雨滴成像模型和相应的检测函数与现有模型比较,能够适用于多种不同受雨滴影响的图像序列采样环境,对于运动目标具有更好的分辨能力,并有更强的鲁棒性.

监控场景下视频中全局移动对象的异常行为自动识别

传统异常行为识别方法容易受到外界环境的干扰,导致识别精度低下;且开销较高。为此,提出一种新的监控场景下视频中全局移动对象的异常行为自动识别方法。对异常行为特征进行提取,选用的特征为目标运动轨迹特征和外接矩形框宽高比特征,通过位置动态对监控场景下视频中全局移动对象运动轨迹特征进行提取,通过最小外接矩形框对移动对象进行标记。依据特征提取结果,通过异常测量函数实现监控场景下视频中全局移动对象的异常行为自动识别。实验结果表明,采用所提方法对全局移动对象的异常行为进行自动识别,不仅识别精度高,且开销较低。