Web-based mixed reality video fusion with remote rendering

Background Mixed reality(MR)video fusion systems merge video imagery with 3D scenes to make the scene more realistic and help users understand the video content and temporal–spatial correlation between them,reducing the user′s cognitive load.MR video fusion are used in various applications;however,video fusion systems require powerful client machines because video streaming delivery,stitching,and rendering are computationally intensive.Moreover,huge bandwidth usage is another critical factor that affects the scalability of video-fusion systems.Methods Our framework proposes a fusion method for dynamically projecting video images into 3D models as textures.Results Several experiments on different metrics demonstrate the effectiveness of the proposed framework.Conclusions The framework proposed in this study can overcome client limitations by utilizing remote rendering.Furthermore,the framework we built is based on browsers.Therefore,the user can test the MR video fusion system with a laptop or tablet without installing any additional plug-ins or application programs.

Interactive System for Video Summarization Based on Multimodal Fusion

Biography videos based on life performances of prominent figures in history aim to describe great mens' life.In this paper,a novel interactive video summarization for biography video based on multimodal fusion is proposed,which is a novel approach of visualizing the specific features for biography video and interacting with video content by taking advantage of the ability of multimodality.In general,a story of movie progresses by dialogues of characters and the subtitles are produced with the basis on the dialogues which contains all the information related to the movie.In this paper,JGibbsLDA is applied to extract key words from subtitles because the biography video consists of different aspects to depict the characters' whole life.In terms of fusing keywords and key-frames,affinity propagation is adopted to calculate the similarity between each key-frame cluster and keywords.Through the method mentioned above,a video summarization is presented based on multimodal fusion which describes video content more completely.In order to reduce the time spent on searching the interest video content and get the relationship between main characters,a kind of map is adopted to visualize video content and interact with video summarization.An experiment is conducted to evaluate video summarization and the results demonstrate that this system can formally facilitate the exploration of video content while improving interaction and finding events of interest efficiently.

COMBINING SCENE MODEL AND FUSION FOR NIGHT VIDEO ENHANCEMENT

This paper presents a video context enhancement method for night surveillance. The basic idea is to extract and fuse the meaningful information of video sequence captured from a fixed camera under different illuminations. A unique characteristic of the algorithm is to separate the image context into two classes and estimate them in different ways. One class contains basic surrounding scene in- formation and scene model, which is obtained via background modeling and object tracking in daytime video sequence. The other class is extracted from nighttime video, including frequently moving region, high illumination region and high gradient region. The scene model and pixel-wise difference method are used to segment the three regions. A shift-invariant discrete wavelet based image fusion technique is used to integral all those context information in the final result. Experiment results demonstrate that the proposed approach can provide much more details and meaningful information for nighttime video.

Triple Multimodal Cyclic Fusion and Self-Adaptive Balancing for Video Q&A Systems

Performance of Video Question and Answer(VQA)systems relies on capturing key information of both visual images and natural language in the context to generate relevant questions’answers.However,traditional linear combinations of multimodal features focus only on shallow feature interactions,fall far short of the need of deep feature fusion.Attention mechanisms were used to perform deep fusion,but most of them can only process weight assignment of single-modal information,leading to attention imbalance for different modalities.To address above problems,we propose a novel VQA model based on Triple Multimodal feature Cyclic Fusion(TMCF)and Self-AdaptiveMultimodal Balancing Mechanism(SAMB).Our model is designed to enhance complex feature interactions among multimodal features with cross-modal information balancing.In addition,TMCF and SAMB can be used as an extensible plug-in for exploring new feature combinations in the visual image domain.Extensive experiments were conducted on MSVDQA and MSRVTT-QA datasets.The results confirm the advantages of our approach in handling multimodal tasks.Besides,we also provide analyses for ablation studies to verify the effectiveness of each proposed component.

多层级视频会议系统跨网段融合技术的应用

通过介绍天津市地震局应急视频会议系统接入中国地震局视频会议系统、天津市政府视频系统和天津应急管理局视频系统的基本情况,结合地震应急视频会议系统现状,分析多类型、多层级、多网段视频会议系统的架构特点,着重介绍了多网段、多视频源视频转发优化技术在视频会议系统融合中的应用。通过该技术的应用,实现了天津市地震应急视频会议系统与各相关单位视频会议系统的全部连通。

基于可能性理论的红外与可见光视频自适应分层融合算法

针对目前红外与可见光视频融合模型无法根据视频间差异特征动态调整融合策略,造成融合效果差甚至失效等问题,提出了一种基于可能性理论的红外与可见光视频的自适应分层融合算法。计算视频序列每帧中感兴趣区域的各类差异特征的幅值大小,得到每帧对应的主要差异特征;搭建分层融合框架,并确定各层变元,基于余弦相似性计算不同变元对各差异特征的融合有效度,利用可能性理论构造相应的融合有效度分布;逐层分析不同变元对各类差异特征的融合效果,选择出每层的最优变元;通过变元间的优化组合实现红外与可见光视频的自适应分层融合。实验结果表明:所提算法在保留红外典型目标和可见光结构细节等方面取得了显著的融合效果,并且在定量分析和定性评价上明显优于单一融合算法。

基于混合时空卷积的轻量级视频超分辨率重建

针对三维卷积神经网络在视频超分辨率任务上具有较高的计算复杂度以及提取时空特征有限的问题,本文设计了一种基于混合时空卷积的轻量级视频超分辨率重建网络。首先,提出了一个基于混合时空卷积的模块,实现了网络时空特征提取能力的提升以及计算复杂度的降低;其次,提出了一个基于相似性的选择性特征融合模块,进一步增强了相关特征的提取能力;最后,设计了一种基于注意力机制的运动补偿模块,在一定程度上减轻了错误的特征融合的影响。实验结果表明:所提网络可以在视频超分辨率性能和网络复杂度之间取得很好的平衡,而且在基准数据集SPMCS-11上4倍超分辨率达到8 frame/s。所提网络满足了边缘设备推理运行中快速、准确等要求。

站台门间隙异物自动检测系统设计与实现

[目的]站台门间隙异物检测环节对地铁运营安全有影响,故有必要研究一种新型的地铁站台门防夹检测系统,使未来的FAO(全自动运行)系统更加安全与高效。[方法]采用视频和激光雷达算法融合技术,提出了结合视频图片识别和雷达点云数据的双重判据AI检测策略,创新性地采用了PointNet算法架构来进行地铁站台门间隙异物的检测,实现摄像头视频辅助激光雷达工作模式。若被检测间隙出现异物,则报警和视频联动,第一时间捕捉报警现场视频。利用多维深度学习方法,降低误判概率。[结果及结论]在系统设计中,提出传感器交叉叠装分层安装方法,实现间隙异物冗余检测功能;通过交叉互检机制,有效提高了检测装置的冗余性和可靠性;使用2D传感器实现3D检测效果。所研制系统为地铁信号系统提供安全联锁信号,提供报警信息给综合监控系统,并推送手环报警信息给现场运行人员。使地铁站台门间隙异物检测更加准确可靠,为地铁的全自动运行提供安全保障。

基于三维视频融合的智慧港口全景建模研究

针对港区监控视频图像之间联动性差与缺乏三维立体视觉感受等问题,提出一种基于三维视频融合的港口全景建模方法。首先,基于倾斜摄影对港区进行三维重建,在重建过程中利用体素滤波法处理点云数据,以构建轻量化模型;其次,提出一种改进SURF(Speeded-Up Robust Features)算法进行图像相似配准,以求解相机姿态,实现三维模型与视频的融合;最后,以武汉某港口为实验区域,基于Cesium开源引擎实现了三维全景模型可视化渲染。结果表明,上述方法可以将港口监控视频流以纹理的形式投影到实景模型上,构建含有实时视频数据的三维全景模型,解决港口监控现存问题,为实现智慧港口立体监控提供一种新思路。

航空辐射数据热力图与视频融合方法

随着核能技术的广泛应用,核安全与应急监测的重要性日益凸显,核应急航空监测成为国家核应急体系的重要组成部分。在核应急航空监测过程中,获取并分析航空辐射数据与视频数据对于快速监测辐射状况、圈定辐射污染区域具有重要意义。其中,航空监测视频数据可以全面直观地获取目标区域地面影像,并大范围展现目标区域地面场景实态,结合放射性异常时刻的视频帧可快速精确地分析异常的成因,具有高时效性的特点。尽管视频融合技术在城市安全、交通管控等领域得到广泛应用,但在核应急航空监测领域中,视频融合技术研究应用较少,存在航空辐射数据与视频之间关联性较差的问题。传统方法中,应急人员需要手动搜寻视频关键帧,分析地表地貌特征,效率较低。设计并实现将航空辐射数据以热力图的形式与视频进行融合的程序,总体上遵循“视频-图像-视频”变换过程。通过有效提取视频关键帧图像及关注数据信息,建立数值与色度映射关系,分析飞行方向,绘制热力图,并将热力图与视频帧融合显示,实现航空辐射数据热力图与视频的融合。这种融合方法的应用可以帮助技术人员更快速地识别和分析辐射热点及污染区域,为制定应急措施提供有力支持。因此,该研究对于提高航空辐射数据与视频数据的关联度,实现快速分析核事故影响具有重要意义。此外,所采用的方法也可应用到铀矿勘查、辐射环境航空调查等工作中。

基于改进的相关滤波卫星视频抗遮挡跟踪方法

卫星视频中的目标存在背景复杂、尺寸较小、容易受遮挡等问题,这将影响跟踪的准确性,甚至导致跟踪失败。提出了用改进的核相关滤波算法来解决卫星视频中目标遮挡问题,并对目标进行有效跟踪。该算法通过提取目标的HOG特征、LBP特征和SIFT特征共同描述目标,并以融合特征减少背景变化的影响。提出自适应卡尔曼滤波算法解决跟踪过程中目标被遮挡的问题,通过ITCI值判断目标是否被遮挡,并对被遮挡的目标进行位置预测,选用核相关滤波算法以满足跟踪的实时性和准确性。实验结果表明,改进的核相关滤波算法解决了目标遮挡问题,对目标背景变化有较好表现,同时跟踪的精度和成功率也有很大提高。

骨架引导的多模态视频异常行为检测方法

视频异常行为检测是智能视频监控分析的一项重要且具有挑战性的任务,旨在自动发现异常事件。针对只采用单骨架模态导致部分相似运动模式的行为难以区分和缺乏时间全局信息的问题,提出骨架引导的多模态异常行为检测方法。为了充分利用RGB视频模态和骨架模态的优势进行相似行为下的异常行为检测,将从骨架模态中提取的动作行为特征作为引导,使用新的空间嵌入来加强RGB视频和骨架姿态之间的对应关系。同时使用时间自注意力提取相同节点的帧间关系,以捕获时间的全局信息,有效提取具有区分性的异常行为特征。在两个大型公开标准数据集上的实验结果表明所提方法能够有效加强骨架引导的多模态特征在空间和模态上的对应关系,并捕获时空图卷积缺乏的时间全局信息,使运动模式相似的异常行为实现更准确检测。

基于多模态知识主动学习的视频问答方案

视频问答是人工智能领域的一个热点研究问题.现有方法在特征提取方面缺乏针对视觉目标运动细节的获取,从而会导致错误因果关系的建立.此外,在数据融合与推理过程中,现有方法缺乏有效的主动学习能力,难以获取特征提取之外的先验知识,影响了模型对多模态内容的深度理解.针对这些问题,首先,设计了一种显性多模态特征提取模块,通过获取图像序列中视觉目标的语义关联以及与周围环境的动态关系来建立每个视觉目标的运动轨迹.进一步通过动态内容对静态内容的补充,为数据融合与推理提供了更加精准的视频特征表达.其次,提出了知识自增强多模态数据融合与推理模型,实现了多模态信息理解的自我完善和逻辑思维聚焦,增强了对多模态特征的深度理解,减少了对先验知识的依赖.最后,提出了一种基于多模态知识主动学习的视频问答方案.实验结果表明,该方案的性能优于现有最先进的视频问答算法,大量的消融和可视化实验也验证了方案的合理性.

基于多模态自适应融合的短视频虚假新闻检测

随着互联网和社交媒体的迅速发展,新闻的传播途径不再局限于传统的媒体渠道。语义丰富的多模态数据成为新闻的载体,虚假新闻也随之得到了广泛的传播。由于虚假新闻的泛滥会对个人以及社会产生难以预估的影响,针对虚假新闻的检测已经成为目前的研究热点。现有的多模态虚假新闻检测方法仅针对文本和图像数据,无法充分利用短视频中的多模态信息,且忽略了不同模态间的一致性和差异性特征,难以充分发挥多种模态融合的优势。为解决该问题,提出一种基于多模态自适应融合的短视频虚假新闻检测模型。首先对短视频中多模态数据进行特征提取,采用跨模态对齐融合获取不同模态间的一致性和互补性特征;然后根据不同模态特征对最终融合结果的贡献实现自适应融合;最后利用分类器实现虚假新闻检测。在公开的短视频数据集上的实验结果表明,该模型的准确率、精确率、召回率和F1分数都高于当前的先进基线模型。

基于多尺度特征增强与全局-局部特征聚合的视频目标分割算法

针对记忆网络算法中多尺度特征表达能力不足和浅层特征没有充分利用的问题,该文提出一种多尺度特征增强与全局-局部特征聚合的视频目标分割(VOS)算法。首先,通过多尺度特征增强模块融合可参考掩码分支和可参考RGB分支的不同尺度特征信息,增强多尺度特征的表达能力;同时,建立了全局-局部特征聚合模块,利用不同大小感受野的卷积操作来提取特征,并通过特征聚合模块来自适应地融合全局区域和局部区域的特征,这种融合方式可以更好地捕捉目标的全局特征和细节信息,提高分割的准确性;最后,设计了跨层融合模块,利用浅层特征的空间细节信息来提升分割掩码的精度,通过将浅层特征与深层特征融合,能更好地捕捉目标的细节和边缘信息。实验结果表明,在公开数据集DAVIS2016,DAVIS2017和YouTube-2018上,该文算法的综合性能分别达到91.8%、84.5%和83.0%,在单目标和多目标分割任务上都能实时运行。

面向跨模态检索的查询感知双重对比学习网络

近期,跨模态视频语料库时刻检索(VCMR)这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,提出一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络(QACLN),该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,提出一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.

山区铁路异物侵限监测系统研究

我国西南山区铁路沿线容易发生滑坡泥石流、危岩落石等地质灾害带来的异物侵限,危及行车安全。针对当前山区铁路异物侵限监测系统易存在误报和漏报、智能化低的问题,提出一种振动传感、三维激光雷达与视频多种传感器相融合的监测系统,设计研发低功耗无线振动感知设备、异物上道探测设备,并将该系统在多个山区铁路异物侵限监测工点进行应用。研究结果表明:该山区铁路异物侵限监测系统可有效降低误报率和漏报率,提高系统的智能化程度;渝怀铁路18处异物侵限监测工点,在2022-2024年2年的监测周期内,均未出现漏报,共计出现2次误报,并成功捕获1次真实落石冲击防护网事件,较好地检验了系统的性能及可靠性。研究结果可为山区铁路异物侵限监测系统开发研究提供一定的参考,有效保障铁路运营安全。

基于大场景视频监控的坝面施工机械潜在碰撞风险预警方法

基于大场景视频监控实现坝面施工机械潜在碰撞风险预警对保证大坝施工安全具有重要意义。然而,目前坝面施工机械潜在碰撞风险检测主要依赖人工经验判断,易出现漏判和误判等问题。因此,本研究提出一种基于大场景视频监控的坝面施工机械潜在碰撞风险预警方法。首先,基于Trajectron++轨迹预测算法,通过迁移学习,实现对坝面大场景视频监控中数量众多、类型多样的施工机械在未来一段时间内的轨迹预测。其次,提出将行驶接近时间和机械最大拥挤度作为坝面施工机械潜在碰撞风险的量化指标,并基于模糊规则,建立不同行驶速度条件下两个指标与潜在碰撞风险分级预警的模糊隶属度函数。最后,采用证据理论对两个指标的预警结果进行融合,计算最终的预警等级。以两河口大坝施工现场的大场景视频监控为例进行实验验证,结果表明坝面施工机械未来6 s的轨迹预测平均位移误差和最终位移误差分别为1.17和2.36 m,且基于模糊-证据融合的施工机械潜在碰撞风险分级预警结果可为坝面施工安全提供自动化、智能化分析方法。

基于双参考帧的多源着色结果融合的视频着色方法

对黑白视频着色时,为了更好地利用参考帧信息,提出一种基于双参考帧的多源着色结果融合的着色方法.首先,采用硬注意力融合子模块融合双参考帧提供的颜色信息,以防止双帧语义匹配模块着色时不合理参考信息导致的颜色模糊问题.然后,使用多源着色结果融合模块融合通过双帧光流传播模块、双帧语义匹配模块以及遮挡信息得到的着色结果,进而产生更优质的着色结果.实验结果表明,该方法在Davis30测试集上的峰值信噪比(PSNR)、结构相似性(SSIM)和颜色分布一致性指数(CDC)分别为37.36 dB、0.980 5、0.003 748,说明该方法能够通过多种融合方式充分利用双参考帧的信息为灰度帧着色,并生成美观且具有较好时间一致性的着色结果.

基于时空依赖关系和特征融合的弱监督视频异常检测

弱监督视频异常检测由于抗干扰性强、数据标注要求低,成为视频异常事件检测研究的热点。在现有的工作中,大多数弱监督视频异常检测方法认为各个视频段独立同分布,单独判断每个视频段是否异常,忽略了视频段间的时空依赖关系。为此,提出了一种基于时空依赖关系和特征融合的弱监督视频异常检测方法,在保留视频段原始特征的同时,使用视频段之间的索引距离和特征相似程度拟合视频段的时间和空间依赖关系,构建视频段的关系特征。通过融合原始特征和关系特征,更好地表达视频的动态特性和时序关系。在UCF-Crime和ShanghaiTech两个基准数据集上进行了大量实验,实验结果表明所提方法的AUC指标优于其他方法,AUC值分别达到了80.1%和94.6%。