VR/AR-AdaptFace:面向虚拟现实与增强现实的自适应多模态面部替换模型

随着VR/AR技术的迅猛发展,用户对于沉浸式体验的需求日益增长。同时,虚拟人脸技术亦趋成熟。基于此,本文探索将高度拟真的虚拟人脸融入VR/AR,以增强用户体验的自然度与沉浸感。然而,在虚拟数字人领域,图像生成及换脸技术在VR/AR环境下仍遇诸多挑战,尤其是唇形合成模型在动态场景及多语言环境下的性能需进一步优化。为解决上述问题,本文提出VR/AR-AdaptFace模型,一个面向虚拟现实与增强现实的自适应多模态面部替换方案。该模型由两大模块构成:“文颜绘真”模块,采用先进的文本至图像转换技术和特定类别先验保存策略,优化虚拟人脸生成,并通过注意力机制大幅提升图像质量;“语唇映生”模块,依托强大的生成器、唇形同步判别器及视觉质量判别器,实现语音与唇形的精准同步,为VR/AR场景中的动态交互带来更加逼真的体验。

Video-Based Face Recognition with New Classifiers

An exhaustive study has been conducted on face videos from YouTube video dataset for real time face recognition using the features from deep learning architectures and also the information set features. Our objective is to cash in on a plethora of deep learning architectures and information set features. The deep learning architectures dig in features from several layers of convolution and max-pooling layers though a placement of these layers is architecture dependent. On the other hand, the information set features depend on the entropy function for the generation of features. A comparative study of deep learning and information set features is made using the well-known classifiers in addition to developing Constrained Hanman Transform (CHT) and Weighted Hanman Transform (WHT) classifiers. It is demonstrated that information set features and deep learning features have comparable performance. However, sigmoid-based information set features using the new classifiers are found to outperform MobileNet features.

基于人脸识别的智能视频监控报警系统设计

随着计算机技术和图像处理技术的不断发展,智能视频监控的重要性日益显现。但是传统报警系统效率低、误码率高,安全性相对不足。立足于现代住宅防盗的实际需要,提出了利用Python语言、 OpenCV技术和软件工程的设计思想,实现一款基于人脸检测识别的自动报警系统设计,可以安全识别人脸信息,从而判断是用户还是陌生人入侵,达到入侵检测和自动报警的功能。

视觉传感器提取面部运动特征的抑郁症检测算法研究

尽管抑郁症自动诊断系统已经取得了重大进展,但大部分工作集中在结合多种模态的特征来提高分类精度,这会产生大量的时空开销和特征同步问题。提出了一种基于面部表情和面部运动特征的单模态抑郁症检测框架。提出了一种基于面部标志比的鲁棒特征提取方法,并从理论上证明了该特征具有上下、左右平移、深度平移、旋转和翻转不变性。基于该方法提取的特征保持了面部标志点在空间上的拓扑结构关系,并保持了面部标志点前后帧的时间相关性。然后,提出了一种新颖的思路来解决大单元抑郁症视频的分类任务,将大单元视频的抑郁症分类任务分解为多个短序列单元的评分任务,然后通过定义的评分聚合函数得到最终的抑郁症分类结果。在DAIC-WOZ数据集上,所提出的检测框架提高了分类性能,F1得分为0.85,优于当前其他基于单模态的抑郁症检测模型。

基于全方位视频监控技术在大坡度综采工作面安装期间的应用研究

以木瓜煤矿9-207综采工作面为例,探讨了固定点和动态视频监控技术的联合应用效果。采用全方位视频监控技术,解决了无轨胶轮车在大坡度运输支架过程中,绞车司机无法实时获知绞车辅助拉支架情况的问题。结合固定点和动态视频监控技术,一方面减少了切巷施工人员数量,实现了少人作业目标;另一方面,通过全方位视频监控技术,正副两巷回柱绞车司机获得了更广泛的视野,克服了传统回柱绞车无法实时掌握现场情况的不足,确保施工能够安全高效进行。

基于瑞芯微平台的轻量化人脸属性估计视频流设计方法

年龄估计系统能够自动判断人的年龄。年龄信息作为一种生物特征,除了对使用者身份有着非常重要的影响外,还大大提高人脸识别系统的性能。随着深度学习方法的兴起,人脸识别的深度学习算法的识别率和准确率也越来越高,但是人脸和性别年龄等特征的综合识别和评估的实时性不足,基于深度学习的轻量化设计及优化成为主流。开展基于瑞芯微RK3588平台的轻量化人脸年龄估计的研究,采用主流的YOLOv8端到段模型进行人脸检测,对检测出来的人脸进行性别和年龄的估计,并利用H264将视频进行编码,通过RTSP(RealTimeStreamingProtocol)实时流协议进行视频流推送到远端进行显示,使用widerface数据集结果测试显示,优化后的模型精度降低2.5%左右,速度提高1倍,编码速度提高了10倍,实现了人脸年龄估计视频流的推送。

人脸和步态特征注意力融合的身份识别方法

真实的身份认证场景往往存在面部遮挡和远距离等难点,给人脸识别等传统识别方法带来挑战.步态识别等新型识别方法助力身份认证.步态识别适用于面部遮挡场景,且远距离时优于人脸识别.为了发挥人脸识别和步态识别在远距离遮挡下的互补作用,本文提出了一种基于人脸和步态多模态融合的身份识别方法.该方法包括面向低分辨率和有遮挡场景的人脸识别模块、基于轻量化模型GaitLight的多视角步态识别模块、融合人脸和步态特征的注意力融合模块.人脸和步态融合数据集上的实验结果表明,提出的多模态方法在面部无遮挡和面部遮挡条件下,识别率均高于单模态方法和现有的多模态方法.两种条件下识别率分别达到98.5%和98.4%,高于人脸识别算法1.2%和7.1%.多模态识别方法既能满足日常识别需求,也适用于远距离遮挡下的身份识别,识别性能优于目前应用的人脸识别方案.

掘进工作面自移设备列车研制与应用

针对掘进工作面动力设备、临时料场的跟机前移主要靠人工搬运、劳动强度大、安全隐患突出、与快速掘进系统不匹配、影响掘进效率的问题,研制了适用于掘进工作面的自移设备列车。设计了智能控制系统,实现了设备列车与掘进成套装备的协同控制,提高了设备列车在复杂顶底板条件下的适应性。实际应用表明:自移设备列车将掘进工作面辅助作业装备集中管理,大大提高了作业的安全性和工作效率。

一种适应不同距离的低清人脸深度识别算法

针对多数人脸识别算法对于实际低清影像鲁棒性弱的问题,构建了一种融合知识蒸馏和域自适应的低清人脸识别新模型,包含教师网和学生网。首先,两分支骨干网均引入Res2Net模块,以助于提取细粒度强的人脸身份特征;其次,骨干网的不同阶段均引入知识蒸馏,以助于提升学生网的低清人脸特征提取能力;最后,在学生网引入域自适应学习机制,以助于实现域不变的特征提取能力。公开数据集上的实验结果验证了新模型对于不同距离低清人脸的有效性。

煤矿掘进工作面低照度视频增强技术研究

针对煤矿掘进工作面视频光照较低、亮度不均、纹理模糊、噪声较多等问题,提出一种煤矿掘进工作面低照度视频增强算法。首先,利用卷积的可分离性将视频图像进行一维水平卷积与垂直卷积,再利用完美反射法实现视频图像自动白平衡,并使用图像混合增强技术提高视频图像整体亮度。然后,基于大气散射模型与暗通道先验方法,通过递归分割将图像分割为高光区、中间调和暗调区,并求取对应区间通道像素最大值,将其3者均值作为大气光照估计值,引入调节因子对透射率进行调整优化,并使用拉普拉斯锐化操作,增加图像高频成分、抑制图像低频成分,提高图像对比度。最后,基于改进的大气散射模型对掘进工作面低照度视频进行去雾处理。实验结果表明,视频增强算法能够对煤矿掘进工作面低照度视频进行实时增强、去雾处理,避免了视频图像暗淡、失真、模糊和突变等问题。相较于Retinex算法、ALTM算法和暗通道先验算法,视频增强算法大幅度提高了视频图像的信息熵、标准差和平均梯度,且具有较好的实时处理速度,能够为掘进工作面视频的目标识别、目标跟踪、目标监测和图像分割等后续处理提供优质、可靠的支撑。

人脸视频深度伪造检测方法综述

深度伪造(deepfake)技术的非法应用会对社会稳定、个人名誉甚至国家安全造成恶劣影响,因此针对人脸视频的深度伪造检测成为计算机视觉领域中的难点与研究热点。目前该领域的研究建立在传统人脸识别与图像分类技术基础上,通过搭建深度学习网络判别真伪,但存在数据集质量不一、多模态特征如何有效结合、模型泛化能力较差等问题。为进一步促进深度伪造检测技术的发展,对当前各类人脸视频深度伪造算法进行了全面总结,并对已有算法进行了归类、分析、比较。首先,主要介绍人脸视频深度伪造检测数据集;其次,对近三年主要的伪造视频检测方法进行总结,以特征选择为切入点,从空间特征、时空融合特征、生物特征的角度对各项检测技术进行分类整理,并对基于水印与区块链等非主流检测方法进行介绍;然后,从特征选择、迁移学习、模型设计与训练思路等方面介绍了各类检测方法所呈现出的主流趋势;最后,对全文进行总结并对未来技术发展进行展望。

说话人生成研究现状与发展趋势

说话人生成是视觉生成领域的热门研究方向,旨在根据输入的多模态信息生成逼真的说话人视频。说话人生成在影视传媒、游戏动漫和互联网相关产业中具有广阔的应用前景,同时也可以为唇读识别、伪造鉴别和数字人生成等任务的研究提供数据支持。现阶段主流的说话人生成方法已经能够实现包含个性化属性、视听同步的说话人视频生成,但还未能达到虚拟现实、人机交互和元宇宙等新兴应用场景的要求。因此,研究说话人生成对于推动相关产业发展具有重要意义。对说话人生成的研究现状进行梳理与总结,首先阐述了说话人生成的研究背景和相关技术,然后根据方法分类介绍了近年来主流的说话人生成方法,整理了相关研究中常用的视听数据集和评价指标,最后总结现有方法存在的问题,分析了说话人生成未来潜在的研究方向。

视觉身份隐私保护:人脸匿名化研究方法

随着深度学习的广泛应用,身份伪造技术的发展越来越迅猛.各种伪造的图像和视频在社交媒体平台上的传播直接影响了公共隐私安全,人脸身份隐私保护已成为当前研究热点.本文从基于图像和视频两个方面的匿名化方法阐述和归纳了人脸隐私保护研究现状,并将人脸图像匿名化方法从图像语义修改、图像语义保持、视觉可恢复以及深度学习过程中的人脸隐私保护四个方面进行分类,将人脸视频匿名化方法从聚焦面部区域隐私的视频匿名化方法和面向生物特征隐私的视频匿名化方法两个方面进行分类.在此基础上,本文进一步介绍目前广泛使用的数据集及匿名算法评价标准,分析现有人脸匿名技术生成人脸图像的可靠性和实用性,并对此领域的未来研究进行了展望.

基于人脸识别技术的地铁公安视频监控系统方案研究

为快速、准确识别进入地铁的可疑人员身份,保障地铁的运营安全,文章提出一种基于人脸识别技术的地铁公安视频监控系统方案,并在概述该系统使用的多尺度池化卷积神经网络算法及二维主成分分析算法等人脸识别技术基础上,对其系统方案设计进行阐述,包括设计要求、总体架构、子系统设计、业务流程4方面,最后介绍该系统方案在南昌地铁地铁大厦站的测试情况和测试结果。实践证明,该系统对于进入地铁的可疑人员具备较强的识别能力,可实现对地铁车站出入口通道、闸机及换乘区域人员的精准、高效排查。

基于深度学习的人脸识别算法在视频监控的应用研究

针对监控摄像头存在成像质量差、实时人脸识别准确率较低的问题,文中基于深度学习框架,搭建了一种可用于实时监控的人脸识别模型。该模型主要包括人脸检测对齐模块与特征点识别模块,其中人脸检测对齐模块采用了MTCNN模型,并加入可分离卷积以提高其轻量化水平,进而使运行速度得到了有效提升。而人脸特征点识别模块采用了MobileFaceNet模型的设计思想,通过引入自适应因子来增强模型识别的准确度。利用剪枝算法对两大模块加以优化,从而进一步提高了模型的运行速度。实验测试结果表明,在使用相同数据集对模型进行训练的条件下,所设计模型的识别准确率最高,且其FPS值可达31 fps,故能够满足实时人脸识别的技术要求。

智能化综采工作面全景视频远控技术研究及应用

针对智能化综采工作面建设中对井下少人化、无人化的目标诉求,依托先进的无线通信技术,发展全方位的视频监控系统,提升综采设备的远程操控能力,改善相关生产人员的作业环境,是煤矿智能化开采的重要方向。介绍了智能化综采工作面全景视频远控技术方案和该方案的整体架构,详细阐述了井下综采工作面5G网络部署、短物距下大视场摄像机成像、全景视频实时拼接算法等全景视频远控关键技术,以及对采煤机端侧远程操控进行的改造,同时分析了全景视频远控技术在工程实施过程中的难点。具体实践表明,应用综采工作面全景视频远控技术方案能够促进煤炭生产的减人增安,对煤矿智能化综采工作面的建设具有重要意义。

基于语义分割的综采工作面视频拼接方法

研究了一种基于语义分割的综采工作面视频拼接方法。该方法针对井下要求,以采煤机为拼接主体。首先使用语义分割模型分割出各路监控视频中的采煤机,获取其在图像中的位置;然后根据采煤机位置来对齐各路监控视频中的采煤机;最后使用图像融合技术来对重叠区域进行融处理。实验结果表明,该方法能够有效地满足井下工作面拼接需求,并具有较高的稳定性和普适性。

基于双重注意力和光流估计的人脸替换方法

视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性,为了提升重建图像和人脸掩模质量,解决视频播放不自然问题,提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体,为了提升网络的特征提取能力,在人脸重建网络中引入双重注意力模块,并使用深度可分离卷积替代模块中部分卷积,降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象,添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明,该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情,使视频具有更好的连续性,提升人脸替换视频质量。

基于特征提取的视频人脸图像受损区域修复研究

针对受损人脸图像在修复过程中易受到噪声影响的问题,采用特征提取方法,设计视频人脸图像受损区域修复方法。结合受损的图像纹理信息,判别图像受损区域。判断特征点到中心点的欧氏距离。提取图像边缘特征,设置分割线,将待修复的图像区域分成无边缘块和有边缘块,实现敏感受损区域特征分段修复。通过实验得出,该方法下图像的信噪比最高为42.354 dB,对左眼、右眼、鼻子、嘴巴特征点的修复效果均较好,能够得到一个最佳的修复结果。

小保当煤矿视频安防监控系统的设计

为了在小保当煤矿建设一套技术先进、易于扩展、维护方便、安全可靠的视频安防监控系统,介绍了一种基于以太网的智能化高清网络视频安防监控系统的设计方案。本系统采用模块化设计思路,分为前端采集系统、传输系统、视频监控管理系统、存储系统、显示系统5部分,可实现对煤矿主要建筑物内、外的主要公共活动场所、重要房间、通道、电梯厅、电梯轿厢、出入口等重要区域进行有效的视频监视,图像显示、记录与回放。系统支持行为分析、道路监控、人脸应用等视频智能应用。目前,煤矿视频安防监控系统工程已建成,结果表明:该系统运行正常,提高了煤矿安全管理水平,取得了良好的经济效益和社会效益。