基于复合特征的高速网络视频流量识别方法

现有的视频流量识别方法主要针对特定平台,且大多需要捕获完整的流量,不适合高速网络管理。研究提出一种在采样后的高速流量中识别来自多个平台视频流量的方法。基于多个视频平台传输协议的普遍特性提取特征构建复合特征空间,并进一步处理这些特征,以消除采样对特征稳定性的影响,最后提取特征向量,并训练分类模型。研究使用带宽为10 Gbps、采样率为1∶32的高速网络流量进行试验验证,结果表明:该方法可在高速网络中快速识别多平台的视频流量,且识别准确率大于98%。

一种基于HTTP/3传输特性的加密视频识别方法

视频流量逐渐在网络中占据主导地位,且视频平台大多对其进行加密传输。虽然加密传输视频可以有效保护用户隐私,但是也增加了监管有害视频传播的难度.现有的加密视频识别方法基于TCP(Transmission Control Protocol)传输协议头部信息和HTTP/1.1(Hypertext Transfer Protocol Version1.1)的传输模式,提取应用层音视频数据单元传输长度序列来实现视频识别.但是随着基于UDP(User Datagram Protocol)的QUIC(Quick UDP Internet Connections)协议及基于QUIC实现的HTTP/3(Hypertext Transfer Protocol Version 3)协议应用于视频传输,已有方法不再适用.HTTP/3协议缺少类似TCP的头部信息,且使用了多路复用机制,并对几乎所有数据进行了加密,此外,视频平台开始使用多片段合并分发技术,这给从网络流量中精准识别加密视频带来了巨大挑战。本文基于HTTP/3协议中的控制信息特征,提出了从HTTP/3加密视频流中提取数据传输特征并进行修正的方法,最大程度复原出应用层音视频长度特征.面向多片段合并分发导致的海量匹配问题,本文基于明文指纹库设计了键值数据库来实现视频的快速识别.实验结果表明,本文提出的基于HTTP/3传输特性的加密视频识别方法能够在包含36万个真实视频指纹的YouTube大规模指纹库中达到接近99%的准确率,100%的精确率以及99.32%的F1得分,对传输过程中加人了填充顿的Facebook平台,在包含28万个真实视频指纹的大规模指纹库中达到95%的准确率、100%的精确率以及96.45%的F1得分,在具有同样特性的Instagram平台中,最高可达到97.57%的F1得分,且本方法在所有指纹库中的平均视频识别时间均低于0.4秒.本文的方法首次解决了使用HTTP/3传输的加密视频在大规模指纹库场景中的识别问题,具有很强的实用性和通用性.

面向实时视频流分析技术的思考和展望

近几年来,实时视频流分析技术广泛应用,推动着智慧城市、智慧安防、无人驾驶领域快速发展。其中,关键技术目标识别的算法研究已成为新的热门趋势。本文从实时视频流分析的流程出发,深入分析各环节的实现原理,其中目标识别算法将有力推动实时视频流分析技术演进,并不断开拓新的应用场景。目标识别算法正逐步更新,从RNN到LSTM、GRU均能够为实时视频流分析提供更加完善的解决方案。同时,本文也对未来的目标识别算法研究方向做了思考和展望。

基于瑞芯微平台的轻量化人脸属性估计视频流设计方法

年龄估计系统能够自动判断人的年龄。年龄信息作为一种生物特征,除了对使用者身份有着非常重要的影响外,还大大提高人脸识别系统的性能。随着深度学习方法的兴起,人脸识别的深度学习算法的识别率和准确率也越来越高,但是人脸和性别年龄等特征的综合识别和评估的实时性不足,基于深度学习的轻量化设计及优化成为主流。开展基于瑞芯微RK3588平台的轻量化人脸年龄估计的研究,采用主流的YOLOv8端到段模型进行人脸检测,对检测出来的人脸进行性别和年龄的估计,并利用H264将视频进行编码,通过RTSP(RealTimeStreamingProtocol)实时流协议进行视频流推送到远端进行显示,使用widerface数据集结果测试显示,优化后的模型精度降低2.5%左右,速度提高1倍,编码速度提高了10倍,实现了人脸年龄估计视频流的推送。

基于多模式匹配的网络视频流识别与分类算法

快速发现网络中的视频流是进行网络视频监督及管理的前提与基础。本文通过分析网络视频流数据包的特征,提出了一种基于多模式匹配思想的网络视频流快速发现与分类算法,该算法利用不同视频流的特征建立匹配机,只需对网络数据包进行一次不完全扫描,就可以判断出数据包中是否含有视频流及类型。实验结果表明,与普通的协议解析方法相比,在满足准确性的前提下,所提算法具有更好的时间性能。

基于多流多状态动态贝叶斯网络的音视频连续语音识别

语音和唇部运动的异步性是多模态融合语音识别的关键问题,该文首先引入一个多流异步动态贝叶斯网络(MS-ADBN)模型,在词的级别上描述了音频流和视频流的异步性,音视频流都采用了词-音素的层次结构。而多流多状态异步DBN(MM-ADBN)模型是MS-ADBN模型的扩展,音视频流都采用了词-音素-状态的层次结构。本质上,MS-ADBN是一个整词模型,而MM-ADBN模型是一个音素模型,适用于大词汇量连续语音识别。实验结果表明:基于连续音视频数据库,在纯净语音环境下,MM-ADBN比MS-ADBN模型和多流HMM识别率分别提高35.91%和9.97%。

网络视频流识别技术研究

互联网多媒体技术已经成为我们日常生活中不可或缺的元素之一,人们可以通过网络视频观看电影、电视剧,还可以通过网络视频聊天,通过网络视频学习和召开视频会议,网络视频应用越来越频繁,这使得网络流媒体数据量不断增大,因此增加了网络带宽和网络传输质量的负担。本文对目前网络视频传播形式进行研究,发现目前主流的网络视频通信为P2P和Web,由此对二者的通信方式、视频流识别方法进行研究,以提高网络视频流识别能力,提高视频服务质量。

融合Res3D、BiLSTM和注意力机制的羊只行为识别方法

识别动物行为可以为疾病预防和合理喂养提供重要依据,从而有助于更好地关注动物的健康和福利。本文提出了一种融合三维残差卷积神经网络、双向长短期记忆网络和注意力机制的深度学习网络模型(AdRes3D-BiLSTM)。AdRes3D-BiLSTM模型可以直接针对视频流进行识别,在AdRes3D部分引入了深度可分离卷积和注意力机制,不但减少了浮点运算量,提升了网络轻量化程度,还提高了时间和空间两个维度的特征提取能力;提取的特征被输入BiLSTM模块后,从前后2个方向对时序特征向量进行筛选和更新,最后对羊只行为进行准确识别。试验结果表明,AdRes3D-BiLSTM对羊只站立、躺卧、进食、行走和反刍5种行为的综合识别准确率达到了98.72%,帧速率达到52.79 f/s,模型内存占用量为28.03 MB。研究结果为基于视频流的动物行为识别提供了新的方法和思路。

基于多流动态贝叶斯网络的音视频连续语音识别

针对说话时发音和口形的异步问题，提出了一个多流异步动态贝叶斯网络（Dynamic Bayesian Network，DBN）模型，以实现基于音视频特征的连续语音识别，在这个模型中，音频流和视频流在词节点同步，而在词节点之间，音视频流有各自独立的拓扑结构以及节点变量之间的条件依赖关系，同时词转移节点变量由音视频流共同确定，模型在词级另q上体现了音视频流的异步性。采用连续数字音视频数据库的实验结果表明，在信噪比为O～30dB的测试环境下，比较单流DBN模型和多流隐马尔可夫模型，平均识别率分别提高了8．68％和10．07％。

基于视频流和位置流混合的建筑施工人员行为识别研究

1背景随着改革开放的深入,我国经济发展速度长期处于世界领先地位,建筑产业已经成为我国国民经济的重要支柱性产业。在建筑业的高速发展的同时也带来了一些问题,安全问题就是其中的的主要因素之一。根据2010年至2014年,我国建筑业每年由于安全事故死亡的人数均在600人以上,建筑业的安全事故率仅低于采矿业,不仅严重危害了建筑从业人员的生命安全,同时还造成了各类重大的财产损失。虽然近年来建筑安全事故导致的人员伤亡和财产损失率在降低,国家采取一系列的措施提高了建筑业的安全管理水平,依然无法掩盖建筑业安全生产的严峻形势。

基于视频流的图像识别技术发展与应用

就现如今的社会而言,计算机技术以及通信网络的发展非常的迅速,在这种情况下,信息消费对于人们生活所造成的影响也越来越大,其不仅能在一定程度上提高效率,在某些活动中也成了必不可少的一项数据支持。在网络环境中所存在的数据格式也随着技术的变化而变化,流媒体就是其中的关键,而本文主要对基于视频流的图像识别技术发展与应用进行了研究。

视频监控识别预警平台的设计与实现

为了使视频监控发挥更大作用,并不断适应新的识别及预警需要,建设一个包括视频解析、视频分析、视频合成、视频流服务的视频监控管理平台是十分必要的。本文提出了一个视频监控识别预警平台的建设方案,对平台的总体设计、各子系统的设计实现、子系统间的关系、子系统的串联和系统部署提出了具体的建设措施。实践结果表明,采用该方案建设的视频监控识别预警平台能够满足多业务场景下的监控识别预警需求,并具有一定的灵活性、扩展性,实践效果良好。

基于视频流媒体的人脸识别课堂监控系统

针对传统考勤方式无法实时监测学生迟到、早退、代课和旷课等现象,难以对课堂进行全面监督等问题,文中研究和设计了基于视频流媒体的人脸识别课堂监控系统。该系统通过监控端发送视频流、服务器端接收视频流的方式来获得课堂的实时状况,并利用Adaboost算法进行人脸识别,进而完成对学生的课堂监督。实验测试数据的结果表明,所设计的课堂监控系统除了能够在低延迟下完成视频流的发送与接收,还可以完成应到学生的考勤,成功率达95%以上,可精确地统计应到学生的上课时长,并准确区别出旁听学生。

基于人脸区域特征相关性的视频流人脸识别研究

目前,基于深度学习提取人脸特征进行人脸静态图片识别的方法,在Labeled Faces in the Wild(LFW)数据集等标准集上的正确识别率几乎接近人类。但是,在视频流中,由于人体的不停运动和姿态偏移等问题,导致检测到的部分人脸区域严重模糊和不完整,如监控系统中的人脸。这种情况下,单纯地采用基于图片的人脸识别方法,准确率会严重下降。在基于视频流的人脸区域提取时,本文提出采用单张人脸区域图像的特征自相关指标来衡量人脸的姿态以及模糊状况,针对连续多帧中人脸区域图像存在的信息冗余,提出利用连续多帧中人脸区域图像的特征互相关指标来衡量视频流中人脸区域的变化程度。基于提出的自相关指标与互相关指标,本文提出并实现了视频流中适用于识别的人脸区域图像的选取算法,以及加权投票的人脸识别算法。研究中收集并制作了基于视频流的人脸数据集,验证了本文提出算法的可行性。实验表明,本系统在有较高的识别率的同时,大幅度降低了人脸识别计算量,使得人脸识别可在视频流中实时稳定地进行。

多路视频流边缘智能识别设备设计

变电站是电网运行的重要环节,其运维巡检质量关系变电站的安全稳定,变电设备数量增长和人员相对短缺的矛盾导致人工巡检往智能巡检方式转变。变电站视频设备数量众多,视频数据多通过光纤统一传输到后台服务器分析处理,为了解决传输通道带宽压力大,应用服务端计算性能要求高等问题,提高图像识别效率,基于人工智能与边缘计算技术,研制了变电站多路视频流边缘智能识别设备,分别从总体架构、主控软件、以及算法模型等方面开展了设计与开发,使用变电图像数据库,测试了缺陷智能识别算法的精度,并面向变电站智能运维场景开展试点应用验证,模型精度测试与实际应用结果表明,该设备智能识别精度可满足变电智能巡视业务需求,能够在边缘侧实现变电多路视频流的实时采集、在线智能识别、优化推流等功能,可显著提升变电站智能运维水平。

基于视频流的图像识别技术发展与应用

首先针对流媒体环境下的图像识别技术价值展开分析,对于当前流媒体图像识别技术的主要应用领域以及需求状态加以说明,而后从技术的角度针对当前该领域中的几种主要技术展开讨论,希望对于切实推动加深认识有积极价值。

视频流中的人脸识别系统应用开发

随着信息和智能终端技术的发展,生物识别技术在各行各业中得到了广泛的重视.人脸检测与识别属于非接触型身份认证,只是看到脸部就可以实现身份的认证,因而被广泛地应用在安保系统、企业公司、医院学校、研究所等各类机构组织之中。本实验基于特征脸的人脸识别方法,利用OpenCV的第三方库和C＋＋编程,实现了视频流中的人脸识别技术,能够在PC上检测人脸和识别人脸。

基于机器学习的P2P视频流识别技术

当前因特网多媒体视频流业务增长迅速,有效识别网络流量P2P(Peer to Peer)视频流服务是一项重要挑战。本文提出一种基于机器学习的P2P视频流识别技术。该技术中视频流特征分析系统包括数据报采集、处理、分流和属性特征计算模块。其次,提出了基于统计方法的P2P视频流数据报特征挖掘方法。仿真实验验证了所提出方法的高效性和准确性,能够较好的满足P2P视频流识别。

300万像素视频流车牌识别——路径识别完美解决方案

利用车牌识别技术，自动获取经过路径标示点的车辆号码，在出口车道比对标示点车牌号，判断车辆行驶路径，实现歧义路段费用的合理拆分。

基于流媒体技术的智能视频监视系统

介绍了一种基于流媒体技术的智能视频监视系统。该系统针对安全防范需求,采用流媒体技术,保证了视频流的实时传输和流畅播放,同时采用模板匹配结合运动检测判断出异常情况可能发生的区域和位置,并逐一进行匹配,判断出异常情况的类别。系统实施在安徽铜陵铜都铜材厂,满足了厂房的安防需求,提高了工厂的生产效益,节约了人力资源。软件设计具有良好的扩展性和伸缩性,市场前景广阔。