从Make-A-Video到Sora:AI视频生成技术的进步与挑战

随着人工智能技术的飞速发展,AI视频生成技术已成为研究和应用的热点。从Meta的MakeA-Video, Runway AI的Runway Gen-2,Stability AI的Stable Video Diffusion,到Google的Lumiere,再到OpenAI的Sora,每一个模型的推出都不仅代表了AI视频生成技术的进步,也带来了新的挑战。回顾了这些关键AI视频模型的原理和特点,并对比它们之间的优势和不足,探讨了AI视频生成技术面临的主要挑战,展望了未来的发展方向。

基于改进YOLO v5的野外实景视频水鸟检测方法

为实现野外视频监控下水鸟的快速准确识别,基于YOLO v5框架提出了一种自动化水鸟实时检测方法YOLO v5_k-mixup.该方法在YOLO v5网络的基础上内置了Mixup数据增强模块,能有效提高YOLO v5的泛化能力,改善水鸟相互遮挡无法识别的问题;同时,针对水鸟体型差异带来的检测框定位困难问题,提出了基于k-means++聚类锚框的方法,提高了检测框定位精度.与未改进的YOLO v5相比,YOLO v5_k-mixup在保持高检测速度的情况下,平均精度由84.8%提升到了87.1%.改进后的模型对复杂环境、密集遮挡等情况下的水鸟均能实现高精度识别与定位,具有较强的鲁棒性.

短视频时代新型网络大V社会责任引导与培育研究

短视频时代,网络大V具有诸多新特点以及更显著的社会影响力。正能量的网络大V在地方文化传播、助农直播、消费者权益监督等方面起到了许多积极作用。但是,如果缺乏社会责任感引导与培育,短视频时代网络大V带来的负面影响也会显现出来。因此,应该通过用主流意识形态占领网络舆论主阵地、完善相关法律法规、提高媒介素养等策略来正确引导和培育新型网络大V。

矿用视频监控系统5 V电源模块的优化改进研究

以某电源生产企业为例,分析该企业生产的矿用视频监控系统5 V电源模块故障情况,并剖析故障产生原因,然后根据原因提出相应的优化改进方案。经实践验证,改进效果理想,有效降低了5 V电源模块的故障率。

基于改进YOLO v4的生猪耳根温度热红外视频检测方法

基于热红外视频的生猪体温检测过程中,视频中保育期生猪头部姿态变化大,且耳根区域小,导致头部和耳根区域定位精度低,影响生猪耳根温度的精准检测。针对以上问题,本文提出了一种基于改进YOLO v4(Mish Dense YOLO v4,MD-YOLO v4)的生猪耳根温度检测方法,构建了生猪关键部位检测模型。首先,在CSPDarknet-53主干网络中,添加密集连接块,以优化特征转移和重用,并将空间金字塔池化(Spatial pyramid pooling,SPP)模块集成到主干网络,进一步增加主干网络感受野;其次,在颈部引入改进的路径聚合网络(Path aggregation network,PANet),缩短多尺度特征金字塔图的高、低融合路径;最后,网络的主干和颈部使用Mish激活函数,进一步提升该方法的检测精度。试验结果表明,该模型对生猪关键部位检测的mAP为95.71%,分别比YOLO v5和YOLO v4高5.39个百分点和6.43个百分点,检测速度为60.21 f/s,可满足实时检测的需求;本文方法对热红外视频中生猪左、右耳根温度提取的平均绝对误差分别为0.26℃和0.21℃,平均相对误差分别为0.68%和0.55%。结果表明本文提出的基于改进YOLO v4的生猪耳根温度检测方法,可以应用于热红外视频中生猪关键部位的精准定位,进而实现生猪耳根温度的准确检测。

基于S-YOLO V5和Vision Transformer的视频内容描述算法

视频内容描述的自动生成是结合计算机视觉和自然语言处理等相关技术提出的一种新型交叉学习任务。针对当前视频内容生成描述模型可读性不佳的问题,本研究提出一种基于S-YOLO V5和Vison Transformer(ViT)的视频内容描述算法。首先,基于神经网络模型KATNA提取关键帧,以最少帧数进行模型训练;其次,利用S-YOLO V5模型提取视频帧中的语义信息,并结合预训练ResNet101模型和预训练C3D模型提取视频静态视觉特征和动态视觉特征,并对两种模态特征进行融合;然后,基于ViT结构的强大长距离编码能力,构建模型编码器对融合特征进行长距离依赖编码;最后,将编码器的输出作为LSTM解码器的输入,依次输出预测词,生成最终的自然语言描述。通过在MSR-VTT数据集上进行测试,本研究模型的BLEU-4、METEOR、ROUGEL和CIDEr分别为42.9、28.8、62.4和51.4;在MSVD数据集上进行测试,本研究模型的BLEU-4、METEOR、ROUGEL和CIDEr分别为56.8、37.6、74.5以及98.5。与当前主流模型相比,本研究模型在多项评价指标上表现优异。

基于嵌入式Video4Linux的USB视频信号采集

本文介绍了基于嵌入式Video4Linux的USB视频信号采集系统的设计,在Linux操作系统中,通过对设备进行驱动加载,利用Video4Linux提供的API,针对OV511+USB摄像头编写相应的视频采集程序,最后在VMware虚拟机Linux环境下,实现了对USB的视频采集,并具有较好的实时性。

基于Video for Linux内核的USB摄像头视频信号采集实现

Video for Linux是Linux中关于视频设备的内核驱动,本文介绍了在Video for Linux内核基础上,利用其提供的接口函数、数据结构完成对USB摄像头驱动进行设计,并实现在Linux下对视频信号的采集。

基于开源大模型的短视频与直播AI实训系统的设计与实现

提出了一种基于开源大模型的短视频与直播AI实训系统设计方案,旨在通过集成Llama-3、Stable Diff usion、Stable Video Diff usion等先进技术,构建一个集教学与实践于一体的智能化平台,促进新媒体人才的培养。系统设计覆盖账号定位分析、剧本策划、分镜头生成至视频合成的全链路,利用ComfyUI提供用户友好的操作界面,NestJS实现高效的服务器管理,以及MySQL和MongoDB支持数据存储。经过功能测试与用户体验评估,所设计的系统有效提升了学生的实践技能与内容创作水平,具有良好的应用前景。未来发展方向包括模型的持续优化、技术升级,以及加强与产业界的合作,以更好地适配行业需求,开拓新媒体教育的未来空间。

基于Vernier Video Physics软件的物理实验探究——以“探究平抛运动的特点”为例

智能手机的飞速发展和智能手机APP的不断更新对当今社会的各个方面都产生了深远的影响。与此同时,智能手机APP也逐渐被引入课堂教学中,为学生提供了自主学习的机会,也使物理实验教学模式发生了巨大的改变,成了广大教育者关注的热点。利用Vernier Video Physics软件和Vernier Graphical Analysis软件,再结合平抛运动实验仪,对小钢球的运动轨迹进行逐帧追踪定位,得到小钢球做平抛运动的y-x图像、x-t图像、y-t图像和v_(y)-t图像,再对图像进行相应函数拟合,经过数据分析,得到小钢球做平抛运动在水平方向和竖直方向的运动特点。利用智能手机APP辅助高中物理实验教学可以激发学生的学习兴趣,帮助学生理解物理概念和规律,使学生积极主动地参与到实验中来,培养他们的动手能力,提升他们的实验素养。

华为Video Coverage白皮书 如何助运营商提升视频业务体验?

多个案例表明,华为Video coverage方法论的应用使用户体验得到极大改善,刺激了视频流量增长,运营商的收益也得到了提升。

Linux下基于Video4Linux的USB摄像头视频采集实现

介绍在Linux系统下通过USB摄像头实现视频采集的一种方法,利用Video4Linux提供的数据结构、编程接口,结合USB摄像头驱动,实现了Linux环境下USB摄像头的视频采集、连续播放的功能。

基于4V营销理论的高校图书馆微信视频号运营策略研究

当前,随着大数据、新媒体技术的不断发展,传播环境发生变化,短视频成为各行各业的营销途径,营销学理论也被引入短视频运营,为短视频的发展提供理论支撑。文章概述4V营销理论,调研高校图书馆微信视频号现状,分析存在的问题,并利用清博指数平台微信视频号传播力指数WVCI评价部分高校图书馆微信视频号的传播影响力,基于4V营销理论探究高校图书馆微信视频号运营策略。

基于Video4Linux的视频图像采集实现

Video4Linux是Linux下进行影像系统开发的核心。本文结合Video4Linux的关键技术,举例实现了Linux环境下使用USB摄像头进行视频图像采集功能。

视频格式全介绍(上) Video Format Introduction I

步入多媒体时代,电脑亦已成为家庭娱乐中不可缺少的一员大将,像玩游戏、听音乐、看电影等这些玩乐活动早已经成为了我们生活中的一部分。在上期杂志中,我们已经向您比较详尽的介绍了一些我们能够经常见到的音频格式,在本期里我们将继续为您介绍一些常见视频文件格式的有关知识。谈论到视频文件,您应该不会感到陌生,在日常生活的娱乐体验里。

基于块编码特点的压缩视频质量增强算法

针对现有压缩视频质量增强算法未能充分利用压缩视频特点的问题,研究了视频编码与压缩视频质量增强任务之间的本质关系,并针对性地设计了一种基于三维卷积神经网络(3D convolutional neural network, 3D-CNN)的非对齐压缩视频质量增强算法。实验结果表明:相较于高效视频编码(high efficiency video coding, HEVC)标准H.265,所提算法在低延迟(low delay, LD)配置下且量化参数(quantization parameter, QP)为37时,峰值信噪比(peak signal-to-noise ratio, PSNR)提升了0.465 2 dB;相较于数据压缩会议(data compression conference, DCC)中提出的多帧引导的注意力网络(multi-frame guided attention network, MGANet)方法,该算法PSNR的增长量提升了15.1%。

基于ONR-CNN的点云属性视频环路滤波算法优化

通过对基于视频的点云压缩(V-PCC)投影生成的属性视频进行研究,提出了基于ONR-CNN的点云视频环路滤波算法。算法引入占用信息优化损失函数和加强占用区域编码单元的色度信息表达,提高深度学习网络对占用区域的关注度;根据V-PCC在AI配置下的编码结构,引入迭代训练机制,在训练过程中考虑该编码结构下P帧对I帧的依赖关系,使训练出的网络模型更好地适应编码需求。实验结果表明:在AI配置下,与V-PCC参考软件相比,所提算法在Y,U,V下的BD-AttrRate分别降低5.9%、24.5%和23.5%,BD-TotalRate分别降低4.7%、20.6%和19.0%。

探索显卡的视频加速技术之XGI Cipher Video、ColorAMP

播放视频，尤其是高清视频现在已经民了显卡除游戏之外的第二大主要任务，因而显卡的视频加速性能也越来越受到厂商的重视，面对各主流图形芯片厂商纷纷推出的视频播放加速技术，如何才能更好地利用它们达到更逼真的视频播放效果已经成为DIYer在游戏性能之外对显卡的第二个探索方向……

亚马逊Prime Video视频服务在英国的用户增长击败Netflix

根据英国评级机构Barb的数据，亚马逊Prime Video视频服务是2017年英国增长最快的视频点播（VoD）服务。