基于注意力机制的短视频助力导论类课程教学改革研究——以人工智能导论课程为例

以人工智能导论为代表的导论类课程具有课时少、知识点多、算法难、学生基础差异大等特点,给教学带来诸多难点,如难以平衡深度和广度,难以持续吸引注意力等。利用短视频的多形式表达、多通道传输、高密度信息等优点可以解决导论类课程教学难题。该文在剖析课堂注意力特点和短视频吸引注意力机制的基础上,运行注意分配的认知理论,提出一套基于注意力机制的短视频助力导论类课程的教学方法,可为导论类教学工作者提供参考。

基于双参考帧的多源着色结果融合的视频着色方法

对黑白视频着色时,为了更好地利用参考帧信息,提出一种基于双参考帧的多源着色结果融合的着色方法.首先,采用硬注意力融合子模块融合双参考帧提供的颜色信息,以防止双帧语义匹配模块着色时不合理参考信息导致的颜色模糊问题.然后,使用多源着色结果融合模块融合通过双帧光流传播模块、双帧语义匹配模块以及遮挡信息得到的着色结果,进而产生更优质的着色结果.实验结果表明,该方法在Davis30测试集上的峰值信噪比(PSNR)、结构相似性(SSIM)和颜色分布一致性指数(CDC)分别为37.36 dB、0.980 5、0.003 748,说明该方法能够通过多种融合方式充分利用双参考帧的信息为灰度帧着色,并生成美观且具有较好时间一致性的着色结果.

基于动态采样对偶可变形网络的实时视频实例分割

为了更好地利用视频帧中蕴含的时间信息,提升视频实例分割的推理速度,提出动态采样对偶可变形网络(DSDDN). DSDDN使用动态采样策略,根据前、后帧的相似性调整采样策略.对于相似性高的帧,该方法跳过当前帧的推理过程,仅使用前帧分割进行简单迁移计算.对于相似性低的帧,该方法动态聚合时间跨度更大的视频帧作为输入,对当前帧进行信息增强.在Transformer结构里,该方法额外使用2个可变形操作,避免基于注意力的方法中的指数级计算量.提供精心设计的追踪头和损失函数,优化复杂的网络.在YouTube-VIS数据集上获得了39.1%的平均推理精度与40.2帧/s的推理速度,验证了提出的方法能够在实时视频分割任务上取得精度与推理速度的良好平衡.

基于光响应非均匀性的WhatsApp压缩视频来源识别

光响应非均匀噪声(photo response nonuniformity,PRNU)是光学成像传感器成像时引入的一种独特噪声,可有效识别压缩视频的来源。针对现有算法提取压缩视频的PRNU效果并不显著的问题,论文提出了一种改进PRNU提取算法。首先,去除视频编解码的环路滤波器,对视频帧使用双密度双树复小波变换进行分解;然后对高频子带使用基于贝叶斯阈值估计的双变量收缩算法进行估计,再使用自适应加窗维纳滤波进行二次估计,得到噪声残差;最后用基于量化参数值加权的最大似然估计法聚合噪声残差,再与视频帧估计得到PRNU。实验结果表明:该文提出的方法在20 s时WhatsApp视频的识别率为75%。

基于多路光流信息的微光视频增强算法

图像和视频是记录真实场景信息的重要媒介,它们包含丰富而详细的视觉内容,可以开发各种智能系统来执行各种任务。特别是对于低照度条件下的视频,提升其清晰度和细节可以更好地表现和还原真实场景。针对在夜间低照度环境条件下对周围环境感知的需求,提出一种基于多路光流信息时间一致性的微光视频增强算法。通过引入预测的光流与真实的光流信息,构建三分支孪生网络对微光视频进行增强;同时针对微光视频存在的低信噪比以及模糊化问题,设计一种基于双尺度注意力机制的微光视频去噪模块(CA-Swin模块),以提升网络的去噪性能。通过在DAVIS数据集上进行对比实验和评估,得出所提网络在增强微光视频方面更高效,鲁棒性显著;且该策略还具有通用性,可以直接扩展到大规模数据集。

基于固定背景的视频浓缩算法设计与实现

视频浓缩是通过图像处理和机器视觉等手段来完成从长时间的监控视频中提取到有价值的内容信息。在视频监控领域中,仅通过人力进行视频的筛查会造成效率低下以及漏报和误报的问题。文章通过相邻帧内容检测方法,运动片段检测方法配合Harris特征点提取算法和SIFT特征点提取算法实现图像特征点配准。提出双模融合的背景建模与内容检测方法,并且采用基于2D距离的运动内容跟踪方法以及GrabCut抠图算法进行了对视频浓缩算法的设计与实现。

基于ELMO-TextCNN-Reformer的bilibili评论情感分析

面向bilibili短视频评论数据的情感分析,旨在挖掘视频观看者对短视频的看法,使视频作者也可以快速得到自己想要的评价,进而对后续作品做出改进。针对短视频评论更新快、词汇新颖、评论过长、一词多义等因素造成的短视频评论情感分析准确率低的问题,文章构建了bilibili短视频评论数据集,并提出了ELMO(Embedding From Language Model)用以构建动态词向量解决一词多义及新词的问题,通过构建TextCNN和Reformer双通道神经网络结构来提取局部、全局特征。由于Reformer采用了局部敏感哈希的特殊注意力机制,更能联系全局特征,之后将两者得到的结果拼接送入分类器得出情感分析的结果,并将得出的结果与多个深度学习模型进行对比。

基于双光融合的输煤明火实时检测系统

输煤栈桥场景中,若产生明火则易带来严重的安全事故。因此生产现场需要第一时间发现并扑灭明火,保障工业现场的安全生产。研究了通过可见光和热成像双光融合的实时视频检测方法,能及时发现明火并告警。该系统采用多元化的告警方式:机器人本体声光报警、电脑Web端弹窗和语音告警、手机APP端告警通知,使得相关人员在第一时间可知晓告警,以便及时处理。在实际项目应用中,明火检测综合准确度大于95%,保障了输煤栈桥工业现场的运行安全。

视频相似性检测方法综述

针对大数据时代服务器端存在众多冗余数据,降低文件检索效率的问题,对代表性的视频相似性检测方法和研究进展进行了总结。首先,介绍了相似性视频的定义及检测流程,分析完整检测系统应具备的视频预处理、特征提取、特征匹配3大模块,并详述了具体实施方法;然后,针对视频相似性检测方法展开阐述,从基于视频时空信息分类、视频特征分类和视频多模态检测方法3个层面深入分析了各方案的实现原理及优缺点;最后,对相似性检测领域常用的数据集进行归纳,对经典算法的检测性能进行了对比,并探讨了视频相似性检测领域存在的问题,对未来发展趋势进行了展望。

Tentative model of integrating authentic captioned video to facilitate ESL learning

Guided by relevant learning theories and based on the analysis of the attributes of captioned video, the Chinese ESL learners＇ characteristics and the characteristics of ESL learning itself, the paper tries to propose a model of integrating captioned video in ESL acquisition process. The model focuses on the feasibility of using captioned video to facilitate or support ESL learning.

Trade-off Optimization for Scalable Video Coding Streaming in Relay-Based OFDMA Networks

To achieve an optimal trade-off between video quality and energy efficiency in the uplink streaming of multi-user Scalable Video Coding (SVC) videos in relay-based Orthogonal Frequency Division Multiple Access (OFDMA) cellular networks, a cross-layer design framework that jointly selects the Transmission Policy (TP) for SVC video frames, assigns OFDMA subcarriers, and allocates power for each subcarrier is proposed. We apply the dual decomposition method to the problem, and obtain a TP selection subproblem for each SVC video adaptation and a resource allocation subproblem of Joint Subcarrier, Relay and Power Allocation (JSRPA). A second level of dual decomposition is used to divide the JSRPA problem into independent subcarrier subproblems. The proposed Crosslayer Trade-off Optimization (CTO) algorithm is sub-distributed with significantly low complexity. A performance evaluation with typical SVC video traces demonstrates that the proposed algorithm is able to converge and efficiently achieve the optimal trade-off between the video quality and energy consumption at the MSs for uplink SVC streaming.

基于At-LSTM模型的音/视频双流语音识别算法仿真

语音中的噪声会影响语音信号中的正常信息,影响语音识别效果,为提升音/视频双流语音识别准确率与效率,提出基于注意力LSTM的音/视频双流语音识别算法。使用小波阈值方法对音/视频双流语音数据实施去噪处理,依据去噪结果对语音数据矢量量化;基于语音数据量化结果构建At-LSTM模型,运用该模型提取语音数据的局部与整体特征,并融合处理特征;基于语音数据特征融合结果,对语音数据实施分类,实现音/视频双流语音的识别。实验结果表明,使用上述方法识别音/视频双流语音时,识别准确率高、识别时间短,且语音中的含噪部分较少,识别的语音更加流畅。

付费会员制视频平台的供应链模式选择与定价

在线视频行业的发展产生新的盈利模式(付费会员制)与供应链模式(分账模式),以传统零售制视频平台与买断模式为核心的现有视频定价理论与方法难以指导新实践.为此,本研究探讨付费会员制视频平台在两种不同供应链模式下的定价策略,并分析其供应链模式选择策略.研究发现随着视频质量增加,付费会员制视频平台在买断模式下将依次采用“会员免费”、“会员优惠”与“对称定价”定价策略,而分账模式下仅采用“会员优惠”与“对称定价”定价策略;付费会员制视频平台的供应链模式选择策略主要由视频质量决定,质量较低(高)时,应选择买断(分账)模式.此外,研究亦发现付费会员制视频平台并不从普通用户处直接获取点播收入,且其收入结构由现有会员占比决定;分账模式在一定条件下可激励其引进高质量视频.通过将模型拓展至会员专享视频情形,研究主要结论的稳健性得到验证.本研究可为付费会员制视频平台的运营决策及在线视频行业发展提供有益管理启示.

基于改进慢快双流网络的锌快粗选工况识别

锌快粗选是锌浮选的第一个浮选工艺,其工况状态直接影响后续精选和扫选的性能效果。现有基于卷积神经网络的浮选工况识别方法直接构建泡沫图像和工况类别的关系模型,自动挖掘与工况关联的泡沫深度特征,取得了一定的效果,但忽略了不同采样率下泡沫视频的动态时序信息。为此,提出一种基于改进慢快双流网络的模型,通过泡沫视频对锌快粗选工况进行识别。首先,以慢快双流网络作为主干网络,引入P3D-A轻量化结构减少网络参数,提高模型推理效率。然后,融入时间注意力模块(Time Attention, TA)、空间注意力模块(Channel Spatial Attention, CSA)和空间时间聚合模块(Spatial Time Together, STT),对泡沫视频时空特征进行有效表征,促进双流网络融合。最后,设计辅助网络(Auxiliary Network, AN),降低模型过拟合,提高工况识别准确率。实验结果表明,所提方法能准确地识别锌快粗选工况,准确率达82.54%,与已有的慢快双流网络相比,准确率提高了11.98%。

双路信道视频传输无损防失真压缩算法仿真

高质量视频传输对网络带宽的消耗较大,对高分辨率视频的压缩处理是解决上述问题的关键技术。因此提出双路信道视频传输无损防失真压缩算法。多路信道视频传输至Internet网的视频发布服务器中,重构视频流并隐藏差错,分别通过帧内模式和帧间模式实现I帧和P帧编码。采用ATSVC-LS时空自适应融合预测法对视频完成无损压缩,通过上下文编码法优化视频流编码码率,完成双路信道视频传输的无损防失真压缩。实验结果表明,所提方法能够有效地提高压缩后视频的峰值信噪比和结构相似性,降低了视频压缩率。

广播电视卫星地球站高标清同播改造升级方案设计与实施

本文阐述的两个标清电视卫星地球站升级改造方案,是根据我国广播电视发展和江西广播电视卫星传送现状提出的。两个升级改造方案都是采用高兼容的4MPTS数字调制传送技术,选用兼容标清、高清、超高清电视的4K HEVC(AVS2+H.265双模)视频编码器;都可以在不降低地球站现有标清电视播出可靠性的情况下,使地球站由只能传送标清电视,升级改造为具备同时传送高清电视和标清电视的能力,并具备传送超高清4K电视的功能。

基于双重注意力和光流估计的人脸替换方法

视频人脸替换中的关键问题是如何更好地重建人脸图像、融合图像和保证视频的连续性,为了提升重建图像和人脸掩模质量,解决视频播放不自然问题,提出一种基于双重注意力机制和光流估计的自动人脸替换方法。人脸重建网络以生成对抗网络为主体,为了提升网络的特征提取能力,在人脸重建网络中引入双重注意力模块,并使用深度可分离卷积替代模块中部分卷积,降低引入模块增加的网络计算量。针对人脸重建后前后帧时间域关系丢失的现象,添加一种基于光流估计的视频帧处理模块和平滑视频帧方法。实验结果表明,该方法相比FaceSwap、DeepFakes和FaceShifter替换方法能够更好地保持目标视频人脸的颜色、姿态和表情,使视频具有更好的连续性,提升人脸替换视频质量。

基于双通道卷积神经网络算法的视频处理超分辨率增强方法

为提高视频清晰度,引进双通道卷积神经网络算法,设计了一种针对视频处理过程的超分辨率增强方法。将视频录入计算机,建立视频信息与输入特征之间的级联关系,提取视频处理中的图像边缘纹理信息;引进双通道卷积神经网络算法,使用3×3的滤波处理器,提取视频特征信息,将提取的信息映射到双通道3×3区域中,匹配视频的矢量信息;引进Pair-wise模型将输入的低分辨率图像作为模型的分支,通过训练分支得到一个针对处理视频特征的字典,并据此生成高分辨率图像块。实验结果证明,设计方法可以在提高视频清晰度的同时,提高视频峰值信噪比,达到优化视频处理效果的目的。

双路录像方式下庭审录制系统的设计与实现

近年来,计算机多媒体技术发展迅速,法院采用先进和成熟的计算机信息技术、音视频编解码技术、智能控制技术、图形图像处理技术以及通信与自动化控制技术以满足庭审过程公开、公正、高效、真实、透明的要求,最大程度规范法庭审判的相关活动,提高法庭审判效率,为法官、诉讼当事人、广大群众提供便捷的服务,保障法庭审判活动公开、高效进行。文章结合某中级人民法院庭审录制系统项目展开叙述,先后研究了系统功能需求、双路录像方式特点,并分析了系统关键技术,而后重点探讨了双路录像方式下庭审录制系统的设计要点,最终系统顺利通过测试,满足了实际设计要求。

基于双DSP的实时高清H.264视频编码器实现

针对H.264标准的高清视频编码在实现时对硬件有较高要求,提出了一种使用双DSP处理的方案。针对双DSP执行时的并行性、协调性及通信的问题进行了详细讨论,提出了相应的解决方法。DSP芯片选用TI的TMS320C6455,双DSP间的数据通信采用串行RapidIO(SRIO)接口。实验结果表明,该方案对高清720p的处理时间在40ms以内,满足了对高清视频的实时处理要求。