决策树码率自适应算法的无数据蒸馏框架

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从头学习策略的特点,表现出良好的性能,并逐渐取代需要繁琐调优的启发式ABR算法,成为研究领域的热点.然而,这些算法使用神经网络推理,导致模型参数较多,整体计算量较大,使得在实际场景中难以部署.因此,以往的研究提出了决策树蒸馏方案,即使用轻量级的决策树来提取基于学习的ABR算法的专家策略,并在线上部署这些决策树.然而,本文的实验结果表明,过去的蒸馏框架忽略了训练环境对蒸馏后策略的影响,导致策略的泛化能力较差.因此,本文提出了一种名为NIA(data-free Network-environmental Imitationbased rate Adaptation framework)的新型无数据蒸馏框架,用于生成具有更好泛化性能的决策树A BR算法.NIA通过网络环境生成模块构建多个人工网络环境,并在每次迭代训练前使用环境选择模块来选择适合的网络场景,然后与该场景进行交互,利用基于学生驱动的模仿学习算法完成决策树的蒸馏过程.本文还设计了完整的评测平台测试NIA的性能.实验表明,NIA在各种带宽数据集上展现出良好的QoE性能和泛化性能:(1)相较于启发式算法,在QoE指标上提升了1%~46%;(2)与以往的决策树蒸馏方案相比,在低带宽场景下表现相当,但在高带宽场景下提升了近1倍;(3)总体性能接近甚至超过基于学习的算法(即专家策略)的表现.

基于模仿学习的决策树码率自适应算法研究

码率自适应(ABR)算法是提升流媒体服务质量的有效方法,主要分为启发式算法和基于学习的算法两类。传统的启发式算法基于固定的规则,难以应对多变的网络环境,基于深度强化学习的算法映射表达能力较好,但其鲁棒性不佳且可解释性较差。针对上述问题,提出一种基于模仿学习的决策树码率自适应算法ABRTree。针对帧级别直播传输系统设计有效的专家ABR算法,并对专家算法的时序经验数据进行离散化处理。采用分类回归树作为码率决策的基础模型,基于专家算法给出的示例数据,采用DAgger算法进行决策树的训练。在此基础上,通过剪枝操作剔除出现较少的样本,从而提升决策树模型的泛化性。实验结果表明,ABRTree在多种视频场景下均能保证画面质量,同时取得较低的端到端延时和较少的卡顿,相比BBA、HYSA和FrameMPC算法,ABRTree算法的QoE性能可以提升1.0%~29.1%,且决策树模型能够直观表达输入特征与码率决策之间的关系,具有较好的可解释性和映射表达能力。

基于强化学习的移动视频流业务码率自适应算法研究进展

近几年来,随着HTTP自适应流媒体(HAS)视频数据集和网络轨迹数据集的不断推出,强化学习、深度学习等机器学习方法被不断应用到码率自适应(ABR)算法中,通过交互学习来确定码率控制的最优策略,取得了远超过传统启发式方法的性能。在分析ABR算法研究难点的基础上,重点阐述了基于强化学习(包括深度强化学习)的ABR算法研究进展。此外,总结了代表性的HAS视频数据集和网络轨迹数据集,介绍了算法性能的评价准则,最后探讨了ABR研究目前存在的问题和未来的方向。

面向视频流媒体直播的码率自适应算法研究

随着移动互联网技术的发展,视频流媒体直播已成为现今的热门应用。如何改善直播过程中的用户体验质量是学术界和产业界关注的焦点。码率自适应算法通过动态切换视频码率,使业务适应信道的时变特征,可以有效提升用户的体验质量。因此,研究面向流媒体直播场景的码率自适应算法具有重要意义。本文以视频流媒体直播为背景,以提高用户体验质量为目标,充分考虑业务的时延需求和传输环境特征,提出了一种基于PID控制的码率自适应算法。

基于深度强化学习的码率自适应算法研究

码率自适应(Adaptive BitRate,ABR)算法是视频客户端提高用户体验质量(Quality of Experience,QoE)的一种有效途径.针对现有ABR算法存在频繁缓冲、视频卡顿、画质较低和网络吞吐量预测不准确等问题,本文提出一种基于深度强化学习的码率自适应(Deep Reinforcement Learning based ABR,DRLA)算法.DRLA用实际网络带宽数据训练神经网络,通过收集客户端缓冲区占用率和网络吞吐量向视频服务器请求最佳码率的视频.首先,DRLA用基线函数方法优化损失函数L,用熵随机探索方法防止损失函数局部收敛;其次利用约束条件限制新旧策略的散度更新幅度提高算法的鲁棒性;最后通过置信域(trust region)优化找到最优策略,使得QoE达到最优.与现有ABR算法对比的实验结果表明:DRLA减少了训练时间,能进一步提高算法的鲁棒性和用户的QoE,并在实际环境下验证了算法的有效性.

一种基于视频分类的码率自适应算法

流媒体的码率自适应算法依据网络状态动态调节视频块的码率,提升用户体验质量,但忽略了视频类型的差异对用户体验质量的影响,导致算法性能下降。提出区分视频类型特征的码率选择算法C-ABR。设计相应的用户体验质量效用函数,使用强化学习算法训练模型A3C,提升用户体验质量。实验结果说明,相对于典型的码率自适应算法Pensieve和MPC,C-ABR算法用户体验质量分别提升22.7%和50.4%。

基于MPC的音视频同步码率自适应测试

随着信息化的发展,音视频流媒体技术应用面越来越广,为了使得音视频流媒体技术尤其是在直播方面拥有更好的性能,得到更多用户的好评,采用在原本HTTP的动态自适应流标准的视频流媒体架构下引入MPC控制算法并将MPC与码率自适应算法相结合的方法,进行对AAC优化、确定预测模型、测试音视频同步的影响因素以及PSNR-Y分量、测试切片时长与跳帧时延,计算最终的QoE用户评价指标来进一步检测音视频流媒体技术的优劣;经实验仿真测试可知,相比前人的相关算法,在不同直播场景下以及不同网络环境下均有更加良好的QoE值,平均QoE用户评价指标明显更高,为1 237.282 6;综上分析可知,MPC的音视频同步码率自适应算法各项性能最好。

基于元学习的自适应视频流算法

针对现有的码率自适应(adaptive bitrate,ABR)算法存在控制规则简单,不能有效提升用户体验质量(quality of experience,QoE),提出一种基于元学习的LABR(reinforcement learning based ABR)算法。采用策略梯度训练策略网络,利用元学习(meta-learning)方法学习基线(baseline)函数来减少因网络吞吐量差异产生的方差,进一步提高模型的准确性和鲁棒性;通过在策略函数中加入熵损失方法提高累计期望奖励值。实验结果表明,LABR算法具有泛化性与鲁棒性,能有效提高用户的视频体验质量。

强化学习在自适应视频码率控制算法中的应用

视频码率自适应是提高视频服务质量的一种有效方法.现有视频码率自适应算法大多都试图将一套相对固定的模型规则应用于所有用户,无法确保所有用户都拥有良好的QoE.针对上述问题,本文提出一种基于强化学习的自适应视频码率调节方案,可以根据不同的网络条件实时调整视频码率算法的参数.该方案通过强化学习方法,提高了学习收敛速度,限制了次优选择,并且不会因为快速收敛而降低视频码率调节的效率.实验结果表明,基于强化学习的自适应视频码率调节方案与Bola,M PC等传统视频ABR算法相比,总体平均比特率提高了大约8.3%,这得益于本文提出的方案能够更好地在不同的网络状态下对视频码率调节行为进行细粒度定制和优化.

基于DASH标准的视频自适应传输方案

针对传统的流媒体技术无法根据网络带宽的实时变化自适应调节视频码率的问题,提出一种基于DASH标准的视频自适应传输方案。利用视频分片的持续时间对用户观看视频体验质量的影响,设计基于视频分片的码率自适应算法,通过与其它码率自适应算法进行比较,验证该算法的码率切换次数、码率切换极性和达到最高视频质量的收敛时间优于其它算法,并将其应用到构建的DASH播放器中。实验结果表明,该方案能够更加精确预测下一个视频分片的码率,进一步提高用户观看视频的体验质量。