决策树码率自适应算法的无数据蒸馏框架

码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从头学习策略的特点,表现出良好的性能,并逐渐取代需要繁琐调优的启发式ABR算法,成为研究领域的热点.然而,这些算法使用神经网络推理,导致模型参数较多,整体计算量较大,使得在实际场景中难以部署.因此,以往的研究提出了决策树蒸馏方案,即使用轻量级的决策树来提取基于学习的ABR算法的专家策略,并在线上部署这些决策树.然而,本文的实验结果表明,过去的蒸馏框架忽略了训练环境对蒸馏后策略的影响,导致策略的泛化能力较差.因此,本文提出了一种名为NIA(data-free Network-environmental Imitationbased rate Adaptation framework)的新型无数据蒸馏框架,用于生成具有更好泛化性能的决策树A BR算法.NIA通过网络环境生成模块构建多个人工网络环境,并在每次迭代训练前使用环境选择模块来选择适合的网络场景,然后与该场景进行交互,利用基于学生驱动的模仿学习算法完成决策树的蒸馏过程.本文还设计了完整的评测平台测试NIA的性能.实验表明,NIA在各种带宽数据集上展现出良好的QoE性能和泛化性能:(1)相较于启发式算法,在QoE指标上提升了1%~46%;(2)与以往的决策树蒸馏方案相比,在低带宽场景下表现相当,但在高带宽场景下提升了近1倍;(3)总体性能接近甚至超过基于学习的算法(即专家策略)的表现.

基于模仿学习的决策树码率自适应算法研究

码率自适应(ABR)算法是提升流媒体服务质量的有效方法,主要分为启发式算法和基于学习的算法两类。传统的启发式算法基于固定的规则,难以应对多变的网络环境,基于深度强化学习的算法映射表达能力较好,但其鲁棒性不佳且可解释性较差。针对上述问题,提出一种基于模仿学习的决策树码率自适应算法ABRTree。针对帧级别直播传输系统设计有效的专家ABR算法,并对专家算法的时序经验数据进行离散化处理。采用分类回归树作为码率决策的基础模型,基于专家算法给出的示例数据,采用DAgger算法进行决策树的训练。在此基础上,通过剪枝操作剔除出现较少的样本,从而提升决策树模型的泛化性。实验结果表明,ABRTree在多种视频场景下均能保证画面质量,同时取得较低的端到端延时和较少的卡顿,相比BBA、HYSA和FrameMPC算法,ABRTree算法的QoE性能可以提升1.0%~29.1%,且决策树模型能够直观表达输入特征与码率决策之间的关系,具有较好的可解释性和映射表达能力。

基于元学习的自适应视频流算法

针对现有的码率自适应(adaptive bitrate,ABR)算法存在控制规则简单,不能有效提升用户体验质量(quality of experience,QoE),提出一种基于元学习的LABR(reinforcement learning based ABR)算法。采用策略梯度训练策略网络,利用元学习(meta-learning)方法学习基线(baseline)函数来减少因网络吞吐量差异产生的方差,进一步提高模型的准确性和鲁棒性;通过在策略函数中加入熵损失方法提高累计期望奖励值。实验结果表明,LABR算法具有泛化性与鲁棒性,能有效提高用户的视频体验质量。

带宽约束下多客户端视频流体验质量动态优化

为解决多客户端的带宽资源分配问题,提高用户体验质量(quality of experience,QoE),建立多客户端视频流的体验质量优化框架。针对已有视频流算法在多客户端领域的缺陷,基于模型预测控制算法提出一个多客户端带宽动态调度算法,根据每个客户端的带宽预测情况对它们进行动态资源分配,通过提高带宽利用率进而提升总体用户QoE。在HSDPA网络带宽轨迹上的仿真结果表明,相比各客户端平均带宽分配方式,优化方法在总体用户体验质量上提升42.6%以上,相比最新的Minerva方案提升了7.8%。

以用户QoE预测值为奖励的视频自适应比特率算法

该文提出了一种基于深度学习的用户体验质量预测网络(UQPN),通过当前视频播放状态预测当前用户的QoE并进行建模,旨在采用UQPN替代以往方法的奖励函数,使得生成的自适应比特率算法做出更符合用户需求的比特率决策。实验证明与已有的奖励函数相比,UQPN的预测与真实QoE的相关系数更高,以该网络作为强化学习奖励得到的算法能够将用户体验质量提高20%。

SDN中DASH路由规划和码率调节联合决策算法

随着互联网技术的快速发展以及智能设备的普及,基于HTTP的动态自适应流媒体(Dynamic Adaptive Streaming over HTTP,DASH)业务发展迅速.但在带宽受限网络中,大规模用户的视频请求,将会加重网络负载,严重影响网络带宽资源的有效利用,同时用户码率调节缺乏全局协调控制机制,容易造成网络拥塞.针对软件定义网络中的DASH视频传输业务,将视频业务提供商长期平均收益最大化作为优化目标,设计并实现了基于神经元动态规划的DASH视频路由和用户码率调节联合决策算法.最后,通过在Mininet平台上建立SDN(Software-Defined Networking)网络环境并进行对比实验,我们验证了本文提出的联合决策算法能够提高网络带宽资源利用率,最大化DASH视频业务提供商长期平均收益.

面向视频流媒体直播的码率自适应算法研究

随着移动互联网技术的发展,视频流媒体直播已成为现今的热门应用。如何改善直播过程中的用户体验质量是学术界和产业界关注的焦点。码率自适应算法通过动态切换视频码率,使业务适应信道的时变特征,可以有效提升用户的体验质量。因此,研究面向流媒体直播场景的码率自适应算法具有重要意义。本文以视频流媒体直播为背景,以提高用户体验质量为目标,充分考虑业务的时延需求和传输环境特征,提出了一种基于PID控制的码率自适应算法。

基于深度强化学习的码率自适应算法研究

码率自适应(Adaptive BitRate,ABR)算法是视频客户端提高用户体验质量(Quality of Experience,QoE)的一种有效途径.针对现有ABR算法存在频繁缓冲、视频卡顿、画质较低和网络吞吐量预测不准确等问题,本文提出一种基于深度强化学习的码率自适应(Deep Reinforcement Learning based ABR,DRLA)算法.DRLA用实际网络带宽数据训练神经网络,通过收集客户端缓冲区占用率和网络吞吐量向视频服务器请求最佳码率的视频.首先,DRLA用基线函数方法优化损失函数L,用熵随机探索方法防止损失函数局部收敛;其次利用约束条件限制新旧策略的散度更新幅度提高算法的鲁棒性;最后通过置信域(trust region)优化找到最优策略,使得QoE达到最优.与现有ABR算法对比的实验结果表明:DRLA减少了训练时间,能进一步提高算法的鲁棒性和用户的QoE,并在实际环境下验证了算法的有效性.

一种基于视频分类的码率自适应算法

流媒体的码率自适应算法依据网络状态动态调节视频块的码率,提升用户体验质量,但忽略了视频类型的差异对用户体验质量的影响,导致算法性能下降。提出区分视频类型特征的码率选择算法C-ABR。设计相应的用户体验质量效用函数,使用强化学习算法训练模型A3C,提升用户体验质量。实验结果说明,相对于典型的码率自适应算法Pensieve和MPC,C-ABR算法用户体验质量分别提升22.7%和50.4%。

一种轻量化传输模拟器设计与实现

传输优化方案的验证依赖于模拟器,但大量基于机器学习的优化方案和端网结合的传输优化方案的出现,使得现有模拟器不适应日益复杂的传输优化方法。为了解决该问题,提出了一种轻量化传输模拟器。该模拟器支持多种传输功能的模拟,并利用算法接口抽象提升模拟器的易用性。通过在所提出的模拟器上构造常见传输场景并对多种算法进行模拟实验,验证了本传输模拟器的有效性和实现的正确性。

QoE-Driven DASH Multicast Scheme for 5G Mobile Edge Network

Dynamic adaptive streaming over HTTP(DASH)can adaptively select the appropriate video bitrate for mobile users.Mobile edge computing(MEC)scenario is of great benefit to improve the performance of mobile networks by providing computing and storage capabilities.And the utilization of spectrum resources can be improved by multicast transmission,but the performance of the multicast transmission will be directly affected by the selected grouping algorithm and resource allocation algorithm.In order to improve the quality of experience(QoE)of video users in the 5G MEC scenario,this paper proposes a QoE-driven DASH multicast scheme,which mainly covers the grouping algorithm and the adaptive bitrate(ABR)algorithm.First of all,we take the optimized target QoE as the basis for grouping and propose an adaptive grouping algorithm that can dynamically adjust the grouping results.Besides,we design a joint optimization ABR algorithm based on the prediction of QoE,which comprehensively considers the process of resource allocation and bitrate decision-making based on the prediction of QoE of video segments in a certain forward-looking field of view.The simulation results show that the proposed DASH multicast scheme performs well in QoE and fairness.