-
题名决策树码率自适应算法的无数据蒸馏框架
被引量:1
- 1
-
-
作者
黄天驰
李朝阳
张睿霄
李文哲
孙立峰
-
机构
清华大学计算机科学与技术系
-
出处
《计算机学报》
EI
CAS
CSCD
北大核心
2024年第1期113-130,共18页
-
基金
国家自然科学基金(61936011)资助。
-
文摘
码率自适应(Adaptive Bit-Rate,ABR)算法是流媒体视频传输中至关重要的技术.该算法根据当前网络情况和播放状态等因素,为下一个视频块选择合适的码率,以确保用户获得良好的体验质量(QoE).其中,基于学习的ABR算法因其不依赖传统模型和从头学习策略的特点,表现出良好的性能,并逐渐取代需要繁琐调优的启发式ABR算法,成为研究领域的热点.然而,这些算法使用神经网络推理,导致模型参数较多,整体计算量较大,使得在实际场景中难以部署.因此,以往的研究提出了决策树蒸馏方案,即使用轻量级的决策树来提取基于学习的ABR算法的专家策略,并在线上部署这些决策树.然而,本文的实验结果表明,过去的蒸馏框架忽略了训练环境对蒸馏后策略的影响,导致策略的泛化能力较差.因此,本文提出了一种名为NIA(data-free Network-environmental Imitationbased rate Adaptation framework)的新型无数据蒸馏框架,用于生成具有更好泛化性能的决策树A BR算法.NIA通过网络环境生成模块构建多个人工网络环境,并在每次迭代训练前使用环境选择模块来选择适合的网络场景,然后与该场景进行交互,利用基于学生驱动的模仿学习算法完成决策树的蒸馏过程.本文还设计了完整的评测平台测试NIA的性能.实验表明,NIA在各种带宽数据集上展现出良好的QoE性能和泛化性能:(1)相较于启发式算法,在QoE指标上提升了1%~46%;(2)与以往的决策树蒸馏方案相比,在低带宽场景下表现相当,但在高带宽场景下提升了近1倍;(3)总体性能接近甚至超过基于学习的算法(即专家策略)的表现.
-
关键词
流媒体
码率自适应算法
无数据蒸馏
-
Keywords
video streaming
adaptive bitrate algorithm
data-free distillation
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名面向轻量级深度伪造检测的无数据模型压缩
被引量:1
- 2
-
-
作者
卓文琦
李东泽
王伟
董晶
-
机构
中国科学院大学人工智能学院
中国科学院自动化研究所智能感知与计算研究中心
-
出处
《中国图象图形学报》
CSCD
北大核心
2023年第3期820-835,共16页
-
基金
国家重点研发计划资助(2020AAA0140003)
国家自然科学基金项目(61972395)。
-
文摘
目的尽管现有的深度伪造检测方法已在各大公开数据集上展现出了极佳的真伪鉴别性能,但考虑到运行过程中耗费的巨大内存占用和计算成本,如何实现此类模型的在线部署仍是一个具有挑战性的任务。对此,本文尝试利用无数据量化的方法开发轻量级的深度伪造检测器。方法在保证准确率损失较少的前提下,对提前训练好的高精度深度伪造检测模型进行压缩处理,不再使用32 bit浮点数表示模型的权重参数与激活值,而是将其全部转化为低位宽的整型数值。此外,由于人脸数据涉及隐私保护问题,本文中所有的量化操作都是基于无数据场景完成的,即利用合成数据作为校准集来获取正确的激活值范围。这些数据经过不断优化迭代,完美匹配了存储在预训练模型各批归一化层中的统计信息,与原始训练数据具备非常相似的分布特征。结果在两个经典的人脸伪造数据集Face Forensics++和Celeb-DF v2上,4种预先训练好的深度伪造检测模型Res Net50、Xception、EfficientNet-b3和MobileNetV2经过所提方法的量化压缩处理后,均能保持甚至超越原有的性能指标。即使当模型的权重和激活值被压缩为6 bit时,所得轻量级模型的最低检测准确率也能达到81%。结论通过充分利用蕴含在深度伪造检测预训练模型中的有价值信息,本文提出了一种基于无数据模型压缩的轻量级人脸伪造检测器,该检测器能够准确高效地识别出可疑人脸样本的真实性,与此同时,检测所需的资源和时间成本大幅降低。
-
关键词
深度伪造检测
虚假人脸
模型压缩
低位宽表示
无数据蒸馏
轻量级模型
-
Keywords
DeepFake detection
fake face
model compression
low bit-width representation
data-free distillation
light-weight model
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-