视觉深度学习模型压缩加速综述

近年来,深度学习模型规模越来越大,在嵌入式设备等资源受限环境中,大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述,但相关工作集中在卷积神经网络的压缩加速,缺乏对视觉Transformer模型压缩加速方法的整理和对比分析。因此,本文以视觉深度学习模型压缩技术为核心,对卷积神经网络和视觉Transformer模型2个最重要的视觉深度模型进行了相关技术手段的整理,并对技术热点和挑战进行了总结和分析。本文旨在为研究者提供一个全面了解模型压缩和加速领域的视角,促进深度学习模型压缩加速技术的发展。

优化截断点的嵌入零块编码算法

提出了一种基于零块的嵌入图像编码算法,称为优化截断点的嵌入零块编码算法,该算法以零块为单位进行集合分割,依靠零块间的独立性保证了算法在内存受限条件下的有效性,同时在各零块的比特分配中采用了优化截断的策略,使得每个零块可以近似最优地选择截断点.实验证明,优化截断点的嵌入零块编码算法是目前内存受限条件下非常有效的图像压缩算法之一.

多媒体数据压缩标准化的现状与发展

信息化社会一个重要问题是“信息爆炸”,解决“信息爆炸”的方法之一是数据压缩编码技术,随着数据压缩编码技术的发展和广泛应用,许多国际组织制定了应用于不同领域的数据压缩标准。该文介绍了由国际标准化组织(ISO)和国际电信联盟(ITU)制定的视频数据压缩编码的各种国际标准及这些标准在其相应领域的应用,并指出了分析和研究一种新的国际标准的重要性。

基于H.26L的精细度可伸缩视频编码

提出了一种基于H.26L精细度可伸缩(fine granularity scalability)视频编码方案,称为EFGS-H.26L。在该方案中,以MPEG-4的FGS为基础构造了一种新的可伸缩结构(EFGS, enhanced fine granularity scalability),在EFGS结构中,基本层采用H.26L编码,增强层采用类似于JPEG2000的基于上下文的位平面编码。由于H.26L优良的编码性能,使得基本层的编码效率大大提高,为了提高增强层的编码效率,首先把残余图像按子带的顺序重新排列,这样就可以利用子带系数的相关性来实现冗余信息消除。JPEG2000标准中的EBCOT算法已经被证明是非常高效的位平面编码方法,所以对重排后的DCT系数采用一种类似于JPEG2000的基于上下文的位平面编码方法。实验结果证明,在高比特率时,本文提出的精细度可伸缩编码方案编码效率比MPEG-4中的FGS提高3.0dB左右。

基于线性搜索的快速运动估计算法

为了减小快速运动估计算法的计算复杂度和提高运动补偿的准确性,提出了一种新的块匹配运动估计算法,称为线性正方形搜索算法.该算法采用运动估计的线性搜索策略,对于不重要的搜索区域利用线性搜索技术进行快速搜索以减小算法的计算复杂度,而对于重要搜索区域,即最佳点所在区域,用9点的正方形模块进行精细搜索以提高算法的搜索精度.实验结果证明,该算法与菱形算法相比不仅计算复杂度减小了10%以上,而且视频编码效率可以提高约0 1dB.

一种适于硬件实现的提升9-7小波滤波器

小波提升方案是继多分辨分析之后,另一种非常有效的构造小波滤波器的方法.文中从一般的9 7小波提升方案出发,给出了一种新的更适于硬件实现的提升9 7小波滤器,其图像压缩性能与CDF97相当,但计算复杂度由于引入了大量的移位运算而大大降低,非常适于ASIC实现.

适用于硬件实现的零树编码算法

在 L istless Zerotree Coding(L ZC)算法的基础上提出了一种内存空间更小的静止图像零树编码算法 ,该算法与 SPIHT等经典的零树编码算法的区别在于编解码过程中不使用列表结构 ,与 L ZC算法相比则节约了两个位图 (BitMap) ,而这些位图为编码算法提供了重要系数和重要后代集合的位置信息 .实验结果证明 ,本文的算法在不降低图像质量的前提下大大降低了零树编码算法的内存要求 。

基于提升技术的运动补偿三维小波视频编码

基于小波提升技术提出了一种新颖的运动补偿三维小波视频编码方案。在该方案中,通过小波提升技术实现运动补偿时域滤波,编码效率因为多参考帧和子象素(subpixel)运动补偿的使用而大大提高。实验结果证明该视频编码方案不仅保留了信噪比、时域和空域可伸缩的特性,而且编码性能好于MPEG4的SimpleProfile编码器。

精细可伸缩视频编码中的增强层编码方法研究

提出了一种新的子带编码方法来对精细可伸缩视频编码中的增强层进行编码。在这种编码方法中,首先通过重排DCT残差系数形成子带,然后利用同一子带相邻系数的相关性来消除数据冗余。实验结果表明文章提出的增强层编码方法比原来的FGS增强层编码方法具有更高的编码效率。

嵌入式DCT图像编码算法

首先对图像进行DCT ,然后把不同块中相同频率的DCT系数按照子块的顺序重新排列成 6 4个子带 重排后的DCT系数采用一种基于上下文的算术编码器进行位平面编码 ,从而使编码后的图像具有渐进传输性 实验证明 ,文中算法是一种简单。

基于运动矢量场和方向自适应的快速运动估计算法

该文提出了一种基于运动矢量场和方向自适应的快速搜索算法。算法针对序列图像的运动矢量场所具有的中心偏置性和时空相关性进行预判,对静止块设定阈值直接中止搜索;根据运动类型自适应选择搜索起始点和搜索策略;采用了两种新的混合搜索方法,对小运动和大运动宏块使用线性-菱形搜索,对中等运动块使用六边形-菱形搜索算法,搜索模板具有强烈的方向特性。实验结果表明,该文算法的搜索速度和搜索精度优于现有的快速运动估计算法,而搜索精度非常接近于全搜索法。

基于主题模型的微博重要话题发现与排序方法

近年来,以Twitter和新浪微博为代表的微博客正在世界范围内流行起来.根据微博的特点,提出一种与特定主题(比如某种产品)相关的话题发现和排序的新方法.首先,在互联网上收集并格式化出现了感兴趣的词的微博.对于这些微博中的所有词汇,综合考虑影响力、突发性和相关性3个要素对其重要性进行评估.其次,对词的重要性做出估量后,以含有同一关键词的微博的集合为输入文档训练LDA模型.然后通过对主题关键词的概率分布的推导,实现词的聚类和主题的挖掘.这一方法可以克服微博的长度限制所带来的数据稀缺性问题.最后,通过真实数据集上的实验表明了该方法的有效性.

新一代视频编码国际标准的研究

视频压缩编码国际标准的制定 ,极大地促进了多媒体通信技术的发展。本文系统地研究了由国际标准化组织 (ISO)和国际电信联盟 (ITU)制定的视频压缩编码的H 2 61、MPEG -1、MPEG -2、H 2 63、MPEG -4、MPEG -7、H 2 6L等国际标准 ,分析了这些国际标准的特点和性能 ,说明了它们的应用领域和发展现状。对其中最新的视频编码标准H 2 6L进行了重点介绍 ,详细分析了H 2

基于六边形的运动矢量场自适应搜索算法

提出了一种基于六边形的运动矢量场自适应搜索算法,该算法充分利用了序列图像中运动矢量场的中心偏置性和时空相关性,结合六边形搜索法和小菱形搜索法,根据运动类型自适应的选择搜索策略和搜索起始点,同时设定阈值对静止块直接中止搜索。实验结果表明,该算法的搜索速度优于现有的快速运动估计算法,搜索精度接近于全搜索法。

基于虚拟线圈的光流法车流量检测

在交通系统中常需要知道道路的占有率、车流量等交通参数。该文提出了一种有效的车流量检测方法 ,这种方法首先在视频图像中设置好虚拟线圈作为检测区域 ,然后用光流法对检测区域进行图像处理 ,求出光流场 ,根据光流场的信息来判断检测区域内是否有车辆通过 ,通过对检测区域的不断判断来统计车流量信息。试验证明该文提出的车流量检测算法具有实施方便、检测精度高的特点 ,而且很容易推广用来测量占有率、车速等其它交通参数。

一种新的基于率失真优化的感兴趣区域编码

根据EBCOT编码中率失真优化截取算法的特点,,结合最大位移法提出了以提升率失真斜率来实现任意形状ROI优先编码的方法(DRshift法)。该方法提升的对象是ROI的失真斜率,而非ROI系数,从而避免了最大位移法(Maxshift)中引入过多的位平面导致的编码效率降低的问题。实验结果表明,该算法可在接收到图像的全部编码数据之前,优先实现任意形状的感兴趣区域的高品质重建,提高了编码效率,并且,通过改变提升因子的大小可实现感兴趣区域与背景区域重建图像质量的灵活可调。

无线传感器网络中的数据压缩技术研究

不同于传统的无线网络,设计有效的策略延长网络生命周期是无线传感器网络需要解决的核心问题,大量研究已经证明在传输数据前对其进行压缩是一种有效的延长无线传感器网络生命周期的方法。因传感器节点本身计算能力有限、存储空间有限等特点,对数据压缩算法提出了更高的要求和挑战。综述了无线传感器网络中数据压缩技术的研究现状,并详细介绍了分布式信源编码技术的基本理论和方法,最后指出了无线传感器网络数据压缩的研究问题。

基于视觉的服装属性分类算法

提出了一种服装图像属性分类算法.针对服装图像噪声多的问题,采用人体部位检测技术定位服装关键部位并去除冗余信息,提高了属性分类的准确率.并提出了一种基于人体骨架与皮肤的特征提取算法,以较少的维数表达衣型特点,显著加快相关属性的分类速度.针对服装属性语义复杂、需求多样化的问题,为不同的属性构建了不同的SVM决策树模型,从而提高分类效率,并同时满足粗、细粒度的服装分类需求.实验结果验证了该方法在多种服装属性分类任务上的有效性.

强快照与强提交读隔离的多键云事务实现方法

当前云环境的存储系统一般只提供弱一致性和单键事务的数据访问功能,具有强一致性或多键事务需求的应用只能自行检测一致性或进行事务管理,增加了云应用开发的复杂度。这些要求高一致性和高可用性的云应用,对云存储系统的事务实现提出了新的挑战。在Megastore串行化事务实现方案的基础上,提出了基于读写集对比的事务强快照隔离和强提交读隔离方案,将并发事务之间读写冲突的判断提前,从而减少冲突事务回滚时引发的额外消耗。基于云存储系统Cassandra实现了两种方案,并针对云应用事务的访问模式,设计了实验验证框架。通过与Megastore事务实现方案的对比,验证了强快照和强提交读事务隔离方案能获得更高并发度的优化效果。