面向Transformer模型边缘端部署的常用激活函数高精度轻量级量化推理方法

基于Transformer的大语言模型(Large Language Models,LLM)和视觉Transformer(Vision Transformers,ViTs)分别在自然语言处理、机器视觉任务上实现了最为先进的性能.但是ViTs和LLM的常用激活函数GELU(Gaussian Error Linear Unit)、Swish在Transformer全量化推理中存在精度不足、计算效率低的问题,限制了它们在资源受限的边缘端设备上的部署和应用.本文提出了一种基于分段二次多项式拟合的激活函数高精度近似计算方法(Segmented Quadratic Polynomial Fitting,SQPF)及其量化推理过程,以实现端侧非线性激活函数的高性能部署.SQPF采用最小二乘法和粒子群优化方法求解非线性激活函数拟合优化问题,给出最优的二次多项式拟合系数和区间划分.得到的二次多项式拟合采用动态精度定点对称量化方法进行纯整数推理,推理过程仅包含移位操作和乘加运算.本文使用SQPF计算了GELU和Swish的二次多项式拟合Si-GELU和Si-Swish,并评估了量化推理精度.实验结果表明,在标准数据集ImageNet上,Si-GELU引起的ViTs(ViT、DeiT和Swin)模型分类任务准确率衰减仅为0.09%,是其他同类方法的27.3%;在主流的大语言模型评测数据集MMLU上,Si-Swish引起的子类别精度衰减不超过0.77%,大类别精度衰减不超过0.23%.极小的精度损失表明SQPF计算得到的最优分段二次多项式拟合可以直接替换Transformer模型中全精度浮点激活函数,不必进行参数微调或者重训练.

基于双引导滤波的红外和可见光图像融合算法

图像融合是将多幅图像中有用或互补信息整合成一幅图像的过程。本文提出了一种基于引导滤波多尺度分解的红外和可见光图像融合算法。在传统的引导滤波图像融合算法的基础之上,利用双引导滤波器代替均值滤波器将源图像分解为小尺度纹理细节、大尺度边缘和基础图像;直接利用纹理细节及边缘层图像构建显著性映射图,用其代替额外的特征提取操作,可很好地突出源图像显著性信息的同时大大降低算法复杂度;利用显著性映射图、Sigmoid函数构造权重图,将源图像中具有视觉意义的信息注入到融合图像中;利用色彩模型转换融合方式,可更好保留图像的色彩信息。定性和定量实验结果证明,相比于传统的基于引导滤波的图像融合算法,本文算法的融合效果得到进一步提升。

基于边窗滤波的高动态红外图像压缩增强算法

红外热成像系统采集的数据大都是高动态范围,为了实现高动态红外图像的可视化,动态范围压缩和细节增强技术的研究至关重要。针对传统方法存在的梯度反转伪影、低对比度细节丢失、背景噪声过增强等问题,提出一种基于边窗滤波的高动态红外图像压缩增强方法。首先,采用边窗滤波将原始红外图像分解为基础分量和细节分量;然后,根据基础分量的灰度级分布情况,设计一种自适应阈值的平台直方图算法,对基础分量进行压缩;接着,利用双边滤波器核权重分布特点,生成自适应增益系数,对细节分量进行增强;最后,对基础分量和细节分量进行加权融合,并将结果量化到8位动态范围。实验结果表明,与经典的压缩增强方法相比,所提方法对强边缘具有更好的保边效果,可以有效避免梯度反转伪影和光晕问题,细节信息更丰富,背景噪声抑制效果更好,对不同场景的适应性更强。

暗通道和全局估计结合的图像快速去雾方法

针对暗通道先验法中存在的透射率估值不准确、景深处易产生光晕效应、天空区域颜色失真以及算法实时性差等问题,提出了一种暗通道和全局估计结合的图像快速去雾方法。首先,求取图像中每个像素点R、G、B三个颜色通道强度值的最小值,采用大气散射模型结合全局估计的方法,并利用一种简单、快速的线性模型,求得无块状效应的透射率值;然后,再与暗通道先验法求得的粗略透射率进行线性融合;之后,根据有雾图像特点,对透射率值进行自适应调整,使得透射率估值更准确;最后,复原出去雾后的清晰图像。实验结果表明,所提方法得到的透射率值更准确,能有效地复原出图像的细节信息,避免光晕效应和颜色失真问题;同时,算法的处理速度更快,能更好地满足对实时性要求很高的视觉系统。