基于尺度注意知识迁移的自蒸馏目标分割方法

当前的目标分割模型难以兼顾分割性能与推断效率,为此提出一种基于尺度注意知识迁移的自蒸馏目标分割方法。首先,构建了一个仅利用主干特征的目标分割网络作为推断网络,实现高效的前向推断过程。其次,提出了一种基于尺度注意知识的自蒸馏学习模型:一方面,设计了具有尺度注意机制的金字塔特征模块,利用尺度注意机制自适应地捕获不同语义水平的上下文信息,提取更具区分性的自蒸馏知识;另一方面,融合交叉熵、KL(Kullback-Leibler)散度和L2距离构造蒸馏损失,高效驱动蒸馏知识向分割网络迁移,提升泛化性能。该方法在COD(Camouflaged Object Detection)、DUT-O(Dalian University of Technology-OMRON)、SOC(Salient Objects in Clutter)等五个目标分割数据集上进行了验证:将所提推断网络作为基准网络,所提自蒸馏模型分割性能在Fβ指标上平均提升3.01%,比免教师(TF)自蒸馏模型增加了1.00%;所提网络与近期的残差分割网络(R2Net)相比,参数量减少了2.33×10^(6),推断帧率提升了2.53%,浮点运算量减少了40.50%,分割性能提升了0.51%。实验结果表明:所提方法能有效兼顾性能与效率,适用于计算和存储资源受限的应用场景。

基于势能平衡的图像骨架抽取算法

基于骨架的基本特征和势能的概念 ,提出了一种基于势能平衡方式的二值图像骨架抽取算法 .将抽取对象的边缘点作为零势能的等势点 ,计算出处于势能平衡点上的基本骨架点 ,并据此通过向势能小处延伸的方式构建出骨架 ,还解决了由于各点周围参考零势能点数量不同而带来的各点势能值间难以比较的问题 .通过计算机模拟显示 ,本算法对于边界噪声影响不太敏感 。

一种新的低复杂度监控视频ROI编码方案

在H.264视频编码框架下,针对静止摄像机采集的监控视频的特点,提出并实现了一种基于运动目标检测的感兴趣区域ROI编码方案。该方案以运动目标为ROI编码对象,根据ROI检测结果生成画面分割信息文件,并由此选择各宏块编码模式以及参考帧数量,通过调整相应运动宏块的量化参数值来完成对ROI对象的精细编码,从而达到减少算法复杂度、提高运动目标画面质量的目的。多个标准测试序列的测试表明,与H.264相比,该方案在编码时间上大大缩减,且重建画面的主观评测效果更好。

基于多向切片中点的快速图像细化算法

在对几种常用细化算法进行探讨之后,提出了利用骨架上的像素点至少在某个方向上应处于该方向对象边界的中心点处的特点,从多个方向对细化对象进行切片,并利用这些切片中心点集作为原始数据集,以快速产生对象骨架的方法。实验结果表明,本算法与基于击中-击不中方式和最大圆盘方式的算法相比,具有复杂度低,运算时间少的特点。

基于扁平结构元素的指纹脊检测

本文在介绍指纹特征提取的基础上,分析了灰度指纹图像脊检测的特点,提出了一种利用数学形态中的扁平结构元素检测灰度指纹图像中脊的方法,并对这种方法的性能进行了分析,与传统算法相比,在达到同等检测效果的情况下,其运算效率提高了约40％。

MPEG-4中的低速率语音编码算法

对 ISO近期将发布的 MPEG- 4中所包含的低速语音参量编码算法作了全面的介绍 ,详尽描述了其中各个参数的分析和合成过程 。

基于卷积非负矩阵分解的语音转换方法

为了在语音转换过程中充分考虑语音的帧间相关性,提出了一种基于卷积非负矩阵分解的语音转换方法。卷积非负矩阵分解得到的时频基可较好地保存语音信号中的个人特征信息及帧间相关性。利用这一特性,在训练阶段,通过卷积非负矩阵分解从训练数据中提取源说话人和目标说话人相匹配的时频基。在转换阶段,通过时频基替换实现对源说话人语音的转换。相对于传统方法,本方法能够更好地保存和转换语音帧间相关性。实验仿真及主、客观评价结果表明,与基于高斯混合模型、状态空间模型的语音转换方法相比,该方法具有更好的转换语音质量和转换相似度。

基于加权巴克谱失真的语音质量客观评价算法

提出了一种基于加权巴克谱失真(W BSD)的语音质量客观评价算法。鉴于不同巴克带谱失真对语音质量的影响程度不同,该算法提出在巴克域中对不同巴克带谱失真进行加权来求失真语音的客观失真测度。并且通过分析改进型巴克谱失真测度(M BSD)中15个巴克带失真与平均意见分(M O S)间的相关度,提出了一组以相关系数幂次方为权重的有效巴克谱失真权重矢量。实验结果表明:与M BSD算法相比,W BSD在算法复杂度没有明显增加的情况下与M O S的相关度提高了3%。

基于双因子高斯过程动态模型的声道谱转换方法

针对作者已经提出的双因子高斯过程隐变量模型(Two-factorGaussianprocesslatentvariablemodel,TF-GPLVM)用于语音转换时未考虑语音的动态特征,并且模型训练时需要估计的参数较多的问题,提出引入隐马尔科夫模型(Hidden Markov model,HMM)对语音动态特征进行建模,并利用HMM隐状态对各帧语音进行关于语义内容的概率软分类,建立了分离精度更高、运算负荷较小的双因子高斯过程动态模型(Two-factor Gaussian process dynamic model,TF-GPDM).基于此模型,设计了一种全新的基于说话人特征替换的语音声道谱转换方案.主、客观实验结果表明,无论是与传统的统计映射和频率弯折转换方法相比,还是与双因子高斯过程隐变量模型方法相比,本文方法都获得了语音质量和转换相似度的提升,以及两项性能的更佳平衡.

基于MARS的语音清晰度客观评价

提出了基于多元自适应回归样条法(Multivariate adaptive regression spline,MARS)的语音清晰度客观评价方法。该方法提取语音信号的Mel倒谱系数作为评估语音清晰度的候选特征参数。在Mel倒谱系数的失真距离基础上,利用MARS方法选出对语音清晰度影响较大的特征参数,并结合主观DRT分建立最佳客观预测模型,实现特征参数失真距离到客观DR∧T分的映射。仿真结果表明,分别采用训练集合样本和测试集合样本进行测试时,使用该方法评价的客观DR∧T分与主观DRT分的相关度,分别达到0.958和0.9102。

基于隐变量模型的语音转换方法研究

传统语音转换方法利用说话人声音特征映射实现,容易造成过平滑(over-smoothing)和过拟合(over-fitting)问题。本文从语音信号内容与形式分离角度,利用隐变量模型提出了一种全新的语音转换方法。首先利用包含两个隐变量因子的隐变量模型(Latent Variable Model,LVM)建立语音信号的生成模型;然后采用最大似然方法把语音信号分解成表示语义的内容信息和体现说话人特征的形式信息,并估计出模型参数;最后基于LVM生成模型,利用说话人形式替换方法实现语音转换。主、客观测试结果表明,在相同训练集条件下,本文提出的语音转换方法性能明显优于GMM方法,并且隐变量模型和传统的双线性模型(Bilinear Model)相比,由于采用非线性关系描述内容与形式之间的相互作用,因此分离效果更好,语音转换质量更高。

基于AMR编码参数的语音识别

基于语音编码系统的语音识别 ,由于受编码的影响其识别效果在编码速率下降时显著降低。传统的识别方法从重构语音波形中提取特征参数 ,并针对该特征参数进行训练和识别。比较了基于编码语音的识别准确率和基于编码参数的识别准确率 ,并研究了编码参数对识别准确率的影响。在此基础上 ,通过选择受编码影响较小的编码参数 ,直接将 LPC参数和残差信号参数组合起来构成特征参数进行语音识别。实验结果表明 ,采用这种方法的 AMR语音识别系统 ,其识别效果接近于基于原始语音的识别效果。

基于颜色和运动空间分布的时空显著性区域检测算法

针对复杂背景和运动条件下视频显著性区域检测准确度不高的问题,提出了一个新的时空一致性优化模型,并基于颜色空间分布和运动空间分布特征,结合时空一致性优化方法构建一个新的时空显著性区域检测模型,改进复杂运动和运动条件下视频显著性区域检测的效果。首先对视频帧进行超像素分割,然后提取三种具有互补性质的超像素级颜色空间分布特征和两种运动空间分布特征,再利用时空一致性分别融合优化空间显著特征和时间显著特征得到空间显著图和时间显著图。在时空融合阶段,利用时空一致性模型融合空间显著度和时间显著度得到超像素级的时空显著图。为进一步提高检测的准确度和完整度,构建一个能量最小化模型得到更精确的像素级时空显著图。通过与最新的视频显著性模型进行比较,算法有更好的检测效果,对复杂背景和运动条件有更强的鲁棒性。

基于率失真联合准则的快速帧内模式选择算法

H.264采用率失真优化(RDO)算法,通过计算所有预测组合模式的率失真代价来确定宏块的最优编码模式,其编码复杂度和计算量也明显增加。为了降低编码运算量提高模式选择速度,通过对帧内预测模式快速选择算法的研究,提出了一种基于码率和失真度联合准则的快速帧内模式选择算法,结合提前退出策略有效减少了候选预测模式的数量。实验结果表明:与H.264参考模型JM86相比,该算法使I帧的编码速度至少提高70%,输出码率的增加低于2%,峰值信噪比(PSNR)基本保持不变。

AVS1-P2视频标准中的关键技术研究

本文分析了我国自主研制的视频编码标准AVS1-P2及其关键技术,同时和国际上最新的视频压缩标准H.264/AVC在帧间预测,熵编码等方面进行对比分析和算机仿真实验。并指出了进一步优化的方法。

一种基于语音分类的清晰度客观评价算法

为了能方便、快捷、可靠地对失真语音进行语音清晰度性能评价,提出了一种基于语音分类的加权巴克谱失真语音清晰度客观评价算法SC-W BSD。该算法提出在巴克域中对清音帧、浊音帧及过渡音帧巴克带谱失真进行加权来求失真语音的客观失真测度。通过分析3类语音的巴克谱失真测度与DRT分的相关程度,提出一组以相关系数的幂次方为权重的有效SC-W BSD权重矢量。实验结果表明,SC-W BSD方法和DRT分的相关度达到了0.924 73,与巴克谱失真测度算法相比提高了4%。

基于区域最大概率准则的帧内预测模式编码算法

H．264标准中亮度分量的9种帧内预测模式的序号是预先设定的，这对于具体的视频序列并不是最优的。为了进一步提高帧内编码的效率，通过对帧内预测编码算法的深入研究，利用相邻宏块间的纹理相关性和预测模式的方向性，提出一种新的帧内预测模式编码算法。通过在和当前编码块纹理相关性最大的区域中动态的统计出各个预测模式的使用概率，然后根据预测模式使用概率的大小来计算当前块的最可能编码模式。实验结果表明：与H．264参考模型JM86相比，该算法可以显著提高当前图像块的最优预测模式和最可能预测模式的匹配概率，使预测模式信息编码所需要的比特数平均减少5％～7％，从而降低了编码后的码率，而峰值信噪比（PSNR）基本保持不变。

软判决稀疏字典的目标跟踪算法

为提高视频目标跟踪算法的鲁棒性,提出一种基于在线更新稀疏模板的自适应参数特征判别跟踪算法.该算法采用离线方式训练出基于方向梯度直方图特征的字典,用于目标表示和线性分类器训练,从而构建出非固定参数的观测模型;观测模型中动态调整的权重系数由采用正负模板构建形成的稀疏字典进行实时动态更新;将观测模型与粒子滤波相结合对当前帧的各候选采样进行观测,得出跟踪结果.实验结果表明,文中算法具有相对较好的鲁棒性.

基于金字塔知识的自蒸馏HRNet目标分割方法

知识蒸馏能有效地将教师网络的表征能力迁移到学生网络,无须改变网络结构即可提升网络的性能.因此,在性能优异的目标分割主干网HRNet(High-Resolution Net)中构建自蒸馏学习模型具有重要意义.针对HRNet并行结构中深层与浅层信息充分融合导致直接蒸馏难以实现的挑战,本文提出一种基于多尺度池化金字塔的结构化自蒸馏学习模型:在HRNet分支结构中引入多尺度池化金字塔表示模块,提升网络的知识表示和学习能力;构造“自上而下”和“一致性”两种蒸馏模式;融合交叉熵损失、KL(Kullback-Leibler)散度损失和结构化相似性损失进行自蒸馏学习.在四个包含显著性目标和伪装目标的分割数据集上的实验表明:本文模型在不增加资源开销的前提下,有效提升了网络的目标分割性能.

基于粒子滤波框架联合仿射和外貌模型的目标跟踪

针对视频序列中目标的跟踪问题,提出了一种基于粒子滤波框架的联合仿射和外貌模型的目标跟踪算法。该算法首先提取图像帧之间的相关特征点,通过求解Sylvester方程得到仿射参数,然后将仿射参数嵌入到基于仿射群的粒子滤波框架中进行平滑估计。利用基于仿射群的一阶自回归过程模拟状态的变化,联合仿射特征点模型和外貌模型进行似然估计,得到粒子的最佳平均状态,进而对目标实施跟踪。实验结果表明,在目标经历姿势和尺度变化、遮挡以及复杂背景等情况下,提出的算法能够有效地跟踪目标,较之其他相关算法具有很强的鲁棒性。