结合上下文特征融合的虚拟视点图像空洞填充

由于参考纹理视图的前景遮挡和不同视点间的视角差异,基于深度图的虚拟视点合成会产生大量空洞,先前的空洞填充方法耗时较长且填充区域与合成图像缺乏纹理一致性。该文首先对深度图进行预处理来减少空洞填充时的前景渗透;然后,针对经3D-warping后输出合成图像中的空洞,设计了一种基于生成对抗网络(GAN)架构的图像生成网络来填充空洞。该网络模型由2级子网络构成,第1级网络生成空洞区域的纹理结构信息,第2级网络采用了一种结合上下文特征融合的注意力模块来提升空洞填充质量。提出的网络模型能有效解决当虚拟视点图像中的前景对象存在快速运动时,空洞填充区易产生伪影的问题。在多视点深度序列上的实验结果表明,提出方法在主客观质量上均优于已有的虚拟视点图像空洞填充方法。

一种基于编码单元快速划分的VVC帧内编码方法

相比于高效视频编码(high efficiency video coding,HEVC)标准,新一代编码标准多功能视频编码(versatile video coding,VVC)引入了很多新的技术,其中包括四叉树(quadtree,QT)和多类型树(multi-type tree,MTT)划分,MTT划分由HEVC中的QT划分延伸而来。新划分方法提高了压缩效率,但导致编码时间急剧增加。为了降低编码复杂度,提出了一种结合深度学习方法和MTT方向早期判决的快速帧内编码算法。首先使用轻量级的卷积神经网络(convolutional neural network,CNN)对QT和部分MTT进行预测划分,其余MTT则采用提前预测MTT划分方向的方法作进一步的优化。实验结果表明,所提方法能够大幅降低编码复杂度,相比于原始编码器的编码时间减少了74.3%,且只有3.3%的码率损失,性能优于对比的方法。

基于SIMD的AVS3并行率失真优化量化算法

针对第三代音频视频标准(the third generation audio video coding standard,AVS3)中的率失真优化量化(rate-distortion optimization quantization,RDOQ)过程的编码效率问题,提出一种基于单指令多数据(single instruction multiple data,SIMD)的并行RDOQ算法。首先,在最优系数决策(optimal coefficient decision,OCD)阶段,通过优化,仅保留扫描线内的依赖关系。然后,在最后一个非零位置决策(last non-zero position decision,LNPD)阶段,基于分治策略,通过将Zig-Zag扫描线分解成多个独立扫描线,实现每条扫描线上最优系数位置的并行计算。最后,采用SIMD指令进行并行加速,以提高整个率失真优化量化的计算效率。实验结果表明,该算法在AI配置下,可以降低29.46%的编码时间,而BD-Rate仅损失0.25%。

基于深度学习的多层级恰可察觉失真预测

视觉恰可察觉失真(just noticeable distortion,JND)直接反映人眼视觉系统对视觉信号噪声的敏感程度,广泛应用于图像和视频处理领域。针对视频JND阈值的多层级预测问题,将其转化为用户满意率(satisfied user ratio,SUR)曲线的预测问题,并提出一种基于特征融合的SUR曲线预测模型。该模型主要分为关键帧选择模块、特征提取和融合模块以及SUR分数回归模块。在关键帧选择模块,根据视觉感知机制,提出空时域感知复杂度并以此作为视频关键帧判决指标。在特征提取和融合模块,基于密集残差块(dense residual block,RDB)提出多尺度密集残差网络实现图像特征提取和多尺度融合。实验结果表明,所提出的SUR曲线预测模型在JND阈值预测精度方面整体优于现有模型,且在运行效率上平均降低8.1%的时间成本。同时,该模型还可以用于预测其他层级JND阈值,可直接应用于视频多层级感知编码优化。

“数字视音频技术”课程体系改革探索

近十年来,以数字视音频编解码为核心的数字媒体应用发展迅速,产业界急需理论基础扎实、具备工程能力的数字媒体专业人才。由于数字媒体相关理论、标准和应用技术是近十几年学术和产业界研发热点,高校相关课程的教学理念、内容、方法、手段相对落后。为适应数字媒体信息技术快速发展的需求,我校开设"数字视音频技术"课程,作为数字媒体相关课程的基础骨干课,本文对该课程和相关课程间的关系作了深入分析,探索了课程学时分配和开课学期设置,制定了新的数字视音频技术教学大纲,将前沿科学和工程技术尽可能集成到大纲中,以适应学科发展和培养学生的需求。

高清视频编码芯片架构设计挑战及多目标性能评价模型

FPGA和ASIC是高清视频编码器较合适的实现平台,视频编码芯片架构设计面临着较多挑战,包括吞吐量巨大、外存带宽极高、硬件资源消耗大、数据依赖阻塞正常流水、多目标性能较难均衡等。高清视频编码芯片架构设计需和算法优化相结合,以实现多个目标参数之间均衡,如何评价硬件架构的多目标性能,是首先要解决的问题。在分析芯片架构设计面临挑战、典型关注的多目标性能基础上,提出多目标性能参数的度量方法,对多个目标参数进行合理映射和归一化处理,并首次提出多目标性能评价模型。基于此模型,对主流的高清H.264/AVC编码芯片架构的多目标性能进行了评价和比较。该研究对于优化H.264/AVC及新一代HEVC编码芯片架构有着重要的参考价值。

基于失真传递的时域自适应量化算法

码率控制是视频编码器中的关键模块,其算法直接决定编码器率失真性能.视频编码帧间预测导致的编码失真会在时域产生传递效应,考虑该传递效应是优化码率控制算法性能的关键.宏块树码率控制是一种典型的时域量化控制算法,核心是根据编码单元失真传递量(相对传递代价ρ)自适应地调整量化参数(偏移量δ),合适的δ-ρ映射关系是宏块树量化控制算法的核心.宏块树算法采用基于经验的δ-ρ模型,对不同视频序列的普适性有待改进,模型准确度和精度也需进一步优化.针对上述问题,将竞争决策方法用于探索最优δ-ρ映射关系,提出了一种率失真性能优化的失真时域传递自适应量化δ-ρ模型,以改进时域自适应量化算法.实验结果表明,信噪比BD-PSNR较原模型提升了0.14dB以上,SSIM性能提升了0.29dB.算法能更好地控制码率时域分配,降低失真时域传递恶化.

基于自适应预选的快速帧间模式选择算法

针对率失真性能和算法复杂度约束,提出基于偏移量自适应模式预选的高效帧间模式选择算法.计算所有可能模式率失真优化关闭判据下的编码代价,对代价进行自适应偏移量调整.基于调整后的代价进行模式预选,选择几种性能可能较优的候选模式,对这些模式进行率失真优化模式选择.由于该算法采用统计分析建模方法,自适应地确定偏移量参数,显著提高了模式预选准确率,较好地平衡了复杂度和算法性能.针对典型视频测试序列进行算法验证.实验表明,与完全率失真优化模式选择算法相比,该算法的复杂度大大降低,视频质量仅存在轻微退化.

以“卓越工程师”培养为核心共建实训基地的探讨

以实施"卓越计划"为抓手,创新校企合作基地机制。阐述了实训基地建设在实验示范中心建设中的重要性,积极探索和寻求校企的紧密合作途径。坚持以产养训,以产促训,以产促研,以研带产的管理方针,共建实训基地。对实训基地建设、教学模式与教学手段等进行大胆、全面的改革探索,建立项目化实训及创新实训环境等专业生产实习新模式,实现设备资源条件、高校师资和企业工程师的共享。实践表明,创新"卓越工程师"为核心的实训基地建设模式,寻找和把握校企双方利益的平衡点,这是实训基地建设过程中首要解决的问题。只有这样,校企共建实训基地才能发挥其应有的作用,符合当前国家人才培养改革的发展趋势。

超高亮LED点阵信息显示系统的设计与实现

介绍一种超高亮LED点阵信息显示系统:选用超高亮LED构成点阵屏,采用静态显示方式,用锁存器驱动LED发光,提高显示亮度,在室外阳光下也有很好的显示效果.给出系统的电路图,介绍系统的工作原理、获取汉字点阵数据的方法以及PC机与点阵屏通信的方法.

基于混合类别标记新技术的小样本学习算法

针对计算机辅助诊断(CAD)中标记病例样本难以收集所引起的小样本学习问题,提出基于混合类别标记新技术(HCLT)的小样本学习算法.该算法分别基于几何距离、概率分布及语义概念对大量存在的未标记样本进行差异化标记,将有一致标记结果的样本加入样本集,以此扩大训练样本集.为了减少错误标记样本对学习过程造成的不利影响,提出样本伪标记隶属度并引入模糊支持向量机(FSVM)学习中,由隶属度控制样本对学习过程的贡献程度.基于UCI数据集的实验结果表明,采用该算法能够解决小样本学习问题的有效性.与单一类别标记技术相比,该算法产生的错误标记样本显著减少、学习性能显著改善.

x264中基于参数选择的算法优化

H.264的高压缩率是以高计算复杂度为代价,为了实现编码性能与复杂度之间的最优折中,依据峰值信噪比(PSNR)以度量失真度以及离线搜索率失真性能,通过调整编码器控制参数,来计算不同模式下编码的复杂度以及率失真度性能,使在一定率失真度下编码复杂度尽可能小.今基于主流编码器x264,关注Ref、Partitions、Trellis和Me四个参数,通过大量实验,得出率失真-复杂度(J-C)数据,依据这些数据可以快速计算出单位复杂度的率失真性能,以此寻找最优的编码器控制参数组合.

一种新的8B/10B编码器的设计方法

研究了8B/10B(8 bit/10 bit)编码规则及其内在相关性,提出了一种简单实用的8B/10B编码器的实现方法,具有运算量小、速度快、可靠性高等优点。该方法通过硬件描述语言Verilog HDL实现编码算法的描述,并通过高性能的FPGA器件进行仿真和综合,实现了具体的硬件电路,并验证了设计方法的有效性和可行性。

项目式教学法在“现代逻辑设计”课程中的应用

本文结合我校"现代逻辑设计"课程教学实践,基于建构主义的教学策略,直接由项目问题入手,从教学的情境创设、教师引导、团队合作及互动评价等方面探讨了项目式教学法的方案及措施,实践证明该方法有利于提高学生的学习主动性、自主学习能力和创新性逻辑思维能力。

测量不同的振动对全息照相实验的影响

激光全息照相实验对实验环境和实验条件要求很高。本文针对自制简易全息照相实验平台,利用光传感器来进行光学采样分析不同的振动情况下对平台抗振性能的影响,测量方法巧妙,数据精确可靠。

基于单片机多功能频率计

一种基于单片机89C51控制的多功能频率计的设计原理、硬件组成和软件实现。

校企互动创新实训基地的建设与管理

通过分析人才培养的需要,探讨利用校企合作共建创新实训基地、促进实训教学建设改革。本文提出了共建实训基地需要解决的问题,探索实训基地建设管理模式及运行机制,提出应强化实训内容,深化教学管理考核。

数字式频率特性测试仪

介绍用AD9850、峰值检波器以及鉴相器设计的频率特性测试仪,整个系统以单片机为控制核心,实现对被测网络频率特性的测量,用液晶显示器(LCD)显示幅频特性和相频特性曲线,同时还可打印频响曲线。

TM1300 DSP系统以太网接口的设计

基于IP网络的多媒体应用越来越广泛,本文首先解决多媒体DSP芯片TM1300与以太网控制 器CS8900A的硬件接口的设计,分析嵌入式操作系统pSOS+内核中实现TCP/IP协议钱的网 络模块pNA+,最后实现在pSOS+操作系统环境TCS8900A的网络驱动程序的设计。