基于时间特征细化网络的时空视频超分辨率研究

时空视频超分辨率(space-time video super-resolution,STVSR)通过时间和空间2个尺度提升视频的质量,从而实现在视频采集设备、传输或者存储有限的情况下依然能实时地呈现高分辨率和高帧率的视频,满足人们对超高清画质的追求。相比两阶段方法,一阶段方法实现的是特征层面而非像素层面的帧插值,其在推理速度和计算复杂度上都明显更胜一筹。一些现有的一阶段STVSR方法采用基于像素幻觉的特征插值,这幻化了像素,因此很难应对帧间快速运动物体的预测。为此,提出一种基于光流法的金字塔编码器-解码器网络来进行时间特征插值,实现快速的双向光流估计和更真实自然的纹理合成,在使得网络结构更高效的同时弥补了大运动对光流估计带来的不稳定性。另外,空间模块采用基于滑动窗口的局部传播和基于循环网络的双向传播来强化帧对齐,整个网络称为时间特征细化网络(temporal feature refinement netowrk,TFRnet)。为了进一步挖掘TFRnet的潜力,将空间超分辨率先于时间超分辨率(space-first),在几种广泛使用的数据基准和评估指标上的实验证明了所提出方法TFRnet-sf的出色性能,在总体峰值信噪比(peak signal to noise ratio,PSNR)和结构相似性(structural similarity,SSIM)提升的同时,插入中间帧的PSNR和SSIM也得到提升,在一定程度上缓和了插入的中间帧与原有帧之间PSNR和SSIM差距过大的问题。

回归——论自然主义设计风格在书籍装帧中的呈现

书,可记录历史,可传播知识。信息多元化的发展下,产生了很多传递信息的媒介,书籍这种呈现方式虽没有被人们淡忘,却也不像从前那般作为极其重要的途径为人采用。在当今,追求艺术美的呼声越来越多,书籍的存在不再只注重内容,书籍设计也不再只是为了实现最初的功能性。我在本文中主要研究自然主义风格在书籍装帧中的呈现,设计一本有自然清香的书,自然的肌理,让自然仿佛触手可得,让读者发现书籍并不只有视觉,也可以有触觉,听觉,嗅觉,一书在手,一美常留。

基于模仿学习的机器人演奏示教系统

近年来,模仿学习被广泛应用于机器人领域,并展示出巨大的潜力。同时关注到智能系统在教育领域的应用越来越多样化,将机器人合理地应用到教学中可以提升教学效果,如果机器人可以教授一些专业技巧,如演奏乐器,可以为学生和人类老师都提供很大的便利。模仿学习特别适用于高度专业和技术性强的小提琴演奏,但在将专家演示引入动态运动原语(Dynamic Movement Primitive,DMP)的过程中,模糊性问题尤为突出,例如换弦角度的不确定性。传统的换弦角度测量方法如物理测量会有很大的误差且无法泛化,为了解决这一问题,提出了一种名为基于模糊和PCA的动态运动原语(Fuzzy Dynamic Movement Primitive for Teaching,T-FDMP)的新模型。该模型基于二型模糊模型和主成分分析(Principal Component Analysis,PCA)进行构建,使用主成分分析法(PCA)得到的特征变量(运弓角度)作为隶属度函数(琴弦角度)的输入进行学习,同时构建了一个专业级的音乐演奏行为数据库。仿生实验结果证明,所提出的T-FDMP模型能够以高精度控制机器人进行小提琴演奏,还为模仿学习在其他高度专业和技术性强的领域的应用提供了新的研究方向。