虚拟现实技术的“前生今世”

提到＂虚拟现实＂,人们脑海里马上会浮现出一幅可能来自30世纪的画面：一袭装备着电缆和跟踪定位器的黑衣、头戴完全封闭的头盔、手上戴着数据手套,面对炫酷的三维立体屏幕,在空气指指点点,与周围世界格格不入。这是一系列美国大片《黑客帝国》、《盗梦空间》、《虚拟偶像》里面描绘的虚拟现实未来场景,也是虚拟现实技术专家在几年前给人们绘制的未来生活前景。

低算力深度学习下的图像卡通风格化研究

在深入研究图像风格迁移的基础上,提出了一种适用于图形处理器性能受限情况下,卡通(cartoon)图像风格迁移训练的生成式对抗网络(generative adversarial networks,GAN).利用视觉几何组(visual geometry group,VGG)网络提取图片先验信息,实现学习过程的加速;裁剪cartoonGAN模型,在保证效果的基础上,使得低性能计算条件下的网络收敛成为可能;设计合理的损失函数,保证整体风格化效果.基于tensorflow 2.0构建试验平台,通过对试验结果分析可发现,该方法的迁移效果好,稳定性强,且收敛时间短.对算法的参数和初始化方法给出了相关讨论,并提出了进一步的解决方案.

课堂教学自动评价及其初步研究成果

课堂评价是教育评价的核心环节。文章基于人工智能等最新的信息技术,结合课堂评价的需求,在全球范围内,首次给出了课堂教学自动评价的定义,构建了课堂教学自动评价理论,并在自动考勤、学习注意力分析、基于对话文本的师生对话与互动评价等方面都取得了初步研究成果。与传统的课堂评价技术相比,课堂教学自动评价具有全员、全程、全自动、高采样率、无扰、客观等优点,使规模化、常态化课堂教学过程评价成为可能。

新丝路经济带文化遗产数字化保护及发展对策研究

发展丝绸之路经济带,加强民心相通,就必须加强文化的沟通与交流。文化遗产是新丝路经济带的重要符号,是沟通沿线国家的文化桥梁,它的保护和发展已成为沿线各国相互影响、相互促进的纽带。数字化技术可以使文化遗产得到更有效的保护,同时作为新的传播手段,为其在全世界范围内的传播提供无限潜能。笔者在介绍世界文化遗产和国家级文化遗产的基础上,分析了新丝路经济带文化遗产数字化保护现状和数字化保护意义,提出了数字化保护发展的对策。将新丝路经济带庞大的文化遗产宝库进行数字化保护,利用互联网向全世界传播,全方位地展现中华文化本职和内涵,是最有力的振兴民族文化的工具,也是我们当代人的历史使命。

面向磁共振影像超分辨的WGAN方法研究

针对磁共振成像(magnetic resonance imaging,MRI)超分辨率重构任务,提出了Wasserstein生成式对抗网络(Wasserstein generative adversarial network,WGAN),构建了合适的网络模型与损失函数;基于残差U-net WGAN后端上采样超分模型,设计了感知、纹理和对抗损失,用于恢复低分辨率MRI影像中的细节信息.此网络在2D-MRI的3000张脑影像上获得的峰值信噪比(peak signal to noise ratio,PSNR)是33.09 dB,结构相似度(structural similarity index measure,SSIM)的平均值为0.95;PSNR与SSIM的值与经典超分法相比较,分别增加了4.09 dB和0.06.这表明:网络能更好地学习MRI从低分辨率到高分辨率影像之间的映射关系;该方法有效稳定,可以广泛应用于相似系统.

形状空间下的3D面貌相似性比较

开展了利用计算机自动比较两个3D面貌相似程度的研究。提出了一种在形状空间下基于测地线的3D面貌相似性比较的方法。该方法使用测地线近似表示3D面貌模型,然后将其变换到形状空间下,以对应测地线的平均测地距离作为两个3D面貌的相似性比较的依据。在公开的GAVADB三维面貌库上对14个人的28个3D面貌模型进行了实验,识别率达到92.86%以上,说明本方法可以将同一个人的不同模型与不同人的模型区分开。另外,使用提出的方法对不同人的3D面貌模型进行了相似性比较实验,结果表明使用本方法得出的相似程度的判断与人的主观判断相一致,说明本方法能够较好地反应3D面貌的相似程度。

基于局部多尺度的三维模型草图检索方法

三维模型检索已经成为虚拟现实领域的基本问题,草图是三维模型检索的最好方式,随着各种不同分辨率三维模型数据的快速增长,现有基于草图三维模型检索算法无法有效应用于大规模复杂三维模型数据库的检索.在该文中,为了解决低分辨率三维模型顶点数和面片数较少,不易获取完整光滑几何线图的问题,提出了利用高斯差分方法对三维模型深度缓存投影图像提取三维模型线图,并采用贝塞尔曲线优化线图结果.为了提高检索准确率,提出了一种局部多尺度多方向的特征计算方法,在珈伯多方向滤波的基础上,建立了局部形状金字塔尺度空间结构,配合梯度方向直方图计算局部形状特征描述,并利用词袋方法组织局部形状特征.为了提高检索速度,利用加权索引方法存储归一化后的图像特征向量,实现基于草图的三维模型实时检索过程.该文不仅比较分析了不同参数下方法的执行效果,而且运用多种评价方法,选用3个不同三维模型数据库进行方法测试,实现检索原型系统验证方法的有效性.实验证明,该方法相比于大部分其他方法具有更好的检索效果.

基于K均值聚类和区域匹配的颜色迁移技术

针对色彩丰富的图像之间的颜色传递问题,利用K均值聚类对图像进行分析,并提出最近区域匹配算法,该算法可以避免多个区域匹配到同一个区域的问题,从而更好的实现两幅图像的颜色迁移。将两幅图像从RGB颜色空间转换到lαβ颜色空间中;用K均值模型分别对颜色图像和亮度重映射后的形状图像进行同类数的聚类分析;利用欧式距离和最近区域匹配算法确定两幅图像的区域匹配关系;完成颜色迁移。实验结果表明:该算法能较好地实现色彩丰富图像之间的色彩迁移。

基于多尺度细节增强的面部表情识别方法

人类面部表情是其心理情绪变化的最直观刻画,不同人的面部表情具有很大差异,现有表情识别方法均利用面部统计特征区分不同表情,其缺乏对于人脸细节信息的深度挖掘。根据心理学家对面部行为编码的定义可以看出,人脸的局部细节信息决定了其表情意义。因此该文提出一种基于多尺度细节增强的面部表情识别方法,针对面部表情受图像细节影响较大的特点,提出利用高斯金字塔提取图像细节信息,并对图像进行细节增强,从而强化人脸表情信息。针对面部表情的局部性特点,提出利用层次结构的局部梯度特征计算方法,描述面部特征点局部形状特征。最后,使用支持向量机(SVM)对面部表情进行分类。该文在CK+表情数据库中的实验结果表明,该方法不仅验证了图像细节对面部表情识别过程的重要作用,而且在小规模训练数据下也能够得到非常好的识别结果,表情平均识别率达到98.19%。

基于教师近场语音的课堂教学过程自动分析

课堂教学过程分析自动化是改进日常教学的关键。随着AI技术的快速发展,使用商用软件对教师近场语音进行自动语音识别,能够获得精确的教师说话时段,得以开展如下的课堂教学过程自动编码与分析研究:(1)使用S-T(学生-教师)行为编码、构建S-T互动编码,实现了基于教师说话时段的全自动变时长S-T双编码;(2)提出了基于时长的S-T分析方法,生成教师主导行为占比Rt和师生互动率Ch的时间变化曲线;(3)通过教学活动建模,将连续的课堂教学过程离散为讲授、自主学习、问答-短互动、讨论-长互动等四类教学活动的序列;(4)开发了一套全自动可视化的课堂教学过程分析工具软件。

基于参数化的三维颅面配准

针对颅面配准问题,提出通过对颅面进行参数化将其转换成二维参数域的对应问题。首先,根据人类的生理特征标定6个特征点,利用这些特征点将颅面转换到一个统一的坐标系以实现姿态和大小的统一;其次,以两个外眼角为约束对参考颅面进行最小二乘保角映射,计算出6个特征点的参数值;然后,以这六个生理特征点的参数值为约束,利用最小二乘保角映射将任一待配准模型映射到二维参数域;最后,根据二维参数域确定三维颅面上的对应点,从而实现三维数据配准。为了验证所提方法,以对应点为控制点,利用薄板样条(TPS)变换把参考颅面变形到目标颅面,以变形后两个模型上对应点之间的几何距离的平均为度量,将所提算法和基于主轴分析的迭代最近点(ICP)配准以及基于随机采样控制点的迭代TPS配准方法进行了比较,实验结果表明,所提算法的配准效果优于其他两种方法。

基于Leap Motion的三维模型草图检索

对三维模型检索的需求在搜索领域日益增长,而基于草图的三维模型检索也已然成为最为有效且易用的检索方式。为了更好地提升草图检索的体验,着眼于人机交互的方式并对其加以改进是必由之路。其中,Leap Motion系统可高精度实时检测并跟踪手指的位置和手势信息等,为大屏幕、远距离交互提供了有效途径。文中提出了一种基于Leap Motion的三维模型草图检索系统用于三维模型检索。通过Leap Motion获得的数据将手的运动模拟信息实时地反映到浏览器上,实现草图的绘制和模型的检索。在草图检索部分,提出了一种改进的流形排序方法用于对模型间的相似度进行排序,结合模型语义分类信息的排序约束方法,提高了同类模型的排名分数。实验显示,该方法使得草图检索更加贴近和方便用户,进一步提高了草图检索的易用性以及三维模型检索的准确性。

音乐检索新方法的研究与实现

为获得更高的检索准确度,在主流检索系统架构的基础上,提出对音频信号处理流程的改进,包括采用改进的YIN算法提取基音序列;提出一种新颖的"小阁"基音后处理方法,实现对基音序列的规整化操作;设计了一种旋律轮廓的标记办法和模糊匹配方法,并定义了一种相似度的衡量体系,最后完成音乐检索原型系统的开发.实验结果表明,新的处理流程对于检索准确度的支持好于自相关函数、中值滤波和编辑距离匹配算法,实现了对传统基于内容音乐检索方法的改进.