基于图像的脸部模型调整及表情动画技术研究

采用一种基于图像的三维人脸模型主动调整方法,实现了三维特定人脸模型的真实感重建和表情动画生成。通过特定人脸的正面和正侧面图像上的93个人脸表情特征点,采用整体调整及基于径向基函数插值的局部调整方法对通用三维人脸模型进行几何调整,并利用变形拼接及多分辨率图像融合技术生成无缝的人脸纹理镶嵌图,实现具有真实感的三维特定人脸模型重建。改进了人脸肌肉物理模型并结合弹性约束模型,避免了在表情动画处理中由于肌肉收缩力过大导致网格三角片毁坏而破坏人脸的拓扑结构问题,其局部网格动态细分策略,使生成的表情动画更加细腻。

基于ZYNQ平台的YOLOv3压缩和加速

高精度物体检测网络急剧增加的参数和计算量使得它们很难在车辆和无人机等端侧设备上直接部署使用。针对这一问题,从网络压缩和计算加速两方面入手,提出了一种面向残差网络的新型压缩方案来实现YOLOv3的压缩,并通过ZYNQ平台对这一压缩后的网络进行加速。首先,提出了包括网络裁剪和网络量化两方面的网络压缩算法。网络裁剪方面,给出了针对残差结构的裁剪策略来将网络剪枝分为通道剪枝和残差链剪枝两个粒度,解决了通道剪枝无法应对残差连接的局限性,进一步降低了模型的参数量;网络量化方面,实现了一种基于相对熵的模拟量化方法,以通道为单位对参数进行量化,在线统计模型的参数分布与参数量化造成的信息损失,从而辅助选择最优量化策略来减少量化过程的精度损失。然后,在ZYNQ平台上设计并改进了8比特的卷积加速模块,从而优化了片上缓存结构并结合Winograd算法实现了压缩后YOLOv3的加速。实验结果表明,所提压缩算法较YOLOv3 tiny能够进一步降低模型尺寸,但检测精度提升了7个百分点;同时ZYNQ平台上的硬件加速方法获得了比其他平台更高的能耗比,从而推进了YOLOv3以及其他残差网络在ZYNQ端侧的实际部署。

一种小波域K-Means遥感图像分类标注算法

由于合成孔径雷达图像(遥感)的相干斑噪声数据丰富,导致传统的遥感图像分割方法分割效果不佳,采用学习理论和神经网络改善图像处理性能。根据图像统计特征,采取神经网络语义提出一种高效的图像纹理特征分割方法。首先,利用K-means聚类提取遥感图像的纹理特征,然后根据遥感图像在小波域中的分布特征对其进行滤波,最后利用语义对滤波后的遥感图像纹理特征和灰度组成的矢量进行分割归类,在遥感图像分割中快速标注分类以便于视觉分析。利用区域一致性分割分类,由聚类样本特征匹配进行图像分类标注,对变化检测进行统计分析,过分割或欠分割误差聚类样本不做标注,选取最佳样本聚类k值标注分类结果。

一种心肌延迟强化磁共振图像的半自动分割算法

针对心肌延迟强化磁共振图像分割中边界模糊的问题,提出了一种基于水平集的半自动分割算法。该算法通过结合多相水平集算法和Chan-Vese模型,可以同时分割心肌内膜、外膜和心肌梗塞区域的边界。根据心脏左心室的圆形特征,通过增加圆形惩罚项,使得分割心肌内膜的曲线在迭代过程中逐渐接近于圆形,从而解决了心肌内膜边界模糊的问题。根据心肌内膜和外膜之间的距离关系,提出了动态气球力,通过将两条演化曲线之间的距离约束在一定范围内,使得曲线在真实边界附近收敛,从而提高了分割心肌外膜边界的精度。由于正常心肌与发生梗塞的心肌在灰度上存在着明显的差异,采用Chan-Vese模型代替阈值法分割心肌梗塞区域以获取光滑的目标边界。该算法已在STACOM 2012国际竞赛数据集上进行了验证测试,结果表明,算法的平均Dice相似性系数为0.72,较其他算法的平均Dice系数提高了0.07~0.12;算法具有较好的实验可重复性的同时也具有更好的稳定性。

视频监控中潜在长期停留物体的检测算法

本文提出视频监控中长期停留物体的检测算法,识别出视频中潜在长期停留的物体。该方法组合使用长短两个时间尺度下的前背景模型,短背景模型是根据混合高斯的背景模型法,得到视频中快速运动的物体;长时间尺度下的前背景模型法根据背景差分法获得前背景像素点的基础上,得到视频中长期停留物体在当前时刻图像上的一个背景估计。实验结果表明:该算法在现实的视频场景下识别潜在长期停留物体的准确率高、鲁棒性强。

基于深度学习和同生矩阵的SAR图像纹理特征检索方法

由于合成孔径雷达图像(SAR)存在相干斑噪声,采用传统的SAR图像解译工作相当复杂,且传统SAR图像检索方法获得的图像纹理精度和视觉效果不佳。由于SAR图像包含的信号和噪声分布以及纹理信息非常丰富,为了提高SAR图像的检索效率,根据图像的视觉特征提出一种图像检索方法,以改善图像的视觉效果,方便人工直觉观察纹理特征信息;由此,采用深度学习方法,结合模糊理论和神经网络的优点来改善图像处理的性能。首先,根据图像像素单元的统计特征和模糊神经网络语义,提出了一种高效的基于图像纹理特征和深度语义分析的方法,对图像纹理风格优势进行数据语义匹配归类;然后,根据语义特征的特性提出一种检索方法。首先,利用深度数据语义聚类提取SAR图像的纹理特征,然后根据同生矩阵方法对SAR图像进行特征分析;最后,利用深度方法对SAR图像的纹理特征和滤波后的灰度组成的矢量进行检索,进而对图像单元归类。实验结果表明,该方法在SAR图像检索方面能取得较好的效果,且视觉效果和分析效率得到较好的提高,便于分析和应用;而且该方法能抑制相干斑噪声,同时提高SAR图像纹理特征的视觉效果。

基于长短记忆与信息注意的视频–脑电交互协同情感识别

基于视频–脑电信号交互协同的情感识别是人机交互重要而具有挑战性的研究问题.本文提出了基于长短记忆神经网络(Long-short term memory,LSTM)和注意机制(Attention mechanism)的视频–脑电信号交互协同的情感识别模型.模型的输入是实验参与人员观看情感诱导视频时采集到的人脸视频与脑电信号,输出是实验参与人员的情感识别结果.该模型在每一个时间点上同时提取基于卷积神经网络(Convolution neural network,CNN)的人脸视频特征与对应的脑电信号特征,通过LSTM进行融合并预测下一个时间点上的关键情感信号帧,直至最后一个时间点上计算出情感识别结果.在这一过程中,该模型通过空域频带注意机制计算脑电信号α波,β波与θ波的重要度,从而更加有效地利用脑电信号的空域关键信息;通过时域注意机制,预测下一时间点上的关键信号帧,从而更加有效地利用情感数据的时域关键信息.本文在MAHNOB-HCI和DEAP两个典型数据集上测试了所提出的方法和模型,取得了良好的识别效果.实验结果表明本文的工作为视频–脑电信号交互协同的情感识别问题提供了一种有效的解决方法.