基于注意力机制的人脸漫画生成方法

在漫画生成领域,针对现有的基于生成对抗网络(generative adversarial networks,GAN)的方法无法捕获漫画和人脸之间高级对应关系的问题,提出了一个基于注意力机制的生成对抗网络模型(Attentions-based GAN)。在生成器和多尺度鉴别器上创造性地利用不同的注意力模块以保留重要的通道特征和空间特征,保证了鉴别器更准确地区分真实漫画和生成漫画,并促使生成器学习漫画域的分布。此外,构建了一个高分辨率的人脸漫画数据集,并在其上验证了本文模型的有效性。大量实验表明,本文方法生成的漫画更清晰真实,可以保留人物面部的细节并延续漫画的风格。

人脸漫画生成技术研究进展

以计算机人脸漫画生成的流程为主线,总结了近年来计算机生成人脸漫画技术的国内外研究现状,将现有的方法分为基于高层语义描述和基于图像模板,介绍2种方法生成人脸漫画的流程。根据夸张规则的不同,介绍了基于人机交互、基于样本模板、基于绘画规则以及基于统计学习4种肖像漫画生成方法,并对各方法所涉及的核心算法进行对比分析。结合近年来的研究热点,给出了人脸漫画未来的研究难点和发展趋势。

基于人脸识别的人脸漫画处理系统

为了简单、便捷、快速地实现人物肖像漫画创作,设计一种基于安卓平台的自动化肖像漫画生成系统。系统采用主动形状模型方法,对大量真实人脸进行特征分析得到平均人脸特征库,并对用户输入的人脸肖像进行特征检测、提取与筛选,然后结合漫画艺术家对人脸漫画的作画规律,对筛选的特征以及与平均人脸差异较大的特征进行归类。对不同特征采用不同夸张化方法,配以不同夸张尺度,再由计算机完成自动形变,以实现人脸肖像漫画的自动艺术化夸张,得到接近漫画创作者水平的人脸漫画。通过该系统可大幅减少漫画工作者的工作量,使普通用户也能便捷地进行人脸肖像漫画创作。

仿生假体视觉人脸图像语义翻译研究与实现

仿生假体视觉技术可以为视力障碍患者在日常交流中提供人脸语义信息,但当前假体制造技术产生的光感信息像素低,很难清晰传递人脸语义。本文提出将“物理真实”转为“感官真实”的研究思路,将人脸语义翻译为表达更加精炼的漫画形式,构建基于间接循环重构对抗训练策略的F2Pnet模型,使用有限像素的光感信息为患者呈现较为精准的人脸关键语义。通过用户调研表明,F2Pnet的人脸语义翻译在语义相似度、表情辨识度和身份辨识度方面已接近人类基准,尤其在“愤怒”、“恐惧”、“高兴”、“惊讶”4种表情的辨识度已超越人类基准,“高兴”的辨识准确率已达0.96,在面部特征、表情等方面的表达能力优于现有其他人脸图像翻译方法。