基于跨模态互译渲染模型的预训练视觉翻译技术

如何在保证风格不变的情况下将图片中的外文替换为中文是一个有趣并富有挑战的问题。为此,针对图像中文本的跨语言转换提出一种预训练视觉翻译技术,结合文字检测、字体识别、OCR、图像修复、机器翻译及图像渲染技术构建跨模态自适应互译渲染模型,以保持原文风格和排版样式。首先使用EAST算法定位并提取文字区域;其次采用ResNet识别字体样式,CTC-OCR提取文字内容并由GPT模型进行翻译;最后由LaMa算法修复文字区域后,采用区域坐标渲染算法将翻译文字融入修复图像,实现高质量视觉翻译。由评估员对翻译效果进行定量评估,该方法主观评估分数达到7.90,具有较高准确性。

基于隐式对称生成对抗网络的图像隐写与提取方案

针对图像隐写技术中存在嵌入秘密图像时载体图像质量下降、易受攻击等问题,提出一个基于隐式对称生成对抗网络的图像隐写与提取方案.该方案首先将图像隐写与提取任务抽象为一个数学优化问题.其次,根据该优化问题提出一个隐式对称生成对抗网络模型.在隐式对称生成对抗网络中包含2个相互独立的生成对抗子网络,即隐写对抗子网络和提取对抗子网络.在隐写对抗子网络中,首先编码器将载体图像和隐秘图像转换为1组包含足够多的载体图像信息和秘密图像信息的高维特征向量,之后解码器将这些特征向量重新构造为嵌入秘密信息后的图像.在提取对抗子网络中,将嵌入秘密信息的图像通过另一组编码器和解码器提取出隐秘图像.最后,设计适用于该模型的损失函数.实验结果表明,该方案具有较高的图像质量,并且能够在面对各种常见攻击时保持较好的鲁棒性.