基于深度生成模型的河道砂建模方法

在传统的河道砂体建模方法中,基于目标建模的方法难以条件化,多点地质统计学难以再现连续河道砂体的形态,导致建模成果难以直接应用于油田生产。深度生成模型通过深度学习,可以生成足够精确的河道砂体模型,能再现复杂的河道砂体形态,很好地满足井点条件,弥补了传统建模算法的不足。在建模过程中,首先基于目标模拟方法与计算机匹配操作建立了20000个河道砂体模型与对应的条件集,并结合变分自编码(VAE)与生成对抗网络(GAN)的理论,建立深度生成模型,其中包括分类器、编码器、解码器与判别器。将条件数据与真实模型输入深度生成模型中得到对应的河道砂体模型,通过大量的训练建立了可以生成满足井点条件的河道砂体的生成器,最后将井点数据输入生成器中建立相应的河道砂体模型。研究结果表明,深度生成模型建模算法与传统建模算法相比不仅展现出了连续、清晰的河道砂体,并且在给定的条件下可以生成多个河道砂体模型。该建模方法克服了传统河道砂建模方法的不足,为河道砂体储层建模提供了新的解决思路,建立的河道模型可为油田开发提供参考。

基于深度生成模型的图像风格迁移算法改进与应用

在常规图像风格迁移算法中,因缺少对于图像特定风格的特征对齐,图像风格迁移的速度较慢。因此,研究基于深度生成模型的图像风格迁移算法。通过分析图像风格的迁移,运用Sigmoid函数和ReLU函数实施函数的激活,在不同的卷积层中对图像特征进行风格对齐,基于深度生成模型改进算法;基于图像风格扩展采样点,对范围内的采样图像进行合成,实现对图像风格迁移算法的改进。验证实验表明,文章提出的算法平均迁移速率为10.26 MB/s,高于对照组,从实验结果可以看出,改进后的算法具有一定的速率优势。

一种深度生成模型的超参数自适应优化法

深度生成模型在非监督特征提取上有着优异的性能,在人工智能的很多领域取得巨大成功。无论在科学实验还是实际应用中,为深度生成模型设置合适的超参数始终是一大难题。传统超参数优化大多基于领域专家的经验或基于黑盒的贝叶斯优化策略。深度生成模型的超参数众多且训练所需计算资源大,传统办法无法胜任对其进行高效优化。提出一种基于神经元稀疏度的超参数自适应优化方法。该方法根据模型在逐层训练过程中神经元激活的稀疏度,利用高斯过程实时预测最佳超参数组合,将其应用到下一迭代中。实验结果显示该方法不仅明显提升深度生成模型的性能,在效率和精度上也明显优于其它主流优化方法。

基于深度生成模型的煤矿运输皮带异物检测

为了能够精准地对煤矿皮带运输机上的异物进行检出,提出了一种基于深度生成模型的皮带异物检测方法.首先,利用常规的变分自编码器(variational autoencoder,VAE)对图像进行重构,根据原始图像与重构图像之间的重构误差对图像中是否存在异物进行检出.然后,为了解决变分自编码器所生成的重构图像通常较为模糊的问题,引入了生成式对抗网络(generative adversarial network,GAN),对原始图像和重构图像进行判断,获取更加清晰的重构图像,以便提升异物检测精度.最后,将变分自编码器与生成式对抗网络进行结合,设计一种适用于皮带异物检测的深度学习算法.实验结果表明,与基线方法对比,本文方法在各评价指标上均有较好的效果.

概率统计分析在深度生成模型中的应用

为了弥补深度学习理论部分的欠缺,将从概率统计的角度对经典的深度生成模型——生成对抗网络和变分自编码器背后的数学机理进行分析,给出深度生成模型背后的概率统计解释,为深度生成模型的发展提供理论支撑。

深度生成模型综述

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注,网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点,深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习等领域得到成功应用,并给无监督学习提供了良好的范式.本文根据深度生成模型处理似然函数的不同方法将模型分为三类:第一类方法是近似方法,包括采用抽样方法近似计算似然函数的受限玻尔兹曼机(Restricted Boltzmann machine,RBM)和以受限玻尔兹曼机为基础模块的深度置信网络(Deep belief network,DBN)、深度玻尔兹曼机(Deep Boltzmann machines,DBM)和亥姆霍兹机,与之对应的另一种模型是直接优化似然函数变分下界的变分自编码器以及其重要的改进模型,包括重要性加权自编码和可用于半监督学习的深度辅助深度模型;第二类方法是避开求极大似然过程的隐式方法,其代表模型是通过生成器和判别器之间的对抗行为来优化模型参数从而巧妙避开求解似然函数的生成对抗网络以及重要的改进模型,包括WGAN、深度卷积生成对抗网络和当前最顶级的深度生成模型BigGAN;第三类方法是对似然函数进行适当变形的流模型和自回归模型,流模型利用可逆函数构造似然函数后直接优化模型参数,包括以NICE为基础的常规流模型、变分流模型和可逆残差网络(i-ResNet),自回归模型(NADE)将目标函数分解为条件概率乘积的形式,包括神经自回归密度估计(NADE)、像素循环神经网络(PixelRNN)、掩码自编码器(MADE)以及WaveNet等.详细描述上述模型的原理和结构以及模型变形后,阐述各个模型的研究进展和应用,最后对深度生成式模型进行展望和总结.

融合数据扩散算法与深度生成模型的单细胞特征提取研究

深度模型在单细胞转录组测序(single-cell transcriptome sequencing,scRNA-seq)中以单细胞分辨率提取基因的特征表达,但是scRNA-seq采集过程中存在“dropout”(数据缺失)问题,造成基因表达矩阵存在大量技术零值的噪声数据,部分基因间的关联性被噪声掩盖或影响。盲目地挖掘噪声数据往往会对深度学习模型的训练和推理过程产生消极影响,进而导致批次效应、虚假差异基因表达结果和性能下降等问题,掩藏真正的表达关系。针对以上问题,本文提出了一种融合单细胞转录组数据扩散算法的深度生成模型,通过数据扩散算法在相似的细胞之间分享信息,消除细胞计数矩阵中噪声的同时填补“dropout”现象,提高深度模型的聚类精度并有效去除批次效应。

基于深度学习的心电信号生成技术研究

随着人工智能技术的快速发展,运用心电图自动诊断模型辅助临床诊断成为一大研究热点,但仍存在着心电医疗数据难以获取、样本不平衡、数据隐私限制与泄露等问题。而大型免费医疗数据集的出现以及深度生成模型的发展,使得生成高质量的心电数据成为解决上述问题的有效方法。本文介绍了三种深度生成模型,分别为变分自编码器、生成对抗网络和去噪概率扩散模型,对其原理与特点进行了归纳和总结,然后将深度生成模型在心电信号生成领域中的应用进行了系统的分析研究,最后讨论了人工智能技术在心电信号生成领域的发展前景与趋势。

基于W距离自编码器半监督生成模型

针对现有的半监督深度分类模型未能很好学习到逼近总体数据分布的问题,提出一种基于Wasserstein自编码器深度生成模型改进的半监督深度分类算法WCVAE。在设置优化目标时考虑样本集全体示例的边际分布和有标签样本的条件分布,利用Wasserstein距离对模型拟合分布与真实数据分布之间的距离进行度量,学习到更加复杂的高维分布,使分类器学习到原数据的总体分布。实验结果表明,WCVAE在经典数据集上相较于现有方法,具有更好的质量。

基于生成对抗网络的变分自编码器解耦合

深度生成模型从观测数据中学习到潜在因素,然后通过潜在因素生成目标,在人工智能领域受到广泛关注。现有深度生成模型学习的潜在因素往往是耦合的,无法让潜在因素每一维控制所得数据的不同特征,即无法单独改变某一特征而不影响其他特征。为此,在β-变分自编码器(beta-variational autoencoder,β-VAE)的基础上,结合生成对抗网络(generative adversarial networks,GAN),提出基于生成对抗网络的变分自编码器(beta-variational autoencoder based on generative adversarial network,β-GVAE)模型。该模型是一种改进的β-VAE,通过引入生成对抗网络约束β-VAE中损失函数的KL项(Kullback-Leibler divergence),促进模型的解耦合。在数据集CelebA、3D Chairs和dSprites上进行对比实验,结果表明β-GVAE不仅具有更好的解耦合表示,同时生成的图像具有更好的视觉效果。

基于列表级排序的深度生成推荐方法

变分自编码器(variational autoencoder, VAE)近年来在推荐领域有着很成功的应用.这种非线性概率模型的优势在于它可以突破线性模型有限的建模能力,而线性模型目前仍然在协同过滤研究中占主导地位.尽管基于变分自编码器的推荐方法已经取得了优越的表现,但仍存在一些未解决的问题,例如无法针对隐式反馈的推荐数据为用户生成个性化的推荐排序列表.因此,通过借助多项式似然对变分自编码器实施基于列表的排序策略,提出了一种深度生成推荐模型.该模型具有同时生成点级隐式反馈数据并为每个用户创建列表式偏好排序的能力.为了将排序损失与变分自编码器损失结合起来,采取归一化累计损失增益(normalized cumulative loss gain, NDCG)作为排名损失,并通过平滑函数进行近似.在3个真实世界数据集上(MovieLens-100k,XuetangX和Jester)进行了实验.实验结果表明:结合了列表级排序的变分自编码器在推荐个性化列表所有评价指标上,相比于其他基线模型拥有更出色的表现.

基于自生成深度神经网络的4D航迹预测

针对四维(4D)航迹预测的实时性不强和存在迭代误差的问题,提出了一种自动生成的条件变分自动编码器(AutoCVAE)。它以编码-解码的形式直接对未来一段时间的航迹进行预测,并能灵活选取观测点个数和预测步长。该方法以处理后的广播式自动相关监视(ADS-B)数据为引导,以减小预测误差为目标,通过贝叶斯优化的方法,在预定义的搜索空间内进行模型结构搜索,每一次的超参数取值都会参考之前的评估结果,使得每一次的模型结构都能向目标更靠近一点,最终实现了一个基于ADS-B数据的高精度的4D航迹预测模型。实验得出,所提模型能快速准确地进行航迹的实时预测,其中经纬度平均绝对预测误差(MAE)均小于0.03°,高度MAE小于30 m,各时刻点的时间误差也不会超过10 s,每次批量预测轨迹的延迟时间不超过0.2 s。

基于图文多模态融合推理的产品创新方案设计方法研究

目的针对当前产品创新设计领域中对基于图像-文本多模态知识支撑创新设计方法研究不足的问题,提出了一套基于图文多模态的产品创新方案设计方法。方法首先,对设计师的设计草图与文本要求进行预处理,然后引入产品设计知识图谱来促进设计思维的发散和创新;其次,通过微调的生成式预训练变换器模型和扩散模型生成产品方案及其概念图;最后,利用深度多模态设计评估模型对产品设计方案的可行性和市场潜力进行评估。结果通过产品设计知识图谱,及深度多模态设计评估模型的引入,该设计流程可以生成富有创新性且具备可行性的产品方案。结论基于图文多模态的产品创新方案设计流程结合了最新的深度学习技术,不仅提高了设计的效率,还为设计师提供了更广阔的创新视角和灵感来源。

利用标注者相关性的深度生成式众包学习

传统监督学习需要训练样本的真实标记信息,而在很多情况下,真实标记并不容易收集.与之对比,众包学习从多个可能犯错的非专家收集标注,通过某种融合方式估计样本的真实标记.注意到现有深度众包学习工作对标注者相关性建模不足,而非深度众包学习方面的工作表明,标注者相关性建模利用有助于改善学习效果.提出一种深度生成式众包学习方法,以结合深度神经网络优势及利用标注者相关性.该模型由深度神经网络分类器先验和标注生成过程组成,其中,标注生成过程通过引入各类别内标注者能力的混合模型以建模标注者相关性.为自适应地匹配数据及模型复杂度,实现了完全贝叶斯推断.基于结构变分自编码器的自然梯度随机变分推断技术,将共轭参数变分消息传递与神经网络参数随机梯度下降结合到统一框架,实现端到端的高效优化.在22个真实众包数据集上的实验结果验证了该方法的有效性.

基于深度学习的3D分子生成模型研究进展

分子生成作为药物设计领域的一个基本问题,旨在以低成本和高效率的方式设计出具有理想生物活性和药代动力学属性的新颖分子.近年来深度生成模型在药物设计中得到了广泛应用,大量的模型结构和优化策略得到探索,其中大多是生成一维或二维的分子结构.随着深度学习在处理几何图形数据上的快速发展,面向3D分子的生成模型被提出,因其在直接生成3D分子构象和基于结构的药物设计上的优势和潜力而越来越受到关注.本文对近年来国内外学者在3D分子生成上取得的成果进行了系统的总结和分析,从3D分子生成算法输入的角度将其分为基于隐变量的生成、基于2D分子图的生成和基于3D分子构象的生成;接着从3D分子生成算法输出的角度将其分类为定向生成和非定向生成;随后总结了相关生成模型在主要的公开数据集上的性能,以探究各种生成模型的优缺点;最后对未来可能的研究方向进行了展望.

基于深度贝叶斯网络学习的不确定性建模方法

战场态势评估涉及很多不确定因素,对不确定性进行仿真建模能够提高态势评估的能力。针对参战对象多元、不确定性增多导致的无法全面准确表达不确定性问题,提出了基于记忆模块和变分自编码器的深度贝叶斯网络模型。采用生成模型设计了基于深度贝叶斯网络学习的态势评估模型;阐述了融合记忆模块的深度生成模型原理和模型的学习与推理过程;以某空袭行动为例构建贝叶斯网络,对所提方法进行了验证。结果表明:深度神经网络能够逼近隐变量的非线性变换,设计的记忆模块能存储深度神经网络提取的大量局部特征,通过学习自动得到了贝叶斯网络条件概率,增强了不确定性建模能力。

Wasserstein自编码器异常检测模型

针对现有半监督深度生成异常检测模型对复杂真实数据分布学习能力不足及模型训练困难的问题,提出基于改进Wasserstein自编码器(Wasserstein autoencoder,WAE)的异常检测模型WAE-AD。使用能够稳定训练的自编码器网络结构,利用Wasserstein距离对模型拟合分布与待检测数据真实分布之间的距离进行度量,学习更加复杂的高维数据分布。使用正常数据构成的训练集训练模型收敛,根据待检测数据在训练好的模型中的异常得分进行异常判定。实验结果表明,WAE-AD模型的精确率、召回率、F1值3项异常检测性能指标较现有半监督深度生成异常检测模型均有明显提高。

基于深度学习的回复类型预测聊天机器人

聊天机器人分为很多种,在深度学习越来越火热的当下,生成式聊天机器人通常是Seq2Seq(sequence-tosequence)模型进行训练,通过神经网络将输入数据编码成隐藏层向量并进行解码。尽管深度学习生成式模型的学习能力很强,但是对于很对具体需要切合场景需求的工作条件下,该模型常常获得的回复不够切合具体实际任务需求,因此首先对具体要执行的任务进行了有监督分类,再将分类结果加入到聊天机器人模型中进行监督训练,同时对于原始sequence-to-sequence模型进行了预训练判别器添加来进行模型优化。实验表明,对于加入了分类结果的监督训练和增添预训练判别器的模型能有效提升模型回复质量,在BELU得分上提升了约0.0116。

变分自编码器模型综述

变分自编码器(VAE)作为深度隐空间生成模型的一种,近年来其表现性能取得了极大的成功,尤其是在图像生成方面。变分自编码器模型作为无监督式特征学习的重要工具之一,可以通过学习隐编码空间与数据生成空间的特征映射,进而在输出端重构生成输入数据。梳理了传统变分自编码器模型及其衍生变体模型的发展与研究现状,并就此做了总结和对比,最后分析了变分自编码器模型存在的问题与挑战,并就可能的发展趋势做了展望。

基于自动编码器隐空间分类的建模侧信道分析

侧信道分析是现实世界密码系统的主要威胁之一,建模侧信道分析是一类重要的侧信道分析方法,深度学习技术的引入可拓宽建模侧信道分析的应用场景、提升分析效率.自动编码器(auto-encoder,AE)与变分自动编码器(variational AE,VAE)是被广泛研究的深度学习模型,本文将它们引入建模侧信道分析,提出了基于AE与基于VAE隐空间分类的建模侧信道分析方法,并从生成模型的角度对这两种方法的可行性进行了分析.AE和VAE中间产生的隐空间特征可视为侧信道曲线的低维生成特征,提出的两种方法通过训练相应的AE和VAE来提取出能表征原始侧信道曲线的隐空间特征,并通过VAE探讨了隐空间分布为高斯分布时对建模分析效率的影响.随后提出了三种隐空间特征分类策略:基于欧氏距离的分类策略、基于KL散度的分类策略以及基于支持向量机的分类策略,这些策略可对提取出的隐空间特征进行分类,从而完成建模侧信道分析.在DPAv4.1与增加了高斯噪音的ASCAD数据集上的实验结果表明,基于AE和VAE的建模侧信道分析方法使用三种分类策略的攻击效果均大幅度优于池化模板.从猜测熵的角度看,基于VAE的方法仅需10条DPAv4.1的曲线与1660条加了噪音的ASCAD曲线即可使得两者猜测熵为0,而模板攻击则分别分别需要84条和3899条曲线,效率提升分别达到了88.1%与54.7%.这说明在建模侧信道分析的场景下,VAE有着很好的应用潜能.