基于深度自编码器高斯混合模型的窃电行为检测

针对用户侧窃电检测背景下无监督方法的适用性,研究如何解决特征提取和异常检测间的解耦问题,提出基于深度自编码器高斯混合模型(Deep Auto-encoder Gaussian Mixture Model,DAGMM)的用户窃电行为检测方法。首先对数据进行增广迪基-福勒检验,获取具有平稳性的用电数据维度。然后通过压缩网络提取数据潜在特征,利用估计网络及高斯混合模型获取反映异常程度的样本能量。最后基于端对端的学习方式对网络参数联合优化以避免模型解耦,将样本能量超过异常阈值的用户识别为窃电,据此实现用户窃电行为检测。实验结果表明,基于深度自编码器高斯混合模型的窃电行为检测方法受窃电样本影响小,提取的特征可有效反映用户用电规律,具有更高的检测准确率。相比于现有方法,其检出率、误检率、F1测度及AUC等评价指标均有显著提高。

基于混合高斯先验变分自编码器的深度多球支持向量数据描述

随着数据维度和规模的不断增加,基于深度学习的异常检测方法取得了优异的检测性能,其中深度支持向量数据描述(Deep SVDD)得到了广泛应用。然而,要缓解超球崩溃问题,就需要对Deep SVDD中映射网络的各种参数施加约束。为了进一步提高Deep SVDD中映射网络的特征学习能力,同时解决超球崩溃问题,提出了基于混合高斯先验变分自编码器的深度多球支持向量数据描述(Deep Multiple-Sphere Support Vector Data Description Based on Variational Autoencoder with Mixture-of-Gaussians Prior,DMSVDD-VAE-MoG)。首先,通过预训练初始化网络参数和多个超球中心;其次,利用映射网络获得训练数据的潜在特征,对VAE损失、多个超球的平均半径和潜在特征到所对应超球中心的平均距离进行联合优化,以获得最优网络连接权重和多个最小超球。实验结果表明,所提DMSVDD-VAE-MoG在MNIST,Fashion-MNIST和CIFAR-10上均取得了优于其他8种相关方法的检测性能。

基于改进高斯混合变分自编码器的半监督情感音乐生成

音乐可以通过序列化的声音信息传递声音内容和情感。情感是音乐所表达的语义中的重要组成部分,因此,音乐生成技术不仅要考虑音乐的结构信息,还应融入情感元素。现有的情感音乐生成技术大多采用基于情感标注的完全监督方法,但音乐领域缺乏大量标准的情感标注数据集,且情感标签不足以表达音乐的情感特征。针对上述问题,提出了基于改进的高斯混合变分自编码器(Gaussian Mixture Variational Autoencoders,GMVAE)的半监督情感音乐生成方法(Semg-GMVAE),将音乐的节奏特征和调式特征与情感建立联系,同时向GMVAE中引入一种特征解纠缠机制来分别学习这两种特征的潜在变量表示,并对其进行半监督聚类推断。最后通过操纵音乐的特征表示,实现了针对快乐、紧张、悲伤、平静情感的音乐生成与情感转换。同时,针对GMVAE难以区分不同情感类别数据的问题,实验指出其关键原因是GMVAE证据下界中的方差正则项与互信息抑制项使得各类别的高斯分量分散性不足,从而影响学习表示的性能和生成的数据样本的情感质量。因此,Semg-GMVAE对这两项因子分别进行了惩罚和增强,并使用Transformer-XL作为编码器和解码器以提升在长序列音乐上的建模能力。基于真实数据集的实验结果表明,相比现有方法,Semg-GMVAE能够将不同情感的音乐在潜在空间中更好地分离,增强了音乐与情感的关联程度,并且能够有效对不同音乐特征进行解纠缠分离,最后通过改变特征表示更好地实现情感音乐生成或情感切换。

基于主成分分析和深度自编码高斯混合模型的无监督异常数据检测方法研究

在异常数据检测中,由于数据量过大和数据特征维度过高,往往会导致数据标定困难、数据冗余、算法效率降低等。针对以上问题,将主成分分析(PCA)特征选择算法与深度自编码高斯混合模型(DAGMM)相结合,提出一种新的无监督异常数据检测方法PCA-DAGMM。该方法首先利用PCA特征选择算法对数据进行预处理,去除对分类效果增益较小的冗余数据,降低运算成本;然后将特征选择后的数据输入到DAGMM模型中进行训练。基于kddcup99数据集和CIC-IDS-2017数据集进行实验,并与多种特征选择算法进行对比,实验结果表明,PCA-DAGMM方法可以有效优化分类器性能,提高分类器训练效率,适用于解决网络流量异常检测问题,F1指数在kddcup99数据集和CIC-IDS-2017数据集上比DAGMM模型分别提高了4.37%和1.06%,训练时间减少了14.43%和8%。

无监督异常检测的深度变分自编码高斯混合模型

针对高维数据无监督异常检测难以重构异常样本,无法保留低维空间信息的问题,提出一种深度变分自编码高斯混合模型(deep variational autoencoding gaussian mixture model,DVAGMM)。该模型利用深度变分自编码器为每个输入样本生成低维数据和重构误差,并将这些数据输入高斯混合模型。为更好地学习到原始样本的低维特征,同时避免自编码器自身的局部优化问题,减少重构误差,模型采用联合优化深度变分自编码器和高斯混合模型参数的方法,并利用单独的估计网络促进混合模型的参数学习。实验结果表明,该模型在几个基准数据集上的检测准确率和效果都比其他传统模型更高,以F1值作为综合评价指标,模型的综合分数比第二名高出大约4%。

融合BERT与改进深度自动编码器的专利聚类

针对传统的向量表示方法的多义词局限性以及深度聚类容易出现特征嵌入与聚类过程分离的问题,提出一种融合BERT与改进深度自动编码器的专利聚类方法。利用BERT对专利文本进行向量初始化,提出将高斯混合模型(GMM)与自动编码器相联系,构建一个单隐含层自编码器的聚类模块(CM),将其嵌入到深度自动编码器(DAE)中构成DAE-CM模型。实验结果表明,CM与GMM具有等效性,DAE-CM模型与现有深度聚类模型相比,精确度等都有所提高,所提专利聚类模型性能得到了很大的提升,F-means值达到了0.9224。

基于混合变分自编码器回归模型的软测量建模方法

近年来,变分自编码器(Variational auto-encoder,VAE)模型由于在概率数据描述和特征提取能力等方面的优越性,受到了学术界和工业界的广泛关注,并被引入到工业过程监测、诊断和软测量建模等应用中.然而,传统基于VAE的软测量方法使用高斯分布作为潜在变量的分布,限制了其对复杂工业过程数据,尤其是多模态数据的建模能力.为了解决这一问题,本论文提出了一种混合变分自编码器回归模型(Mixture variational autoencoder regression,MVAER),并将其应用于复杂多模态工业过程的软测量建模.具体来说,该方法采用高斯混合模型来描述VAE的潜在变量分布,通过非线性映射将复杂多模态数据映射到潜在空间,学习各模态下的潜在变量,获取原始数据的有效特征表示.同时,建立潜在特征表示与关键质量变量之间的回归模型,实现软测量应用.通过一个数值例子和一个实际工业案例,对所提模型的性能进行了评估,验证了该模型的有效性和优越性.

基于稀疏自编码器和高斯混合模型的手写数据集分类

深度学习模型训练需要大量的有标签数据进行训练,现实生活中数据大多没有标签,需要进行人工标注,对于小样本的训练存在过拟合现象,针对此问题,本文提出一种算法:首先采用稀疏编码器对数据进行降维处理,然后利用T-SNE算法继续将数据维度降低到二维空间,最后采用高斯混合模型对数据进行聚类分析。该算法采用无监督斱法,不需要预先对数据进行标签化。该算法对数据过拟合具有一定的泛化能力,在手写数据集的训练集取得0.89205的准确度,在测试集中取得0.896的精度。该算法为小样本的学习提供了新思路。

基于深度卷积神经网络与高斯混合模型的水电机组异常声音检测

为实现水电机组运行状态的安全监测,解决自动化值守问题,依据语音识别技术,基于发电机组运行监测信息对水轮机部分测点的正常状态建模,以实现异常检测。先使用西储大学轴承试验数据,验证深度卷积神经网络(CNN)与高斯混合模型(GMM)组合建模方法的正确性;其次针对水轮机组共布置了42个测点,根据过速前后RMS的上升率,选择10个敏感测点进行位置分类;然后选取部分数据作为训练数据,得到CNN模型及机组声音特征,进一步训练并得到GMM模型;最后利用测试数据的打分结果,判断机器运行状态——即偏离正常状态的程度,实现异常状态检测。该试验方案通过人工标注确认,验证了方法的可行性,实现了基于声音的水电机组异常检测算法设计。

单类支持向量机融合深度自编码器的异常检测模型

大规模高维不平衡数据是异常检测中的重大挑战。单类支持向量机在处理不平衡数据方面非常有效,但不适合大规模高维数据,同时单类支持向量机的核函数对检测性能也具有重要的影响。文中提出了一个深度自编码器与单类支持向量机相结合的异常检测模型,深度自编码器不仅负责提取特征和降维,同时拟合出了一个自适应核函数。深度自编码器与单类支持向量机共享损失函数,实现了端到端的训练。作为一个整体,模型采用梯度下降法进行联合训练。在4个公开数据集上与其他异常检测方法进行了对比实验。实验结果表明,在AUC以及召回率(RECALL)方面,所提模型的性能优于单核和多核单类支持向量机以及其他模型,并且所提模型在不同异常率时是鲁棒的,在时间复杂度方面也具有非常大的优势。

基于深度自编码-高斯混合模型的视频异常检测方法

由于异常定义的模糊性和真实数据的复杂性,视频异常检测是智能视频监控中最具挑战性的问题之一。基于自动编码器(AE)的帧重建(当前或未来帧)是一种流行的视频异常检测方法。使用在正常数据上训练的模型,异常场景的重建误差通常比正常场景的重建误差大得多。但是,这类方法忽略了正常数据本身的内部结构,效率较低。基于此,提出了一种深度自动编码高斯混合模型(DAGMM)。首先利用深度自动编码器获得输入视频片段的生成低维表示和重构误差,并将其进一步输入高斯混合模型(GMM)。而估计网络则通过高斯混合模型预测能量概率,然后通过能量密度概率判断异常。DAGMM以端到端的方式同时联合优化深度自动编码器和GMM的参数,能够平衡自动编码重建、低维表示的密度估计和正则化,泛化能力强。在两个公共基准数据集上的实验结果表明,DAGMM达到了现有最高技术发展水平,在UCSD Ped2和ShanghaiTech两个数据集上分别取得了95.7%和72.9%的帧级AUC。

基于随机森林和深度自编码高斯混合模型的无监督入侵检测方法

文章针对异常检测中的网络数据量大、特征维数高、传统机器学习算法对数据标签依赖性高等问题,提出一种基于随机森林和深度自编码高斯混合模型的无监督入侵检测方法RF-DAGMM。该方法重点在于使用随机森林算法进行特征选择,一方面更加注重对结果重要的特征,另一方面消除无关特征对检测结果的干扰,经特征选择后的数据输入深度自编码高斯混合模型中,从而获得更好的结果。本文分别基于KDD99、UNSW-NB15、CICIDS2017数据集进行实验,实验结果表明,RF-DAGMM在多个指标上的结果得到提升,同时减少训练时长和计算成本。

基于高斯混合-变分自编码器的轨迹预测算法

海面舰船的轨迹预测对预测精度和实时性具有较高要求,而舰船轨迹数据特征的高复杂度特性,导致传统预测算法精度低、耗时长,难以达到良好的预测效果。为此,提出一种基于变分自编码器的海面舰船轨迹预测算法。将轨迹坐标数据集转化为轨迹移动矢量集,使用变分自编码器完成轨迹运动特征的提取与生成预测。同时为提高轨迹预测精度,将变分自编码网络的隐空间分布设定为混合高斯分布,使其更符合真实的数据分布特征,并在隐空间完成轨迹特征的分类,实现端到端的轨迹预测。仿真结果表明,相较于传统预测算法GMMTP和VAETP,该算法的预测误差分别降低了85.48%和35.59%。

基于序贯稀疏自编码器和高斯混合模型的驾驶行为分析

基于驾驶数据,驾驶行为分析方法能够获得隐藏的驾驶行为信息,进而实现驾驶风格识别等应用。随着传感器技术的发展,先进驾驶辅助系统需分析的驾驶数据的规模和维度不断增加,这提升了驾驶行为分析结果的有效性和普适性,但也给数据分析工作带来了挑战。因此,准确高效的驾驶行为分析方法对于先进驾驶辅助系统的作用越发重要。针对大规模、高维驾驶数据集,本文提出了一种基于序贯稀疏自编码器和高斯混合模型的驾驶行为分析方法。首先,为了有效提取驾驶数据的低维特征,该方法改进了稀疏自编码器在预训练阶段的损失函数,降低了模型参数易落到局部最优的风险;然后,该方法基于线性映射将提取到的驾驶特征映射到颜色空间,实现了驾驶行为的可视化;最后,该方法使用高斯混合模型对提取到的驾驶特征进行聚类,实现了驾驶风格的识别。真实驾驶数据的验证结果表明,所提算法可以提取到比传统算法更有区分度的驾驶特征,并在轮廓系数等性能指标下都取得了更好的驾驶风格识别效果。

基于高斯-柯西混合模型的单幅散焦图像深度恢复方法

单幅图像场景深度的获取一直是计算机视觉领域的一个难题。使用高斯分布函数或柯西分布函数近似点扩散函数模型(PSF),再根据图像边缘处散焦模糊量的大小与场景深度之间的关系估算出深度信息,是一种常用的方法。真实世界中图像模糊的缘由千变万化,高斯分布函数以及柯西分布函数并不一定是最佳的近似模型,并且传统的方法对于图像存在阴影、边缘不明显以及深度变化比较细微的区域的深度恢复结果不够准确。为了提取更为精确的深度信息,提出一种利用高斯-柯西混合模型近似PSF的方法;然后对散焦图像进行再模糊处理,得到两幅散焦程度不同的图像;再通过计算两幅散焦图像边缘处梯度的比值估算出图像边缘处的散焦模糊量,从而得到稀疏深度图;最后使用深度扩展法得到场景的全景深度图。通过大量真实图像的测试,说明新方法能够从单幅散焦图像中恢复出完整、可靠的深度信息,并且其结果优于目前常用的两种方法。

基于高斯混合模型的Kinect深度图像增强算法

深度图像获取是当前三维视频领域重要的研究课题.微软Kinect传感器可以获取到实时的稠密深度图,但往往在深度图中存在大量的空洞并且获取的深度图不稳定.针对这些问题,提出一种应用高斯混合模型实时修复的算法,首先要把彩色图像和深度图像对齐裁剪,然后通过高斯混合模型(GMM)把深度图像的前景和背景分离,针对不同的区域做不同的处理,对背景空洞做基于背景的填充,前景空洞采用颜色匹配算法进行处理,最后对处理后的深度图像做中值滤波处理去除噪声.实验证明,该算法在复杂前景物体和大面积深度缺失的情况下都可以有效填充深度图像中的大、小空洞,保留了物体边缘,尤其在遮挡物体的深度重建上,可以取得较好的重建效果.

基于高斯混合模型和深度神经网络的大型船舶主机功率预测(英文)

船舶主机功率是预测航行油耗、评估船舶废气排放中的一项重要数据。然而,未知的船舶主机功率数据对基于大数据的船舶油耗及排放预测产生了障碍。为了解决这一问题,本文提出基于高斯混合模型(GMM)和深度神经网络(DNN)的大型船舶主机功率预测方法。首先对船舶特征进行相关性分析,选择与主机功率相关系数较大的船舶特征作为GMM-DNN混合模型的输入,然后使用GMM对船舶特征进行聚类,将聚类结果作为标签和船舶特征一起作为DNN的输入,最后使用Adam-Dropout优化DNN,并用DNN对船舶功率进行预测。为了探究方法的有效性,本文比较了多元线性回归分析、非线性回归、DNN、GMM-DNN在船舶主机功率上的预测效果。实验表明,GMM-DNN模型在船舶主机功率预测上表现最好,其平均绝对误差MAPE为14.57%,比多元线性回归、非线性回归和DNN分别低28.27%、23.36%和1.24%。

基于高斯混合模型聚类的Kinect深度数据分割

基于深度图像的室内场景理解是计算机视觉领域中的前沿问题。针对三维室内场景中平面较多的特性,提出一种基于高斯混合模型聚类的深度数据分割方法,实现对场景数据的平面提取。首先将Kinect获取的深度图像数据转换为离散三维数据点云,并对点云数据作去噪和采样处理;在此基础上计算所有点的法向量,利用高斯混合模型对整个三维点云的法向集合聚类,然后利用随机抽样一致性算法对各个聚类进行平面拟合,由每个聚类得到若干平面,最终把整个点云数据分割为一些平面的集合。实验结果表明,该方法得到的分割区域边界准确,分割质量较高。提取出的平面集合为以后的室内对象识别和场景理解工作奠定了较好的基础。

基于高斯混合模型与CNN的奶牛个体识别方法研究

奶牛个体识别是奶牛精细化养殖的关键。为了实现适合奶牛养殖环境下的无接触、高精确度奶牛个体识别,提出基于高斯混合模型与卷积神经网络CNN相结合的奶牛个体识别方法。利用高斯混合模型获取奶牛个体图像数据库;利用CNN网络实现奶牛个体的准确识别。为了验证网络的鲁棒性,将网络中的Softmax分类器与线性SVM分类器的准确率进行对比。当测试图像的噪声密度参数小于0. 075时,SVM分类器的准确率较高;参数处于0. 075～0. 17时,Softmax分类器准确率较高;参数大于0. 17时,两者的分类效果相近。结果表明将该方法应用于养殖场中奶牛个体无接触高精确度识别是可行的。

高斯混合生成模型检测健康数据异常

在智能穿戴设备普及的背景下,运动手环为全面地了解人们的身体状况提供了丰富的信息源,但是其提供的多维活动数据存在未知的异常值,因此需要进行异常值的检测。由于“维度灾难”,通过传统的方法进行密度估计十分困难,导致检测效果不佳。针对该问题,使用了一种高斯混合生成模型(GMGM)健康数据检测方法。首先,该模型利用变分自编码器(VAE)训练原始数据,并且通过降低重构误差提取潜在特征。然后,利用深度信念网络(DBN),通过潜在分布和提取的特征来预测样本的混合成员隶属度。接着,变分自编码器、深度信念网络与高斯混合模型(GMM)共同优化,避免了模型解耦的影响。高斯混合模型预测得到每个数据的样本密度,将密度高于训练阶段阈值的样本视为异常。在ODDS标准数据集上验证模型的性能,结果表明,相比深度自编码器高斯混合模型(DAGMM),GMGM的AUC指标平均提升了5.5个百分点。最后,在真实数据集上的实验结果也表明了该方法的有效性。