基于随机游走模型和KL-divergence的聚类算法

聚类分析在数据挖掘领域有着广泛的应用,该文提出一个聚类新思路,它不需要任何参数的假设,只基于数据两两之间的相似性。该方法假设数据点之间存在随机游走关系,根据数据相似性构造随机游走过程的转移矩阵,当随机游走过程进入收敛期后,t阶转移矩阵揭示了数据点的分布。用迭代方法寻找最小的KL-divergence来对这些分布聚类。该方法具有严谨的概率理论基础,避免了传统算法需要参数假设、限于局部最优等不足。实验表明,该算法具有较优的聚类效果。

基于KL散度工况识别的混合动力汽车队列的分层控制

针对混合动力汽车队列行驶过程中工况的适应性问题,提出了一种基于KL(Kullback-Leibler)散度工况识别的分层控制方法。上层控制器利用车—车通信技术,获取队列中前车状态信息,采用模型预测控制(MPC)算法,实现队列纵向控制,并计算出最优跟车车速;下层控制器基于典型工况,离线求解需求功率的转移概率矩阵,并通过Q-Learning算法训练最优Q表嵌入整车模型中;在行驶中以固定时间长度在线更新转移概率矩阵,采用KL散度进行工况识别,根据识别的工况类型,结合当前时刻车速、需求功率和电池荷电状态(SOC),通过在线查表实现转矩分配。结果表明:与未考虑工况识别策略相比,本策略的油耗降低了8.6%;与作为基准的动态规划(DP)相比,增加了4.8%;在与DP油耗基本保持相同的前提下,该策略离线仿真时间缩短21%,不仅能够在线应用,还能实时适应工况变化。

基于KL-散度的电力用电数据自动脱敏算法研究

电力数据中包含一些隐私数据,一旦泄漏,就会对个人隐私安全造成隐患。为保证电力数据的安全性,提出了基于KL-散度设计电力用电数据自动脱敏算法。基于KL-散度算法建立敏感数据过滤模型,计算不同变量数据的KL距离,得到其相似性指标,对用户项目评分进行平滑处理,将具备相似性的敏感数据分成不同的批次。敏感数据去身份化处理,将数据匿名转换,计算用户真实路径被泄露的概率。设计数据自动脱敏算法,分别计算概念化数据、元组信息以及信息流的损失程度,以此判定脱敏后的数据是否可用。检验脱敏前后数据一致性,三类电力用电数据的变化率分别为0.43%、0.14%和0.11%,远远小于标准值。且算法在运行过程中单位时间处理数据量和平均延迟时间也较为理想,可见该脱敏算法具备实用性。

面向Kullback-Leibler散度不确定集的正则化线性判别分析

线性判别分析是一种统计学习方法.针对线性判别分析的小样本奇异性问题和对污染样本敏感性问题,目前许多线性判别分析的改进算法已被提出.本文提出了基于Kullback-Leibler(KL)散度不确定集的判别分析方法.提出的方法不仅利用了Ls范数定义类间距离和Lr范数定义类内距离,而且对类内样本和各类中心的信息进行基于KL散度不确定集的概率建模.首先通过优先考虑不利区分的样本提出了一种正则化对抗判别分析模型并利用广义Dinkelbach算法求解此模型.这种算法的一个优点是在适当的条件下优化子问题不需要取得精确解.投影(次)梯度法被用来求解优化子问题.此外,也提出了正则化乐观判别分析并采用交替优化技术求解广义Dinkelbach算法的优化子问题.许多数据集上的实验表明了本文的模型优于现有的一些模型,特别是在污染的数据集上,正则化乐观判别分析由于优先考虑了类中心附近的样本点,从而表现出良好的性能.

KL散度多模块滑动窗口慢特征分析的故障诊断方法

针对传统分块方法根据经验划分子块导致变量特征信息无法充分利用,其单一的建模方式忽略局部信息以及离线模型无法适应时变特性的问题,提出了一种KL (Kullback-Leibler)散度多模块滑动窗口慢特征分析方法。在正常工况数据集中,利用KL散度来度量变量间的距离,同时引入最小误差平方和准则进行聚类,分成两个距离最小的子模块;在此基础上利用慢特征分析方法对每个子模块进行建模,结合滑动窗口对每次采样的数据进行更新,得到最优模型,分别计算监测统计信息,利用支持向量数据描述对故障监测结果进行融合,实现故障诊断。并将该方法应用于田纳西伊斯曼过程的监控中,得到了较高的故障检测率和较低的虚警率,验证了该方法的可行性和有效性。

基于小波包多尺度模糊熵和加权KL散度的煤岩智能识别

垮落煤岩智能识别是智能放煤的前提,通过垮落煤岩实时精准识别可避免人工放煤造成的顶煤“欠放”或“过放”问题。现有煤岩识别方法大多通过数据降维处理获得垮落煤岩特征向量,通过构建识别模型进行煤岩识别,但数据降维、模型建立和训练均需较长时间,一定程度上影响了连续综放开采效率。针对该问题,提出了一种基于小波包多尺度模糊熵和加权KL散度的煤岩智能识别方法。对不同工况(顶煤垮落、岩石垮落、大块顶煤垮落)下垮落煤岩冲击液压支架后尾梁的振动信号进行小波包分解,得到一系列频带;对各频带的序列进行粗粒化,计算各频带多个尺度粗粒化向量的模糊熵,即小波包多尺度模糊熵,将其作为特征向量;以小波包分解后各频带能量与振动信号总能量的比值作为加权KL散度的权重,比较待测未知样本与不同工况下样本特征向量的加权KL散度,实现垮落煤岩的实时精准识别。实验结果表明:基于小波包多尺度模糊熵和加权KL散度的方法可有效识别垮落煤岩类别,而基于多尺度模糊熵和KL散度的方法、基于小波包模糊熵和KL散度的方法识别效果不佳;将小波包多尺度模糊熵作为特征向量时,BP神经网络识别准确率达95%,进一步验证了小波包多尺度模糊熵可作为表征垮落煤岩的特征向量;整个煤岩识别过程耗时为1.063 9 s,基本满足垮落煤岩智能识别实时性需求,大大降低了对连续综放开采效率的影响,综合性能优于同类煤岩识别方法。

基于EDA统计图量化的桥梁动态监测数据质量评估

探索性数据分析统计图在桥梁健康监测动态数据质量评估中已有广泛应用。为了减少人工观察统计图的主观性,通过近似度量方法实现统计图的量化分析,得到多个指标对监测数据进行快速质量评估。在运营环境激励作用下,桥梁结构动力响应具有短时线性平稳性,近似服从正态分布。以某大跨斜拉桥振动数据为研究对象,首先,绘制样本数据直方图和Q-Q图,通过观察数据分布特征预先判断数据质量,确定优、良和差3个等级。然后,分别通过KL散度和余弦相似度2种近似度量方法对样本数据直方图和Q-Q图进行量化,得到数据服从正态分布程度的指标;通过箱线图检测样本数据全局异常点,得到正常数据占比;统计分析得到量化值和先验质量等级的对应关系,确定以直方图KL散度和余弦相似度为主、以箱线图正常数据占比为辅的数据质量评估标准。最后,取部分数据为验证集,进一步验证所提方法各个指标的合理性,并给出该方法在实际工程上的应用结果。

结合KL散度和形状约束的Faster R-CNN典型金具检测方法

输电线路航拍巡检图像中典型金具的高准确率检测是其状态检测和故障诊断的基础。针对金具与金具之间、金具与背景之间相互干扰导致模型出现的目标检测得分很高但检测框位置存在极大误差的问题,提出了一种结合KL(Kullback-Leibler)散度和形状约束的Faster R-CNN(faster region-based convolutional neural netwoks)典型金具检测方法,在Faster R-CNN检测模型框架的基础上,增加对目标边界框分布的预测,同时使用KL散度度量金具坐标预测分布与真值分布之间的距离,并将其作为损失函数优化模型参数,进一步将数据集中不同金具类别目标的形状特征作为约束加入损失函数中,以提高模型的泛化性能和边界框回归精度。实验结果证明:提出的方法在一定程度上解决了检测模型目标边界框回归不准确的问题,其中,各类别平均准确率的均值(mean average precision,mAP)由79.76%提高到了83.68%。研究可为进一步对典型金具进行状态检测和故障诊断奠定基础。

一种基于KL散度和类分离策略的特征选择算法

特征选择是模式识别和机器学习中的重要环节之一,所选特征子集的质量直接影响着分类学习算法的效率及准确率。现有特征选择算法均在整个类标签集的视角下进行特征评价,并未分别考察每一类别与特征间的关系。提出了一种基于KL散度和类分离策略的特征选择算法,它采用类分离策略分别对类标签中每一类别与特征间的关系予以考察,并采用一种基于KL散度的有效距离度量类别与特征间的相关性以及特征之间的冗余性。实验结果表明,所提算法具有较高的运行效率;在所选特征质量上,所提算法显著优于经典的CFS、FCBF以及ReliefF特征选择算法。

基于KL散度的驾驶员驾驶习性非监督聚类

为深入理解不同驾驶员的驾驶行为特点,本文中提出了一种基于KL散度的驾驶员驾驶习性非监督聚类算法。首先,建立了驾驶员驾驶数据实车道路试验采集平台,对84位驾驶员进行了测试;接着,将每名驾驶员的驾驶数据视为一个高斯混合模型(GMM),采取EM算法对其进行参数估计;最后,通过蒙特卡洛算法对各GMM之间的KL散度进行估计,从而获得不同驾驶员差异性的定量描述,将驾驶员聚为不同习性类别。对聚类后各类驾驶员的驾驶数据的统计分析表明,所提出的非监督聚类算法能有效实现不同驾驶习性驾驶员的聚类。

基于KL散度的面向对象遥感变化检测

遥感影像的变化检测从基于像素到面向对象,从阈值分割到相似性度量已有众多的研究成果;但在对面向对象遥感图像变化检测中,存在分割参数的选择、变化阈值的确定、对象变化程度的表达等问题。为此,提出一种基于相似度测度的面向对象遥感影像变化检测方法,并打破了以往仅以有/无变化的检测结果所呈现的表现形式。首先计算了图像对象分割的最优参数,得到了2个时相的图斑对象,并进行了空间叠加处理;然后利用KL相似度计算方法计算了图斑对象的相似度系数,利用直方图统计了该系数的自然聚类特征;再运用不同的自然聚类特征值,分级得到了图斑对象的变化程度;最后,分析了不同参数分割结果、不同分级方法对图像变化程度检测的影响,同时通过对比有/无变化的检测结果,验证了本研究所提方法的科学性和有效性。

基于KL距离的非平衡数据半监督学习算法

在实际应用中,由于各种原因时常无法直接获得已标识反例,导致传统分类方法暂时失灵,因此,基于正例和未标识集的半监督学习顿时成了理论界研究的热点.研究者们提出了不同的解决方法,然而,这些方法都不能有效处理非平衡的分类问题,尤其当隐匿反例非常少或训练集中的实例分布不均匀时.因此,提出了一种基于KL距离的半监督分类算法——LiKL:依次挖掘出未标识集中的最可靠正例和反例,接着使用训练好的增强型分类器来分类.与其他方法相比,不仅提高了分类的查准率和查全率,而且具有鲁棒性.

基于GSA的风电叶片主梁初始损伤的敏感因素分析

针对风电叶片主梁褶皱缺陷演化为初始损伤模式的不确定性问题,采用高斯概率分布函数确定7个因素的分布信息,根据褶皱缺陷在拉伸加载时的应力数据,改进Sobol’算法采用拉丁超立方法获取样本点训练BP神经网络,采用Kullback-Leibler散度计算最大和非最大损伤处的应变余能密度相对熵,分别作为基体开裂和纤维断裂的敏感度响应指标。结果表明,基体损伤和纤维断裂的高敏感因素均为载荷幅值、纤维含量、基纤模量比和褶皱高宽比,但基纤模量比与褶皱高宽比的排序有所不同,说明叶片主梁材料性能和缺陷特征形貌对初始损伤模式的作用程度不同。最后建立含褶皱的GFPR层合板有限元模型,模拟结果验证了全局敏感度分析方法的准确性。

基于KL散度及多尺度融合的显著性区域检测算法

基于对超像素颜色概率分布间KL散度的计算,以及对多尺度显著图的融合处理,该文提出一种新的显著性区域检测算法。首先,采用超像素算法多尺度分割图像,在各尺度下用分割产生的超像素为节点,并依据超像素分割数量对各超像素进行适当邻接连通扩展,构建无向扩展闭环连通图。其次,依据颜色判别力聚类量化各超像素内颜色,统计颜色聚类标签的概率分布,用概率分布间KL散度的调和平均值为扩展闭环连通图的边加权,再依据区域对比度并结合边界连通性,获取各尺度下的显著图。最后,平均融合各尺度下显著图,并进行优化处理,得到最终的显著图。在一些大型参考数据集上进行大量实验表明,所提算法优于当前一些先进算法,具有较高精确度和召回率,并且可以产生平滑显著图。

基于KL散度和BP神经网络的人类基因启动子识别

人类基因启动子预测和识别是DNA序列分析中的一项重要任务.提出了一个基于KL散度和BP神经网络的人类基因启动子识别算法.利用KL散度提取分辨力最强的六联体来区分启动子和非启动子区域,将这些六联体的出现频率作为识别启动子的组成成分特征,结合CpG岛特征,应用BP神经网络技术建立人类启动子识别系统.该系统有3个分类器,即启动子-外显子分类器,启动子-内含子分类器和启动子-3’UTR分类器,每个分类器都是一个BP神经网络,通过3个分类器的结果来综合预测启动子序列.对测试集的实验结果为:敏感性达到51.4%,特异性达到52.9%.

基于信息论的KL-Reg点云配准算法

针对含有高噪声、体外点及不完整点云数据的配准失效问题,该文提出以信息论为理论基础,相对熵度量点云相似度的KL-Reg算法。该算法不需要显式地建立对应关系,首先将点云数据建模为高斯混合模型,然后用相对熵度量高斯混合模型间的分布距离,最后通过最小化分布距离计算模型变换。实验结果表明所提的KL-Reg算法配准精度高、稳定性强。

基于KL散度的雷达信号波形抗截获性能评估

该文给出了一种对13类常用雷达信号波形的抗截获性能进行评价的新方法,可为雷达波形的设计者提供评价波形抗截获性能的一般性准则。该准则假定白噪声信号具有最好的抗截获性能,通过将不同雷达信号波形和白噪声信号进行比较,得出雷达信号和白噪声的相似程度。首先,利用Wigner半圆法推出白噪声和雷达信号的特征分布函数,然后用KL散度来表示雷达信号和白噪声之间的相似性,较小的KL散度值,意味着较强的抗截获性能,反之亦然。理论推导和仿真验证表明这种评价准则可对不同雷达信号波形的抗截获性能进行有效评价。

基于KL-Ball的社区挖掘方法

针对邻接矩阵的稀疏特性,采用KL散度来计算网络节点间的距离,提出了一种基于KL-Ball的社区挖掘方法。该方法中,一个KL-Ball代表一个社区,它从质心、半径、互信息及密度4个方面来描述社区,其中质心决定了社区在网络中的位置,半径刻画了社区所能覆盖的范围,互信息度量了社区中包含节点的一致性,密度反映了社区包含节点的数量。给定一个半径,期望从复杂网络中寻找具有低信息、高密度的社区,低信息使得社区包含的节点具有较强的一致性,高密度使得一个社区具有较强的凝聚性。为此,定义了一个基于KL-Ball的社区挖掘目标函数,给出它的优化算法,并从理论上证明了该算法的收敛性。依据社区半径的大小及质心的位置,该算法可应用于非重叠社区挖掘以及重叠社区挖掘。实验结果表明,基于KL-Ball的社区挖掘方法可有效地挖掘网络中蕴含的社区结构,包括非重叠的社区及重叠的社区。

无偏KL散度算法对时空异常区间检测的优化研究

通过对多变量时空时间序列中异常的度量,可以从大量时空事件数据中检测出异常的数据部分。与孤立异常数据点检测采用的技术不同,提出了无偏KL散度算法(UKLD)。首先定义了时空时间序列中的异常区间,嵌入时间延迟后用高斯分布来估计检测区间和剩余区间的分布并通过累计和来加快高斯分布的参数估计过程,最后使用无偏KL散度计算区间之间的差异水平,将这种差异水平作为检测区间的异常得分从而得到时空异常区间。仿真分析结果表明,对比HOT SAX算法和RKDE算法,UKLD算法在精度方面更优,能更好地实现时空数据中的异常区间检测。

基于KL距离的KPCA人脸识别算法

针对核主成分分析(KPCA)人脸识别算法中对全局特征变化敏感和忽略局部特征的问题,研究了一种基于KL距离的KPCA人脸识别算法。利用KL距离定义了类间距离和类内差异,设定了一个非线性优化函数来最大化类间距离,同时最小化类内差异,使提取的特征更为紧凑可分,并将其应用于KPCA算法中,利用ORL人脸图像库对算法的性能进行了测试。实验结果表明,该算法相对于传统KPCA算法具有更好的识别效果和稳定性。