一种非线性新相关信息熵定义及其性质、应用

在研究了相关信息熵和H_(Pal)熵的基础上,提出一种以特征值代替事件发生的概率且以e为底的指数函数形式的改进的非线性新相关信息熵概念.在对有限集最大划分的条件下,推导并从理论上证明了该信息熵的若干性质,这些性质满足香农熵的基本性质.新相关信息熵是一种度量多变量、非线性系统的相关性程度大小的标准.作为多变量之间相关关系的不确定性度量,变量间的相关程度越大,对应的新相关信息熵值越小.新相关信息熵的提出有助于信息融合并为相关分析理论的研究提供了一种新方法和新思路.新相关信息熵和相关信息熵的应用实例结果对比说明新相关信息熵是一种有效且有用的度量非线性系统不确定性的方法.

基于相关信息熵和CNN-BiLSTM的工业控制系统入侵检测

入侵检测技术旨在有效地检测网络中异常的攻击,对网络安全至关重要.针对传统的入侵检测方法难以从工业控制系统通信数据中提取有效数据特征的问题,提出一种基于相关信息熵和CNN-BiLSTM的入侵检测模型,该模型将基于相关信息熵的特征选择和融合的深度学习算法相结合,因此能够有效去除噪声冗余,减少计算量,提高检测精度.首先针对不平衡样本等问题进行相应预处理,并通过基于相关信息熵的算法进行特征选择,达到去除噪声数据和冗余特征的目的;然后分别运用卷积神经网络(CNN)和双向长短期记忆神经网络(BiLSTM)从时间和空间维度提取数据特征,通过多头注意力机制进行特征融合,进而得出最终检测结果;最后通过单一变量原则和交叉验证方式获得最优的模型.通过与其他传统入侵检测方法实验对比得出:该模型具有更高的准确率(99.21%)和较低的漏报率(0.77%).

一种基于相关信息熵的多标签分类算法

在多标签分类中,标签之间的相关关系是一个重要的因素。为了利用标签之间的相关关系,文章提出了一种基于相关信息熵的多标签分类算法,使用相关信息熵来衡量标签之间相关关系的强弱程度。首先找出相关信息熵值最大的k标签组合的集合,然后使用LP(Label Powerset)分类器对每一个标签组合进行训练。在7个不同实验数据集上的实验结果表明:文中提出的算法的分类性能在其中的大部分数据集上优于其它对比的分类算法,而其它对比的分类算法仅在某一个数据集上优于文中提出的算法。

基于相关信息熵的传感器故障检测研究

针对连续性过程系统中存在的大量强相关关系测点,根据测量数据间的关联特性,提出了一种应用相关信息熵进行传感器故障检测的方法。理论和实验分析证明,该方法具有简便、直观的传感器故障检测特点,较适合工程实际应用。

基于相关信息熵和粒子群算法的特征选择方法

为了在特征选择中获得具有较高分类准确率的特征子集,考虑特征之间、特征与类别的相关性对于其类间区分能力的影响,提出了一种基于相关信息熵的特征排序消除法和二进制粒子群算法相结合的特征选择算法。本算法先采用相关信息熵特征排序算法,对数据集进行特征重要度排序,选取SVM作为分类器,快速去掉部分无关特征,初步缩减数据纬度,然后以改进的粒子群算法继续搜索最优子集,将排序算法得到的优良子作为粒子群算法的部分初始种群,使后续粒子群算法有一个较好的搜索起点。实验结果表明,采用该方法筛选出来的特征自己具有更好的分类性能,并且有效降低了系统的检测时间。

基于信噪比和相关信息熵的彩色图像隐写检测特征选择方法

彩色图像隐写检测方法在提取特征的时候带来大量的冗余特征,降低了检测精度.在特征选择中,信息论方法是将特征相关性和冗余性进行分割判断,无法判断整个特征子集的组合效应.因此,将相关信息熵引入到彩色图像隐写检测特征选择中,提出了一种基于信噪比和相关信息熵的彩色图像隐写检测特征选择方法.首先,使用信噪比度量彩色图像的每一维隐写检测特征对样本分类的贡献度,去除不相关特征获得预处理子集;然后,利用相关信息熵度量彩色图像隐写检测特征之间的独立性和冗余程度,设计了一种特征排序算法对预处理子集进行特征重要度排序,使用集成分类器剔除冗余特征,以得到最终约简子集.实验结果表明,所提方法能在不影响检测精度的同时有效降低特征维数,且优于C-FNCES、CGSM和Steganalysis-α隐写检测特征选择方法.

二维相关信息熵的研究与应用

为解决二维相关信息熵的计算问题，本文建立了一种二维相关信息曲线熵，并将文［３］提出的传递熵拓宽到二维，扩大了熵在决策中的应用范围。

基于非线性相关信息熵的SAR图像多分辨率选择及目标识别

针对合成孔径雷达(SAR)目标识别,提出一种联合非线性相关信息熵(NCIE)和多分辨表示的方法。采用NCIE对原始SAR图像的多分辨率表示进行选择,获得内在相关较强的若干分辨率。然后,采用联合稀疏表示对选取的多分辨率样本进行联合表征和分类。实验中,以MSTAR数据集为基础设计多种操作条件对不同方法进行测试,结果表明了所提方法的有效性。

一种基于信息熵的数据预处理技术

神经网络是数据挖掘领域中的重要研究课题.针对水文数据不规则和非线性的数据特征,提出了一种基于信息熵的数据预处理方法,使用了基于改进的BP神经网络模型.该模型采用计算范围熵的熵值的方法,遍历查找替换输入变量,使得输入数据集的变量间线性关系减弱,非线性关系增加,熵值增大,达到提高水文预测精度的目的.在实际的预测中基于相关信息熵的改进神经网络模型的预测效果优于传统预测模型.

稀疏相关指数在SAR图像特征选择中的应用

采用正则化多任务稀疏表示(RMTSR)模型,即在多个特征域中进行图像稀疏表示,并约束稀疏向量的结构相同的方法,可实现SAR图像目标识别,但多特征的弱关联可能导致模型的目标识别正确率较低。将稀疏相关指数(SCI)用于衡量任务关联强弱,然后推导出非线性相关信息熵(NCIE),选择相关性强的特征组合。最后,在MSTAR数据集上进行实验,从特征冗余性和目标识别性能两个方面分析基于SCI的特征选择方法。结果表明:训练样本减半时,选择的特征组合能达到91.09%的识别正确率;训练样本为1/4时,识别正确率为89.89%。

NCIE在多特征选择及SAR目标识别中的应用

针对合成孔径雷达(SAR)图像目标识别问题,采用非线性相关信息熵(NCIE)进行多特征选取进而实现分类。基于混合高斯模型对SAR图像提取的各类特征进行概率建模,采用KL散度评价不同特征之间的相似度。采用非线性相关信息熵评价不同特征组合的相关性,根据最大熵值确定最优特征组合。对于选取的多类特征,基于联合稀疏表示模型进行表征和分类。利用MSTAR数据集对提出方法在标准操作条件和扩展操作条件下进行测试,结果验证了其有效性。

带反馈输入BP神经网络的应用研究

为了有效解决具有非线性特征的水文预报精准度的问题,通过对反向传播BP神经网络的学习和研究,分析了变量间的相互信息,提出了系统间相关信息熵的概念,并建立了适合水文预测的自迭代反向传播神经网络模型。该模型通过对迭代因子的及时修正,在反向传播中不断调整网络的权值和阈值,从而在很大程度上改善了传统BP算法所带来的不足,提高了预测的精度。实际的应用研究表明,自迭代反向传播模型的预测效果优于传统预测模型。

三元变量间一维流形依赖关系的检测

最大信息系数(Maximum Information Coefficient,MIC)能够很好的检测成对变量间的线性和非线性依赖关系,但却不能直接用于检测三元变量间的相关关系.基于MIC的思想和全相关的概念,本文提出了一种直接检测三元变量间一维流形依赖关系的方法—最大全相关系数(Maximal Total Correlation Coefficient,MTCC).MTCC用落在[0,1]区间上的值来表明三元变量间一维流形依赖关系的强弱,其中0和1分别表示最弱和最强的依赖关系.使用MIC的计算策略,本文还提出了一种有效的动态规划方法来近似计算MTCC的值.仿真实验说明MTCC与非线性相关信息熵(Nonlinear Correlation Information Entropy,NCIE)相比具有更好的通用性和公平性,真实数据的分析验证了MTCC的实用性.最后,强调了其专用性.

贝叶斯序贯重要性积分滤波器

为解决非线性滤波中存在模型歧义和预测偏差情况下似然函数、目标重要性密度函数和实际目标分布不匹配的问题,提出了贝叶斯序贯重要性积分滤波器(Bayesian Sequential Importance Quadrature Filter,SIQF).为了消减贝叶斯推理中似然函数和目标分布之间的偏差,通过空时软约束定义最新观测的有界似然,截断观测噪声概率密度函数以近似可行域的修正先验.为了调制重要性函数和目标分布的匹配程度,并行对修正和原始先验下的状态进行Gauss-Hermite积分,引入最大相关信息熵构建覆盖多模分布的重要性函数,从而提升序贯重要性采样的多样性和预测协方差的容错性.实验结果表明:相比无迹粒子滤波估计一维单变量增长模型,SIQF算法在无需牺牲计算复杂度的情况下平均误差减小了63%;相比多模型Rao-blackwell粒子滤波器跟踪空域机动目标,SIQF算法的均方根误差减小了33%,所需计算量降低了一个数量级.

多类别肿瘤基因表达谱的自动特征选择方法

从信息学角度出发寻找肿瘤相关基因、发现肿瘤基因表达特征对肿瘤的诊断和治疗具有重要的生物学意义,而肿瘤与正常组织的分类是其中一个重要应用。根据多类别肿瘤基因表达谱,提出了一种自动特征选择方法。首先,结合非参数方法和filter思想,利用决策序列的随机性度量基因的权值并排序;然后,采用相关信息熵进行冗余性排除,自动地选择出具有高分辨能力、低冗余度的特征基因子集。实验结果表明,提出的方法能从多类别肿瘤基因表达谱数据中自动选出30个具有良好分类能力的特征基因,且具有较高的正确识别率。

基于性能数据的产品退化风险评估

风险优先数(RPN,Risk Priority Number)的风险因子由专家打分确定,主观性强。同时,评估过程依赖于失效数据,而高可靠性产品通常难以获取充足的失效数据进行风险评估。为了客观、有效地评估高可靠性产品的失效风险,提出了一种的改进RPN方法。根据退化数据建立产品的Gamma退化模型,推测退化失效的发生概率,评估退化失效模式的发生频度O;用非线性相关信息熵分析产品的性能数据,评估退化失效模式发生对产品功能的影响程度,以此衡量退化失效模式的严重度S;以发生频度和严重度的乘积作为RPN值衡量产品的退化风险。最后,以谐波齿轮为例,验证了该方法的正确性和有效性。

基于最大熵准则的多视角SAR目标分类方法

针对合成孔径雷达(Synthetic aperture radar,SAR)目标分类问题,提出基于最大熵准则的多视角方法。采用经典的图像相似度测度构建不同视角SAR图像之间的相关性矩阵,在此基础上分别计算不同视角组合条件下的非线性相关信息熵值。非线性相关信息熵值可分析多个变量之间的统计特性,熵值的大小即可反映不同变量之间的内在关联。根据最大熵的原则选择最优的视角子集,其中SAR图像具有最大的内在相关性。分类过程以联合稀疏表示为基础,对具有最大熵值的多个视角进行联合表示。联合稀疏表示模型同时处理若干稀疏表示问题,在它们具有关联的条件下具有提升重构精度的优势。根据不同视角求解得到的表示系数,按照类别分别计算对于选取多视角的重构误差,并根据误差最小的准则进行最终决策。文中方法可有效对多视角SAR图像样本进行相关性分析,并利用联合稀疏表示利用这种相关性,能够更好提高分类精度。采用MSTAR数据集对方法进行分析测试,通过与几类其他方法在多种测试条件下进行对比,结果显示了最大熵准则在多视角选取中的有效性和文中方法对SAR目标分类性能的优越性。

相关近似熵及在传感网数据故障检测中的应用

针对模糊近似熵方法在生成时间序列数据特征过程中出现的依赖参数较多和计算复杂度较高的问题,提出了相关近似熵方法,并应用在传感网数据故障检测中.相关近似熵方法采用相关信息熵来计算向量空间中多维数据之间的相关度,通过计算向量空间在其维数由M维增加到M+1维时多维数据之间保持相关性的概率来判定一个时间序列的复杂程度.相对于模糊近似熵,相关近似熵方法将依赖参数从4个减少到了2个,并减小了计算复杂度.实验结果表明:相关近似熵生成的特征在大多数情况下显著优于模糊近似熵生成的特征,并且相关近似熵方法大幅度地缩短了传感器数据特征的生成时间.

一种探测多变量数据集中非线性相关性的新方法

为使最大信息系数(MIC)适用于多变量数据集,给出了一种方法,该方法首先将数据集中的多个变量合并为两个变量,并且穷尽所有的合并方式.然后使用MIC来评估降维后的双变量数据集的非线性相关性.最后将所有可能的合并方式下产生的MIC值的最大值作为最终结果.由此,即得到了一种评估多变量数据集中非线性相关关系强度的新方法.理论分析表明,该方法能够有效反映原始数据集中非线性相关性强度.此外,相较于非线性相关信息熵(NCIE),该方法能够给出更明确的结果,从而是一种更优异的非线性相关性测度.

基于稀疏表示系数相关性的特征选择及SAR目标识别方法

针对多特征决策融合的合成孔径雷达(SAR)的问题,提出基于稀疏表示系数相关性的特征选取方法。采用稀疏表示分类(SRC)分别对各单一特征进行系数矢量的求解并定义两个系数矢量之间的相关性。以此为基础,通过构造互相关矩阵,求解非线性相关信息熵,获得最佳的特征组合。最后,采用联合稀疏表示考察选取的多特征之间的稳定内在关联。根据重构误差的大小判定测试样本的目标类别。基于MSTAR数据集在标准操作条件、型号差异和俯仰角差异的三种实验场景下对方法进行了测试,本文方法的平均识别率分别达到99.23%、96.86%、97.46%(30°俯仰角)和74.64%(45°俯仰角)。通过与现有的3类SAR目标识别方法进行对比,进一步验证了本文方法的有效性和稳健性。