MAXIMUM POSTERIOR ESTIMATE AND ITS STATISTIC PROPERTIES

Based on an extended Gauss-Markov model where the unknown parameters has the prior normal distribution, this paper derives the maximum posterior estimate formulas of the parameters which are proved to be unbiased,efficient, and of variance of unit weight which is biased. Finally, the marginal maximum posterior estimate formula of the variance with unbiased and efficient , properties is derived.

基于最大间隔和流形假设的半监督学习算法

半监督学习是一种介于监督学习和无监督学习之间的弱监督学习模式,其在学习过程中将少量标记示例和大量未标记示例结合起来构建模型,以期取得比监督学习仅使用标记示例更高的学习精度。在该学习模式下,文中提出了一种将最大间隔准则和示例空间的流形假设思想相结合的半监督学习算法。该算法在利用示例流形结构估计未标记示例标记置信度的同时利用最大间隔准则构建分类模型,并采用交叉优化方法以迭代的方式交替地求解分类模型参数和标记置信度。在12个UCI数据集和4个由MNIST手写数字集生成的数据集上的实验结果表明,采用半监督直推学习方式,该算法的性能优于其他对比算法的情况为60.5%;采用半监督归纳学习方式,该算法的性能优于其他对比算法的情况为42.6%。

一种模糊双向最大间距准则人脸识别方法

研究提出一种模糊双向最大间距准则(fuzzy bidirectional maximum margin criterion,FBMMC)特征提取方法,并将其用于人脸识别。在FBMMC中,首先通过引入原始训练样本集的模糊隶属度矩阵,定义了面向图像的行方向模糊离散度矩阵和行方向模糊最大间距准则,进一步求得行方向最优投影矩阵;然后,对原始训练样本集中的每一个样本,采用行方向最优投影矩阵进行投影变换,从而得到行方向特征训练样本集。同样地,通过引入行方向特征训练样本集的模糊隶属度矩阵,给出了面向图像的列方向模糊离散度矩阵和列方向模糊最大间距准则的定义,进一步求得列方向最优投影矩阵。FBMMC在得到行、列两个方向的最优投影矩阵后,就可以将原始数据空间的样本数据投影到一个相对低维的特征空间,从而完成对原始样本数据的特征提取。在ORL和Yale人脸数据库上的实验结果表明,文中提出的模糊双向最大间距准则特征提取方法用于人脸识别具有较高的识别率。

基于MMC与CV模型的苗期玉米图像分割算法

针对苗期玉米田复杂土壤背景噪声,提出一种基于MMC(最大间隔准则)与CV(Chan-Vese)模型的玉米彩色图像分割算法。利用MMC对玉米彩色图像灰度化,用TV(全变分)滤波器对灰度图像进行去噪,用CV模型对去噪图像进行图像分割。试验结果表明,算法优于传统的颜色因子与Otsu组合算法,能有效去除图像中的小杂草和青苔,实现玉米目标提取,错分率为4.32%,漏分率为9.69%,相似度为86.57%。

一种基于核最大间距准则的硬件木马检测新方法

在功耗旁路信号统计模型的基础上,提出了一种基于核最大间距准则的硬件木马检测方法及改进的检测方法.将原始功耗旁路信号映射到高维空间,使其具有更高的可分性,然后再投影到低维子空间,从而发现原始数据中的非线性差异特征,实现功耗旁路信号的非线性特征提取与识别.针对AES加密电路中木马电路的检测实验表明,该方法测得超出检测边界的样本数(792)多于Karhunen-Loève变换(400),取得更好的检测效果.

基于双向二维最大间距准则的局部放电灰度图像特征提取

针对高压交联聚乙烯电力电缆中间接头绝缘缺陷的辨识问题,提出一种局部放电灰度图像特征提取的双向二维最大间距准则方法,对获取的局部放电灰度图像从水平和垂直2个方向进行投影,得到了不同类别灰度图的鉴别矢量,选用最近邻分类器进行局部放电分类,以辨识电缆中间接头出现的不同绝缘缺陷。该方法解决了局部放电灰度图像特征提取维数大、识别样本少的难题。在对实验室4种典型电缆接头绝缘缺陷产生的PD信号进行对比辨识表明,其局部放电特征提取的速度和绝缘缺陷的识别率优于常用的主成分分析或Fisher鉴别分析方法。

基于负荷裕度最大化的发电出力优化 (一)优化模型的提出

发电机有功出力方式优化是提高系统传输能力的主要控制手段。文中推导了负荷裕度最大点处有功出力方式的最优性条件,进而提出一种有功出力优化新模型。该模型将一个优化问题转换成一个非线性方程组的求解问题,为发电机有功出力优化在电压稳定中的应用奠定了一定的理论基础。通过构造极限曲面法向量与有功出力方式的灵敏度关系,并对参考点进行精心选择,准确地确定了最佳的发电机出力修正方向。

一种新的基于MMC和LSE的监督流形学习算法

针对局部样条嵌入算法(Local spline embedding,LSE)存在样本外点学习和无监督模式学习问题,本文提出了一种新颖的正交局部样条判别投影算法(O-LSDP).该算法通过引入明确的线性映射关系,构建平移缩放模型,以及正交化特征子空间,从而使该算法能够应用于模式分类问题并显著改善了算法的分类识别能力.在标准人脸数据库和植物叶片数据库上的实验结果验证了该算法的有效性与可行性.

基于最大间距准则(MMC)新的有效特征提取方法

基于最大间距准则(Maximum Margin Criterion,MMC)下,提出一组具有标准正交性的最佳鉴别矢量的计算方法和一组具有统计不相关性的最佳鉴别矢量的计算方法。这种方法的目的是寻求一组最佳鉴别矢量既要使投影变换后的特征空间的类间散度最大,而类内散度最小;又要减小最佳鉴别矢量间的统计相关性。与原MMC特征提取方法相比,新的特征提取方法降低了甚至消除了最佳鉴别矢量间的统计相关性,提高了识别率。通过分别在ORL人脸库和NUST603人脸库上实验结果表明提出的具有统计不相关性的MMC特征提取方法在识别率方面整体上好于原MMC特征提取方法和常用的主成分分析(PCA)法。另外,揭示了MMC准则特征提取与Fisher准则特征提取的内在关系。

具有模糊聚类功能的双向二维无监督特征提取方法

依据最大间距判别准则(Maximum margin criterion,MMC)的基本原理,并结合模糊技术和张量理论,提出一种矩阵模式的模糊最大间距判别准则(Matrix model fuzzy maximum margin criterion,MFMMC),并在此基础上形成具有模糊聚类功能的双向二维无监督特征提取方法(Two-directional two-dimensional unsupervised feature extraction method with fuzzy clustering ability,(2D)2UFFCA).该方法不但能直接实现矩阵模式数据的模糊聚类,而且还可以对矩阵模式数据进行双向二维特征提取,实现特征降维.同时我们还从几何的直观含义出发,合理地设定矩阵模式的模糊最大间距判别准则中的调节参数γ,并从理论上证明其合理性.为了提高特征提取的效率,还提出一种能有效计算矩阵模式数据的投影变换矩阵的方法.实验结果表明该方法具有上述优势.

一种适用于小样本问题的基于边界的特征提取算法

特征提取技术是模式识别领域进行数据降维和强化判别信息的有效方法．线性判别分析是监督特征提取方法的典型代表,获得广泛应用,但受到小样本问题的制约．对此提出一种适用于小样本问题的基于边界的特征提取算法．算法利用高维数据小样本情况下线性可分概率增加以及其低维投影趋于正态分布的特点,定义了新的类别边界,不但考虑了由线性判别分析提出的类内、类间离散度,也兼顾各类别的方差差异性．通过极大化该边界获得最优投影向量,同时避免因类内离散度矩阵奇异导致的小样本问题．进一步将算法推广到多类问题．高光谱数据特征提取与分类实验表明,算法在小样本情况下对于两类和多类问题均具有良好的推广性能,优于多种线性判别分析的改进算法,并且在样本较多时也取得了满意结果．

分块MMC及其在人脸识别中的应用

用最大间距准则(Maximum Margin Criterion,MMC)算法进行特征提取时,提取的是全局的特征,对局部的特征不能有效地抽取。因此,对MMC算法进行改进,提出一种基于分块MMC(Modular Maximum Margin Criterion,MMMC)的人脸识别方法。首先对图像矩阵进行分块,然后对分块后的矩阵进行MMC特征抽取,对每一子块抽取的特征进行整体融合,最后采用最近邻判决准则进行分类识别。在ORL、Yale人脸图像库进行的实验结果表明,新算法相比于MMC算法有更好的识别性能。

基于最大间距MFA的鉴别分析

针对边界Fisher分析(MFA)所面临的小样本问题,本文基于最大间距准则(MMC),提出了一种基于最大间距的边界Fisher分析(MMMFA)算法。该方法利用描述类间数据可分性的相似度矩阵与描述类内数据紧致性的相似度矩阵之差作为鉴别准则,从而避免了MFA鉴别分析所遇到的小样本问题。然后探讨了本文算法与传统的线性降维算法,如PCA、LDA和LPP算法之间的联系。理论分析表明,PCA、LDA和LPP算法都是本文算法的特殊情况。另外,为了进一步提高本文算法的运行效率,提出了一种基于QR分解的MMMFA求解算法。在ORL和Yale人脸数据库上的实验表明,MMMFA算法性能明显优于PCA、LDA、LPP和MFA等算法。

基于稀疏保持判别嵌入的人脸识别

最近,人们对高维数据(例如人脸图像)潜在的稀疏表征结构有很大兴趣。提出一种称为稀疏保持判别嵌入(SPDE)新降维算法,该算法在稀疏保持投影(SPP)的目标函数中增加了改进的最大间距准则(MMMC)。SPDE保留了SPP的保持稀疏结构特性,利用了MMMC的全局判别结构。SPDE合并了稀疏准则和Fisher准则,具有更强的判别力,尤其训练集小的时候,更适合于人脸识别任务。SPDE能够自然地避免小样本问题并且计算是有效的。在3个公共人脸数据库(ORL、Yale以及FERET)上的实验结果表明SPDE对人脸识别是有效的和可行的。

基于IRT若干参数估计方式的比较

在项目反应理论(IRT)框架下,就目前流行的若干能力参数和项目参数的估计方法进行分析比较,阐述了它们各自适用的范围和不足之处,为选用估计方法提供依据.

基于负荷裕度最大化的发电出力优化(二)模型求解

在修正方向已知的条件下,首先建立了修正步长的优化模型,并通过对前后2次出力方式修正角度的限制,使模型只需进行一次迭代即可确定较优的修正步长,在保证收敛精度的同时大大减小了计算量;然后通过已知的修正方向和步长更新发电机出力方式,并在新的发电机出力方式下重新计算崩溃点,通过交替迭代使负荷裕度和发电机出力方式逐步收敛于最优值。在多个IEEE标准算例上验证了所提出方法的快速、有效性,并根据仿真结果对有功出力优化在提升系统负荷裕度方面的作用进行了总结。

基于大间距准则和图像矩阵双向投影的人脸特征提取方法

传统基于降维技术的人脸特征提取需要将图像转换成更高维的向量,从而加剧维数灾难问题,对于采用Fisher优化准则的特征提取,这也会使小样本问题更加突出.基于图像的矩阵表示,本文提出了一种新的基于大间距准则和矩阵双向投影技术的人脸特征提取方法(Maximum margin criterion and image matrix bidirectional projection,MMC-MBP).该方法一方面在计算散度矩阵时引入了能保持数据局部性的Laplacian矩阵,以保持数据的流形结构,从而提高识别正确率;另一方面采用了有效且稳定的大间距的优化准则即最大化矩阵迹差,能克服利用Fisher准则所带来的小样本问题;更重要的,MMC-MBP方法给出了求解最优双向投影矩阵的迭代计算过程,该迭代求解过程能保证目标函数的单调递增性、收敛性以及投影矩阵的收敛性,从而成功解决了传统基于张量(矩阵)投影技术的特征提取方法特征维数过高或者无收敛解的问题.最后广泛而系统的人脸识别实验表明,MMC-MBP的迭代求解过程能很快收敛,且相比Eigenfaces,Fisherfaces,Laplacianfaces等脸识别方法,具有更高的识别正确率,是一种有效的人脸特征提取方法.

集成学习算法的研究与应用

集成学习算法的思想就是集成多个学习器,并组合它们的预测结果,以形成最终的结论。典型的学习模型组合方法有投票法,专家混合方法,堆叠泛化法与级联法,但这些方法的性能都有待进一步提高。提出了一种新颖的集成学习算法--增强的集成学习算法(ReinforcedEnsemble)。ReinforcedEnsemble集成算法由两大部分组成:ReinforcedEnsemble特征提取算法与ReinforcedEnsemble基分类器。通过实验,将ReinforcedEnsemble算法与其他集成学习算法进行了性能比较。实验结果表明,所提出的算法在多项指标上均达到最优。

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构,引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法,该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题;更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余,因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集,这样做,对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定,与LPP、LDA(Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率。