从希尔伯特-施密特独立性中学习的多标签半监督学习方法

基于希尔伯特-施密特独立性提出了一种新的半监督学习方法,称为最大化依赖性多标签半监督学习方法(dependence maximization multi-label semi-supervised learning method,DMMS)。该方法将样本已有标签作为约束,以最大化特征集和标签集的关联性为目标,通过求解一个线性系统为无标签数据打上标签,具有实现简单,无参(nonparameter)的特点。多个真实多标签数据库的实验表明,DMMS与最好的多标签学习方法,包括多标签近邻(multi-label k-nearest neighbor,MLKNN)和图半监督学习方法具有类似的识别效果。

基于核统计独立性准则的特征选择研究综述

希尔伯特-施密特独立性准则(Hilbert-Schmidtindependencecriterion,HSIC)是一种基于核函数的独立性度量标准,具有计算简单、收敛速度快和偏差低等优点,广泛应用于统计分析和机器学习问题中。特征选择是一种有效的降维技术,它能评估特征的重要性,并构造适合学习任务的最优特征子空间。系统综述了基于HSIC的特征选择方法,详细介绍了其中的理论基础、算法模型和求解方法,分析了基于HSIC的特征选择的优点与不足,并对未来的研究做出展望。

基于伪标签依赖增强与噪声干扰消减的小样本图像分类

深度学习在图像分类领域的成功很大程度上依赖于大规模数据,然而在许多应用场景中,收集足够的数据用于模型的训练是比较困难的。因此,旨在利用有限的数据获得高性能模型的小样本学习成为热点研究方向。在小样本图像分类领域,使用无标签数据来扩充训练数据集是一种常用的方法,但该方法面临两个亟待解决的难题:如何获取无标签数据的伪标签以及如何减轻噪声标签累积的负面影响?首先,为获得高质量的伪标签,需要解决由源域和目标域的分布偏移导致的噪声标签问题,因而提出基于希尔伯特-施密特独立准则(Hilbert-Schmidt Independent Criterion,HSIC)的依赖增强方法,通过最大化图像特征表示与标签之间的相关性,从而提高伪标签的预测可靠度。其次,为克服标签预测误差随着时间推移不断累积的问题,提出噪声标签干扰消减(Noise Label Interference Reduction,NLIR)方法,确保具有正确标签的样本的梯度始终主导着训练动态,从而将模型引向最优解。所提方法在小样本图像分类基准数据集mini-ImageNet和tiered-ImageNet上进行了评估,实验结果表明,该方法能够很好地利用无标签数据提升分类精度,具有良好的分类性能。

基于特征加权和梯度融合的领域泛化研究

当下,深度学习图片分类训练的模型已经达到了相当高的精度。但是,在将训练完成的深度学习模型部署到实际场景的准确率并不理想。如果想保证比较优秀的模型效果,还要求测试数据和训练数据具有相似的分布,即具有独立同分布性。为了解决训练数据与实际应用数据的分布差异下迁移模型性能不佳的问题,本研究通过结合不同域的训练梯度和通过训练权重消除特征之间的依赖关系来解决深度学习模型局限于类似分布的特性。通过实验表明,本研究的效果在两个数据集的泛化效果上具有突出表现。

多样性诱导的潜在嵌入多视图聚类

目前,多视图子空间聚类在模式识别和机器学习领域得到了广泛的研究.以前的多视图聚类算法大多将多视图数据划分在其原始特征空间中,其功效在很大程度上隐式地依赖于原始特征呈现的质量.此外,不同视图包含同一对象的特定信息,如何利用这些视图恢复潜在的多样性信息对后续聚类尤其重要.为了解决上述问题,提出一种多样性诱导的潜在嵌入多视图聚类方法,使用特定于视图的投影矩阵从多视图数据中恢复潜在嵌入空间.考虑到多视图数据不同视图之间的多样性信息,采用经验的希尔伯特施密特独立准则约束特定于视图的投影矩阵,将潜在嵌入学习、多样性学习、全局相似性学习和聚类指标学习整合在同一框架中,还设计了一种交替优化方案来有效处理优化问题.在几个真实的多视图数据集上的实验表明,提出的算法具有一定的优势.

基于k-近邻局部线性邻域重建的多视角聚类算法

多视图聚类旨在利用不同视图间互为差异、互相补充的信息对数据对象进行聚类,如何融合不同视角的数据是多视角聚类算法的重要问题之一。为了能更准确有效地刻画视角间的相似关系,提出一种基于k-近邻局部线性邻域重建的多视角聚类算法。首先,利用数据点间的距离分配概率近邻,得到各视角数据对应的相似矩阵;其次,通过引入k-近邻,对各视角相似矩阵进行局部线性邻域重建后融合为统一的相似矩阵;同时,引入HSIC刻画不同视角的多样性。通过将统一图的学习与多样性学习整合在统一的框架中,本模型有能力输出一个包含了各视图多样信息的融合图。通过交替迭代算法,所提模型可以被很好地优化。多个公开数据集上的对比实验证明了所提出算法的有效性优于其他已有算法。

多样性表示的深度子空间聚类算法

针对深度子空间聚类问题中不同层次特征中互补信息挖掘困难的问题,在深度自编码器的基础上,提出了一种在编码器获取的低层和高层特征之间探索互补信息的多样性表示的深度子空间聚类(DRDSC)算法。首先,基于希尔伯特-施密特独立性准则(HSIC)建立了不同层次特征衡量多样性表示模型;其次,在深度自编码器网络结构中引入特征多样性表示模块,从而挖掘有利于提升聚类效果的图像特征;此外,更新了损失函数的形式,有效融合了多层次表示的底层子空间;最后,在常用的聚类数据集上进行了多次实验。实验结果表明,DRDSC在数据集Extended Yale B、ORL、COIL20和Umist上的聚类错误率分别达到1.23%、10.50%、1.74%和17.71%,与高效稠密子空间聚类(EDSC)相比,分别降低了10.41、16.75、13.12和12.92个百分点;与深度子空间聚类(DSC)相比,分别降低了1.44、3.50、3.68和9.17个百分点,说明所提出的DRDSC算法有更好的聚类效果。

基于非负矩阵分解的均方残差多视图聚类算法

针对高维海量数据,现有的多视图聚类方法存在无法发现高维视图隐藏信息、聚类效果差等问题。结合均方残差(Mean Squared Residue, MSR)思想,提出了一种基于非负矩阵分解的均方残差多视图聚类方法(Mean Squared Residue Non-negative Matrix Factorization, MSRNMF)。首先,采用改进的非负矩阵分解方法结合流形学习、希尔伯特-施密特独立性准则计算各单视图的系数矩阵,不仅降低了多视图中各个视图的维度,而且有效地提取了高维数据中的隐藏信息;其次,采用谱聚类算法对各单视图的系数矩阵进行聚类,获得单视图聚类簇;接着,利用均方残差思想,针对各单视图聚类结果进行融合,得到最终多视图聚类结果;最后,以标准数据集和古建数据集为对象进行验证,实验结果表明该算法在精度上优于MVCF,GPSNMF,GPMVNMF,DMF和MCLES,在古建筑集上效果明显,进而验证了算法的有效性。

基于最大化依赖的恐怖行为背景特征提取方法

针对恐怖数据集中存在的属性值残缺问题,提出了基于最大化背景向量与行为之间依赖关系的压缩背景空间(CCS)方法。该方法基于希尔伯特-施密特独立标准和希尔伯特-施密特范数,它们能有效检测变量间的关联性。CCS通过使得背景向量线性投影后的低维特征与行为之间希尔伯特-施密特范数最大化,从而实现背景向量与行为之间的依赖关系最大化,更好地发现两者之间的关联性,减小属性值残缺带来的影响。然后利用分类模型(如支持向量机(SVM))对所得到的低维特征进行学习(CCS+SVM),实现高效预测。在MAROB数据集上的实验表明:与SVM模型、基于传统特征提取方法(如PCA和CCA)的SVM模型以及已有的恐怖行为预测算法CONVEX相比,CCS+SVM的性能在查全率和F值上分别提高1.5%和1.0%以上,而查准率和ROC曲线下面积(AUC)值与最好性能相当。实验结果表明,CCS+SVM能够较好地解决恐怖数据集中的属性值残缺问题。

一种新的多标记特征提取方法

针对已有多标记特征提取方法并未充分利用特征信息的问题,提出了基于希尔伯特-施密特独立标准和主成分分析的多标记特征提取方法.该方法通过使标记与降维后特征之间希尔伯特-施密特范数达到最大,以充分利用标记知识;同时利用主成分分析,以尽量减少特征提取过程中的协方差信息损失.通过在Yahoo数据集上的实验表明,该算法的性能优于主成分分析和当前3种主要的多标记特征提取方法,验证了该算法的有效性.

基于Copula熵的变量选择

在要求可解释性的机器学习和统计应用中,变量选择对分类和回归任务十分重要.本文提出了一种基于Copula熵的变量选择方法,利用Copula熵值的阶次选择变量.本方法既是模型无关的又是参数无关的.在UCI心脏病数据的基础上进行了本方法与传统变量选择方法(包括距离相关、希尔伯特-施密特独立性准则、逐步选择、正则化广义线性模型和自适应LASSO)的对比实验.实验结果表明,基于Copula熵的方法能够更有效地选择‘正确'的变量,在不牺牲准确性性能的同时得到比传统方法更具可解释性的模型.

一种基于嵌入式的弱标记分类算法

对于高维标签的分类问题,标签嵌入法已经受到广泛关注.现有的嵌入方法大都需要完整的标签信息,也没有将特征空间考虑在内;同时,由于数据进行人工标注的成本高以及噪声干扰等原因,仅能获得数据的部分标签信息,使得含有缺失标签的高维标签分类问题变得更加复杂.为解决这一问题,提出一种弱标记嵌入算法(Label Embedding for Weak Label Classification,LEWL).该算法利用矩阵的低秩分解模型,结合样本的流形结构恢复缺失标签;同时采用希尔伯特‐施密特独立标准技术(Hilbert‐Schmidt Independence Criterion,HSIC)使特征和标签相互作用,联合学习获得一个低维的嵌入空间,可以有效地减少模型的训练时间.通过在七个多标签数据集上与其他算法的对比实验,结果表明了所提算法的有效性.

一种基于多视角聚类的离群检测算法

复杂数据集通常包含不同的组织模式,传统的离群检测算法从单一视角寻找离群点,不能充分利用多视角信息,造成信息遗漏。提出一种基于多视角聚类的离群检测算法,该算法一方面采用谱聚类,以确保高质量的聚类结果;另一方面通过希尔伯特-施密特独立性准则,以确保新的聚类结果相对于已知划分模式是无冗余的。对得到多个视角进行离群分析,从而得到更准确的离群集。研究结果表明,该算法能够提高离群检测精度。

加速多标签特征提取的内核依赖最大化

多标签降维的内核依赖最大化(kMDDM)是近年来提出的一种处理高维多标签数据的方法。为了产生可判别的投影向量,kMDDM利用希尔伯特-施密特独立性准则来获取特征描述和相关标签之间的依赖关系。然而kMDDM的计算涉及到密集矩阵特征分解问题。众所周知,这对于大规模问题的计算成本很高。在文中将原kMDDM转化为最小二乘方问题从而利用共轭梯度算法来大大减少计算量。此外,还将有效正则化技术合并至最小二乘模型用以提高泛化性能并依据基准数据收集进行的大量试验来验证所提出的模型的有效性。