分布式稀疏软大间隔聚类

虽然软大间隔聚类(Soft large margin clustering,SLMC)相比其他诸如K-Means等算法具有更优的聚类性能与某种程度的可解释性,然而当面对大规模分布存储数据时,均遭遇了同样的可扩展瓶颈,其涉及的核矩阵计算需要高昂的时间代价。消减此代价的有效策略之一是采用随机Fourier特征变换逼近核函数,而逼近精度所依赖的特征维度常常过高,隐含着可能过拟合的风险。本文将稀疏性嵌入核SLMC,结合交替方向乘子法(Alternating direction method of multipliers,ADMM),给出了一个分布式稀疏软大间隔聚类算法(Distributed sparse SLMC,DS-SLMC)来克服可扩展问题,同时通过稀疏化获得更好的可解释性。

基于高斯神经元的自组织映射网络研究

自组织映射网络(Self-organizing map network,SOM)是一种经典的无监督学习方法,具有自组织和联机学习功能。由于其简明与实用等特点,不断涌现出SOM变体以适应各类问题。然而,这些工作基本都采纳了确定性神经元建立网络,忽略了数据本身隐含的不确定性信息,导致这些模型的结果缺乏由置信度反映的可解释性,意味着SOM神经元的不确定性刻画能力不足。本文提出了一种高斯神经元SOM网络(Ganssian neuron som network,GNSOM),其神经元节点不再是确定性的,而是建模为高斯分布的高斯神经元,为SOM配备了不确定性功能用于表述数据的不确定性。在实现时,将输入数据同样高斯化,并用Jensen-Shannon(JS)散度代替SOM学习中的欧氏距离作为GNSOM学习中的相似性匹配度量,由此获得了不确定性表示。实验结果表明,GNSOM具有更好的训练效果,并能通过神经元节点的协方差矩阵反映数据的不确定性。由于这种对神经元的高斯化独立于SOM本身,因此能拓展应用于其他神经元模型。

自监督增广的监督分类学习增强

借助预置任务创建的免费监督信号/标记,自监督学习(SSL)能学得无标记数据的有效表示,并已在多种下游任务中获得了验证.现有预置任务通常先对原视图数据作显式的线性或非线性变换,由此形成了多个增广视图数据,然后通过预测上述视图或变换的对应标记或最大化视图间的一致性达成学习表示.发现这种自监督增广(即数据自身与自监督标记的增广)不仅有益无监督预置任务而且也有益监督分类任务的学习,而当前鲜有工作对此关注,它们要么将预置任务作为下游分类任务的学习辅助,采用多任务学习建模;要么采用多标记学习,联合建模下游任务标记与自监督标记.然而,下游任务与预置任务间往往存在固有差异(语义,任务难度等),由此不可避免地造成二者学习间的竞争,给下游任务的学习带来风险.为挑战该问题,提出一种简单但有效的自监督多视图学习框架(SSL-MV),通过在增广数据视图上执行与下游任务相同的学习来避免自监督标记对下游标记学习的干扰.更有意思的是,借助多视图学习,设计的框架自然拥有了集成推断能力,因而显著提升了下游分类任务的学习性能.最后,基于基准数据集的广泛实验验证了SSL-MV的有效性.

部分域适应研究综述

域适应通过将源域知识迁移到任务相似的目标域,旨在辅助后者更好地学习.当目标域的数据标签集为源域标签的子集时,该类场景的域适应称为部分或偏域适应(partial domain adaption,PDA).相比一般的域适应,尽管PDA更具普遍性,但也更具挑战性,相关研究较少,尤其缺少系统的综述.为此,旨在弥补这一欠缺,对现有PDA方法进行全面回顾、分析和总结,为相关社区提供主题研究概貌和参考.首先针对PDA背景、概念和应用领域进行概况总结.其次,根据方法的建模特点,PDA被划分为促进正迁移和抑制负迁移两大类,进而分别作出回顾和分析.然后,对常用的实验基准数据集进行归类和总结.最后,对现有PDA工作存在的问题进行了分析,并提出了其未来可能的发展方向.

结构与纯度结合的新型决策树分裂准则

决策树(Desision tree,DT)生长关键步骤的分裂或分叉准则通常根据纯度和误分类误差等实现,分裂生长分为轴平行和非轴平行方式。这些分裂准则一般与数据内在结构(如类别是否是多簇或单簇组成)无关。为了弥补这一缺失,本文提出了两种混合分裂准则,分别用加权和两步法将同类内的节点间距(Between-node margin within the same class,BNM)和同一节点内的类紧性(Within-class compactness and between-class separation in the same inner node,CSN)与纯度度量相结合。由于传统决策树以贪婪方式生长,仅能确定出当前的一个局部最优分裂点,为改善这个缺点,本文首先根据纯度确定出前k个候选分裂点,然后通过最大化BNM和最小化CSN确定最终的分裂点,不仅缓和了纯度上的局部最优性,而且引入了数据结构的全局性,因此能较大程度地改进后代节点的分裂,增强树的泛化性和可解释性。将上述两种分裂准则组合还可以进一步提升性能。在21个标准验证数据集上的比较结果表明:新准则下的决策树不仅提高了预测性能、降低了复杂性,而且相比于其他采用混合分裂准则的DTs更具竞争力。

图像的模糊识别方法研究与实现

分类器设计的好坏对于图像识别效果有着重要影响 .本文基于黄等所提出的识别方法 ,定义了一类更广泛的隶属函数 ,并借助于投影算子理论、子空间理论 ,对所提隶属函数的性质进行了深入的理论分析 ,证明了所提隶属函数所具有的若干良好特性 ,证实了所设计的分类器是二次非线性分类器 .最后 ,设计了从特征抽取到识别的整个流程 ,并应用于人脸识别 .实验结果表明 。

复形态联想记忆及其性能分析

在Ritter的实域形态联想记忆(real morphological associative memory,简称RMAM)模型的基础上,通过在复数域中序关系的引入构成复数格和环,导出了在复数域上与RMAM相一致的联想规则,构建了一类复域MAM(complex MAM,简称CMAM),从而将RMAM从实域推广至复域,使其可直接处理复信号(如经FFT(fast Fourier Transformation)变换所得数据).证明了该模型的收敛性,分析了其纠错能力和存储能力,并获得了与RMAM相一致的一系列定理和性质.此外,还比较了复形态网络和其他网络(如Hopfield神经网络)的异同.计算机仿真结果表明了CMAM的可行性.

一个改进的指数双向联想存储器及性能分析

通过分析Wang的修正指数双向联想存储器（MeBAM），本文提出了一个新的指数式双向联想存储器．该存储器不仅保持了MeBAM的优点，如放宽了Kosko对BAM的连续性假定的限制，排除了BAM的补码问题，同时还大大改善了现有BAM的存储性能和纠错能力．通过定义一个随状态变化而减少的能量函数严格证明了改进的eBAM（IeBAM）在同步与异步方式下的稳定，从而保证了所有要存的模式对成为其稳定点．此外，借助信噪比分析方法给出了IeBAM和MeBAM的信噪比估计．理论分析和计算机模拟结果证实了IeBAM的性能确实优于MeBAM和eBAM．

内连式复值双向联想记忆模型及性能分析

Lee的复域多值双向联想记忆模型(complex domain bidirectional associative memory,简称CDBAM)不仅将Kosko的实域BAM(bidirectional associative memory)推广至复域,而且推广至多值情形,以利于多值模式(如灰级图像等)间的联想.在此基础上,提出了一个新的推广模型:复域内连式多值双向联想记忆模型(intraconnected CDBAM,简称ICDBAM),通过定义的能量函数证明了它在同步与异步更新方式下的稳定性,从而保证所有训练样本对成为其稳定点,克服了CDBAM所存在的补码问题.计算机模拟证明了该模型比CDBAM具有更高的存储容量和更好的纠错性能.

面向问题的稀疏分布式记忆模型

在Kanerva所提出的稀疏分布式记忆(SDM)或存贮模型的基础上,为实现对特定类问题的大维数输入空间的模式识别,如汉字识别,脸谱辩认等,根据问题的具体情况,诸如汉字的频率分布等,提出了一个面向问题的稀疏分布式记忆模型。改进后的模型更符合实际应用,其中的学习规则采用了指数型记忆规则,使模型具有更高的信噪比,存贮容量亦大大提高。计算机模拟表明了这一点。

多重改进型指数双向联想记忆模型及其在多证据推理中的决策性能

提出了多证据推理中采用神经网络来模拟信念组合学习的方法 .网络由多个改进型指数双向联想记忆模型(Ie BAM)构成 ,并且共享一个输出来同时进行多证据不确定性的管理 .文中证明了多重 Ie BAM(Multi- Ie BAM)的稳定性 ,讨论了在多条证据同时提交网络后的多数规则 .理论和实验都证明了多数因子比 Wang所提模型更紧凑、更严格 ,从而可保证在受一定程度的干扰下 ,专家们仍能做出正确决策 .最后所给出的模拟例子的结果与直觉推理相吻合 .

改进的指数双向联想记忆模型及性能估计

提出了一个新的改进型指数双向联想记忆模型（ｉｍｐｒｏｖｅｄｅＢＡＭ，简称ＩｅＢＡＭ）．通过定义有界且随状态改变而下降的能量函数，证明了ＩｅＢＡＭ在状态的同、异步更新方式下的稳定性，一方面排除了Ｗａｎｇ的修正指数ＢＡＭ（ｍｏｄｉｆｉｅｄｅＢＡＭ，简称ＭｅＢＡＭ）和Ｊｅｎｇ的ｅＢＡＭ（ｅｘｐｏｎｅｎｔｉａｌＢＡＭ）的稳定性证明中所作的不合理假设；另一方面，放宽了对ＢＡＭ（ｂｉｄｉｒｅｃｔｉｏｎａｌａｓｓｏｃｉａｔｉｖｅｍｅｍｏｒｙ）的连续性假设的要求，并避免了补码问题．理论分析和计算机模拟结果表明。

多重加权多值指数双向联想记忆网络及其表决性能

Wang和陈等利用各自提出的二值指数双向联想记忆模型 (e BAM)及其改进型 e BAM(Ie BAM) ,分别构造了由多个 e BAM和 Ie BAM组成的多重 e BAM(Multi- e BAM)和多重 Ie BAM(Multi- Ie BAM)的信念组合模型 ,使之可模拟多个专家的表决 .该文在此基础上 ,借助陈提出的多值 e BAM(MVe BAM) ,提出了多重多值 e BAM(Mul-ti- MVe BAM) ,对 Multi- e BAM和 Multi- Ie BAM进行了两方面的推广 :一是将二值表示推广到多值表示 ,以此可以处理现实中的多值数据 ;二是将原有模型中具有同等权威度的各专家推广到各具不同的权威度的专家 ,以此模拟更实际的表决情形 .文中借助能量函数证明了所提模型的渐近稳定性 ,以保证其实际可用 .计算机模拟证实了模型的可行性 .

多值指数式多向联想记忆模型

多向联想记忆ＭＤＡＭ（ｍｕｌｔｉｄｉｒｅｃｔｉｏｎａｌａｓｓｏｃｉａｔｉｖｅｍｅｍｏｒｙ）模型是Ｋｏｓｋｏ双向联想记忆模型ＢＡＭ（ｂｉｄｉｒｅｃｔｉｏｎａｌａｓｓｏｃｉａｔｉｖｅｍｅｍｏｒｙ）的一个直接推广，它可应用于数据融合及维数分裂，使模型能处理大维数输入问题．目前所提出的若干种多向模型均局限于二值输入／输出模式对，但如在图象处理等的实际应用中，所处理的模式均是多值的．本文的目的就是提出一个多值指数式多向联想记忆模型ＭＶｅＭ－ＤＡＭ（ｍｕｌｔｉｖａｌｕｅｄｅｘｐｏｎｅｎｔｉａｌｍｕｌｔｉｄｉｒｅｃｔｉｏｎａｌａｓｓｏｃｉａｔｉｖｅｍｅｍｏｒｙ），证明其在同步和异步更新方式下的稳定性，从而确保多值模式对成为ＭＶｅＭＤＡＭ的稳定态．最后给出的计算机模拟证实了ＭＶｅＭＤＡＭ的可行性．

人工神经网络

本文叙述了人工神经网络的基本概念、信息处理原理及主要特征。分析了Hopfield、误差反向传播等典型神经网络模型的互连结构、学习方法及特点。对该学科的发展及今后人工智能的研究策略也作了简要阐述。

具有内连接的指数多值双向联想记忆模型

C_CWang的多值指数双向联想记忆模型 (MVeBAM)是一种高存储容量的联想神经网络 .本文在MVe BAM的基础上通过引入自相关项 (或内连接 )提出了一个新的具有内连接的多值指数双向联想记忆模型 ,推广了MVeBAM .通过定义简单的能量函数证明了其在同、异步方式下的稳定性 ,从而保证了所学模式对成为被推广的MVeBAM(EMVeBAM)的稳定点 .最后 。

多重加权改进型指数双向联想记忆网络及其决策性能

CCWang等作者利用指数双向联想记忆模型 (eBAM) ,构造了由多个eBAM构成的多重eBAM(Multi e BAM)信念组合模型 ,使之可模拟多个专家的投票表决决策 ,并获得了Multi eBAM在各eBAM具有同等权威度条件下的决策性能 .本文在此基础上 ,通过对各eBAM引入不同的权值来模拟各专家不同的权威度 ,推广了Multi eBAM .进一步借助陈所提出的改进型eBAM(IeBAM) ,构建了相应的多重加权改进型eBAM(Multi WIeBAM)信念组合模型 ,获得了此推理模型在同、异步方式下的决策性能及多专家不同权威度下的多数投票因子 ,使之更符合实际的多数表决决策 .理论分析表明Multi WIeBAM所获得的多数投票因子优于Multi WeBAM的多数投票因子 ,即前者较后者具有更紧致的下界 .实验结果也表明了Multi WIeBAM的性能要优于Multi WeBAM .

关于稀疏分布存贮模型中A连接权阵的讨论

Ｋａｎｅｒｖａ的稀疏分布存贮（ＳＤＭ）模型由于对寻址地址采用了稀疏编码，对数据采用了分布式存贮，从而解决了大维数向量的输人问题。ＳＤＭ实际上是一个由输入层、中间层和输出层组成的三层前向网络，其中神经元间的互连权值在输入层与中间层是预置的（用矩阵Ａ表示），中间层与输出层的连接权阵Ｃ由外积法得到。文中假定在相同的学习规则下，就信噪比意义而言，Ａ的均匀预置能使ＳＤＭ获得最优性能，从而为Ａ的预置提供了理论依据。

一个新的高阶双向联想记忆模型及其性能估计

提出了一个新的高阶双向联想记忆模型．它推广了由Ｔａｉ及Ｊｅｎｇ所提出的高阶双向联想记忆模型ＨＯＢＡＭ（ｈｉｇｈｅｒ－ｏｒｄｅｒｂｉｄｉｒｅｃｔｉｏｎａｌａｓｓｏｃｉａｔｉｖｅｍｅｍｏｒｙ）及修正的具有内连接的双向联想记忆模型ＭＩＢＡＭ（ｍｏｄｉｆｉｅｄｉｎｔｒａｃｏｎｎｅｃｔｅｄｂｉｄｉｒｅｃｔｉｏｎａｌａｓｓｏｃｉａｔｉｖｅｍｅｍｏｒｙ），通过定义能量函数，证明了新模型在同步与异步更新方式下的稳定性，从而能够保证所有被训练模式对成为该模型的渐近稳定点．借助统计分析原理，估计了所提模型的存储容量．计算机模拟证实此模型不仅具有较高的存储容量，而且还具有较好的纠错能力．

最小平方函数链式联想存储器

本文借助于输入的函数扩展思想，将其引入到一般类型的联想存储器模型，通过噪声输入模式来优化所提出的模型，推广了一类联想存储器模型，实验结果表明最小平方函数链式联想存储器（ＦＬＡＭ）比之ＫＯＨＯＮＥＮ模型、ＭＵＲＡＫＡＭＩ模型在性能上优越．