分布式稀疏软大间隔聚类

虽然软大间隔聚类(Soft large margin clustering,SLMC)相比其他诸如K-Means等算法具有更优的聚类性能与某种程度的可解释性,然而当面对大规模分布存储数据时,均遭遇了同样的可扩展瓶颈,其涉及的核矩阵计算需要高昂的时间代价。消减此代价的有效策略之一是采用随机Fourier特征变换逼近核函数,而逼近精度所依赖的特征维度常常过高,隐含着可能过拟合的风险。本文将稀疏性嵌入核SLMC,结合交替方向乘子法(Alternating direction method of multipliers,ADMM),给出了一个分布式稀疏软大间隔聚类算法(Distributed sparse SLMC,DS-SLMC)来克服可扩展问题,同时通过稀疏化获得更好的可解释性。

参数字典稀疏表示的完全无监督域适应

无监督域适应(unsupervised domain adaptation,UDA)针对的是源域有标记而目标域无标记的学习问题,其目的是利用从标记大样本源域中所学"知识"来促进无标记小样本目标域的学习性能。但现实中也往往存在样本无标记的源域,形成了所谓的完全无监督域适应。该问题给域适应学习带来了严峻的挑战。受先前提出的软大间隔聚类学习(soft large margin clustering,SLMC)启发,提出了一种参数迁移方法——参数字典稀疏表示的完全无监督的域适应方法(whole UDA,WUDA)。SLMC采用分类学习思想在输出(标记)空间中实现给定数据的聚类,在这种实现原理的启发下,从参数(决策函数的权重矩阵)公共字典的角度,在源域和目标域的权重间进行互适应参数字典学习实现知识迁移,同时引入l_(2,1)范数来约束字典系数矩阵,使得各域权重可从公共字典中自适应地选择,从而实现域适应学习。最后,在相关数据集上的实验显示了WUDA在聚类性能上的显著有效性。

差分隐私软大间隔聚类

软大间隔聚类(Soft Large Margin Clustering)已被证明比其他诸如K-Means等诸多聚类算法具有更优的聚类性能与可解释性。然而作为单机聚类算法,仍有可扩展性的瓶颈,因此有人将其进行分布式改造。然而在进行分布式运算时,在迭代过程中存在节点之间相互通信的过程。如果某些节点存在隐私数据,那么数据集中的敏感信息在通信过程中就可能泄漏。为此,本文将分布式软大间隔聚类算法(Distributed Sparse SLMC)结合隐私保护,通过插入高斯噪声来提供零集中差分隐私(Zero Concentrated Differential Privacy),发展出差分隐私软大间隔聚类算法。最后通过理论证明其隐私保护效用,通过实验验证其具有与非联邦算法相近的收敛速度与聚类性能。