基于MapReduce的Web标签SOINN聚类算法

Web标签有助于用户根据自己特定的兴趣完成信息资源的分类、组织和检索。然而,正是由于协同标记系统特有的公开性、自由化的特点,采用其对信息资源进行描述、组织、分类和检索,存在着信息描述不精确、标签组织混乱和标签语意模糊等问题。在此背景下提出了3种基于特征向量表示法(FVR)的Web标签SOINN聚类算法:基于资源的特征向量表示法、基于其他共现标签的特征向量表示法和基于全集共现标签的特征向量表示法。同时应用MapReduce框架将SOINN算法进行并行化。实验表明,当类中心数量超过2000时,3种分布式聚类FVR算法的召回率和准确度优于原始算法,可获得很好的加速比。从而证明此分布式聚类算法具有很好的可扩展性,可以用于更为海量的Web日志聚类分析系统。

基于改进SOINN算法的恶意软件增量检测方法

针对基于批量学习的恶意软件检测方法存在检测模型动态更新困难、运算存储开销大的问题,将改进的SOINN算法与有监督分类器有机结合,利用SOINN算法的增量学习特性赋予恶意软件检测模型动态更新能力,有效降低运算存储开销。首先对SOINN算法进行改进:在SOINN算法竞争学习周期内,根据全排列思想搜索所有样本输入次序下神经元的权重调节量,计算所有权重调节量的平均值作为神经元最终权重调节量,避免不同样本输入次序影响训练所得神经网络的稳定性,使所得神经网络更能反映原始数据本质特征,从而提高神经网络针对恶意软件检测的精度。然后采用非负矩阵分解和Z-score归一化对数据进行预处理,将恶意软件行为特征向量从高维高数量级转换至低维低数量级,在提高检测速度的同时有效降低高数量级维度对特征学习的不利影响,进一步提高检测准确性。实验结果表明,所提方法支持检测模型动态更新,对未知新样本的检测准确率显著高于传统检测方法,且运算存储开销更小。