融合无监督SimCSE的短文本聚类研究

传统的浅层文本聚类方法在对短文本聚类时,面临上下文信息有限、用词不规范、实际意义词少等挑战,导致文本的嵌入表示稀疏、关键特征难以提取等问题。针对以上问题,文中提出一种融合简单数据增强方法的深度聚类模型SSKU(SBERT SimCSE K-means Umap)。该模型采用SBERT对短文本进行嵌入表示,利用无监督SimCSE方法联合深度聚类K-Means算法对文本嵌入模型进行微调,改善短文本的嵌入表示使其适于聚类。使用Umap流形降维方法学习嵌入局部的流形结构来改善短文本特征稀疏问题,优化嵌入结果。最后使用K-Means算法对降维后嵌入进行聚类,得到聚类结果。在StackOverFlow,Biomedical等4个公开短文本数据集进行大量实验并与最新的深度聚类算法作对比,结果表明所提模型在准确度与标准互信息两个评价指标上均表现出良好的聚类性能。

基于弹性网络正则化的隐因子预测模型

在大数据预测中,通常采用SGD_LF模型对高维稀疏矩阵中的缺失数据进行预测。由于SGD_LF模型仅有L 2正则化项对目标函数进行约束,不能调整隐因子的分布,这样导致模型不能很好地描述目标矩阵中实体特性,损失了模型精度。用FOBOS算法构造一个同时用L 1和L 2限制目标函数的弹性网络ENLF模型,ENLF很好地调整隐因子的分布并提高了模型性能。为了进一步提高ENLF模型的性能,在其中加入偏差,构造BENLF模型。在大型商业数据集上的实验表明,ENLF和BENLF模型的预测精度和模型稀疏性等性能有显著提高。