基于Word2Vec和LDA主题模型的Web服务聚类方法

为高效地发现满足用户需求的Web服务,针对Web服务的描述文本较短、缺乏足够有效信息的问题,提出一种基于Word2Vec和LDA主题模型的Web服务聚类方法。该方法首先将Wikipedia语料库作为扩充源,使用word2vec对Web服务描述文档内容进行扩充,再将扩充后的描述文档利用主题模型进行特征建模,将短文本主题建模转化为长文本主题建模,更准确地实现服务内容主题表达,最后根据文档的主题分布矩阵寻找相似的服务并完成聚类,使用从ProgrammableWeb收集的真实数据进行实验。研究结果表明:本文方法与TFIDF-K,LDA,WT-LDA和LDA-K方法相比,F分别提高419.74%,20.11%,15.60%和27.80%,利用扩充后的Web服务的描述文档进行聚类的方法能够有效提高Web服务聚类的效果。

基于BTM主题模型的Web服务聚类方法研究

针对网络中海量的Web服务聚类时,因其表征数据稀疏而导致使用传统建模方法所获效果不理想的问题,提出了一种基于BTM主题模型的Web服务聚类方法。该方法首先利用BTM学习整个Web服务描述文档集的隐含主题,通过推理得出每篇文档的主题分布,然后应用K-Means算法对Web服务进行聚类。通过与LDA、TF-IDF等方法进行对比发现,该方法在聚类纯度、熵和F-Measure指标上均具有更好的效果。实验表明,该方法能够有效解决因Web服务描述所具有的短文本性质而导致的数据稀疏性问题,可显著提高服务聚类效果。

基于标签的Web服务聚类

Web服务数量的不断增加使得服务发现逐渐成为研究热点,同时,也为Web服务发现带来了巨大的挑战。传统的Web服务发现或是通过对UDDI上的服务注册信息进行关键词匹配,或是基于WSDL文档的Web服务聚类来实现的,然而这两种服务发现方法都不能满足用户的需求。目前,由于标签能够体现信息及信息之间的关联性而在Web服务上得以广泛的利用,基于现有的聚类技术,提出基于标签的Web服务聚类方法。对于标签数较少的服务,通过推荐算法为其推荐标签并与WSDL文档中的特征相合进行聚类。在实验中,该算法与现有Web聚类算法进行比较并得到更好的结果,证明该算法的有效性。

一种面向领域的Web服务语义聚类方法

目前,互联网中发布的Web服务大都通过自然语言进行描述,这种非结构化的描述方式为机器进行自动分析与处理带来了极大的困难.如何提高服务发现的效率和精确率,已成为服务计算领域的研究热点之一.服务聚类是服务发现的重要支撑技术,通过将语义相似的服务加以聚类和组织,有助于改进服务发现的效果.当前的服务聚类技术主要采用LDA(潜式狄里克雷分布)和K-means等模型在同一领域下进行工作,利用这些方法进行服务聚类时还存在一定的局限性,例如,未充分利用词汇间的语义关系进行降维,从而导致服务发现的效果不够理想.针对该问题,本文使用神经网络模型(word2vec模型)获得服务描述中的同义词表并生成领域特征词集,来最大限度的降低服务特征向量维度;在此基础上,提出S-LDA(Semantic Latent Dirichlet Allocation)模型对同一领域的服务进行聚类,由此构建了一个面向领域的Web服务聚类框架(Domain Semantic aided Web Service Clustering,DSWSC).在ProgrammableWeb网站上发布的服务数据集开展的实验表明,与LDA和K-means等方法相比,本文方法在熵、聚类纯度和F指标上均取得了明显效果,有助于提高服务搜索的准确率.

面向领域标签辅助的服务聚类方法

Web服务数量的激增对服务发现提出了更高的要求,服务聚类是促进服务发现的一种重要技术.但是,现有服务聚类方法只对单一类型的服务文档进行聚类,缺乏考虑服务的领域特性和服务标签的应用.针对这些问题,本文首先使用本体辅助的支持向量机和面向领域的服务特征降维技术建立服务的特征内容向量,然后使用一种标签辅助的主题服务聚类方法 T-LDA建立融合标签信息之后的隐含主题表示,并利用归一化方法消除通用主题的影响,综合上述方法建立一个面向领域标签辅助的Web服务聚类方法 DTWSC.实验结果表明,该框架能够提高针对不同类型的服务文档的聚类效果.与LDA、K-Means等方法相比,该方法在聚类纯度、熵和F-Measure指标上均具有更好的效果.

迁移知识辅助的语义稀疏服务聚类方法

现有服务聚类方法缺乏对服务描述语义稀疏情境下的研究,因此将迁移学习技术应用到服务聚类领域,尝试解决语义稀疏服务聚类的问题。通过对偶PLSA模型将目标领域和辅助领域语料知识进行融合,利用无监督的方式迁移辅助领域知识,从而提高目标领域语义稀疏服务聚类的能力。实验结果表明,该方法能够提高语义稀疏服务的聚类效果。与K-Means、Agglomerative和PLSA等方法相比,该方法在聚类纯度、熵上均具有更好的性能。

融合多维信息的Web服务表征方法

随着面向服务体系结构(SOA)技术的发展,Web服务的数量增长迅速。正确高效地对Web服务进行聚类或分类,能够有效地提高服务发现质量以及促进服务组合效率。然而,现有的Web服务建模方法(如LDA主题模型)难以从稀疏的Web服务数据中获得精确有效的信息用于Web服务聚类。针对这个问题,提出了一种融合多维信息的Web服务表征方法(MISR)。首先,将高斯混合模型和Word2Vec算法相结合生成包含Web服务功能主题信息和语义信息的词向量表征。然后,抽取出Web服务中包含的标签-词汇信息、流行度以及Web服务共现信息,结合前一步生成的向量生成包含多维信息的Web服务表征向量。最后,在Web服务聚类和Web服务分类两个任务上对MISR方法的有效性进行验证。在真实数据集上进行WebAPI服务聚类实验,实验结果表明,相比于LDA、Word2Vec、Doc2Vec、WT-LDA、HDP-SOM、GWSC,提出的方法在Micro-F1值上有38.8%、54.5%、15.3%、33.3%、44.7%、9.7%的提升。

Empirical Study on B/C Apparel Consumption Behavior Based on Data Mining Technology

In order to accurately identify the characters associated with consumption behavior of apparel online shopping, a typical B/ C clothing enterprise in China was chosen. The target experimental database containing 2000 data records was obtained based on web service logs of sample enterprise. By means of clustering algorithm of Clementine Data Mining Software, K-means model was set up and 8 clusters of consumer were concluded. Meanwhile, the implicit information existed in consumer＇s characters and preferences for clothing was found. At last, 31 valuable association rules among casual wear, formal wear, and tie-in products were explored by using web analysis and Aprior algorithm. This finding will help to better understand the nature of online apparel consumption behavior and make a good progress in personalization and intelligent recommendation strategies.