基于潜在狄利克雷分配模型预测克隆代码不一致变化的可能性

程序员对源代码的拷贝、粘贴及修改活动会导致软件中出现大量的克隆代码,而在版本的进化过程中,克隆代码的不一致变化是引起程序错误的主要原因,同时会增加维护成本。为了解决该问题,提出一种新的研究方法:首先构建版本间克隆群的映射关系,其次借助潜在狄利克雷分配(LDA)模型提取直系克隆群集主题,最后预测克隆代码不一致变化的可能性。对一款软件的8个版本进行了实验,实验结果的区分度明显,可以有效地预测不一致变化的可能性,评估软件质量和可信性。

基于潜在狄利克雷分配模型和互信息的无监督特征选取法

为解决互信息(MI)在特征选取中的类别缺失和倾向低频词问题,提出LDA-σ方法。该方法使用潜在狄利克雷分配模型(LDA)提取潜在主题,以"词—主题"间互信息的标准差作为特征评估函数。在Reuters-21578语料集上提取特征词并进行分类,LDA-σ方法的微平均F1最高达0.9096;宏平均F1优于其他算法,最高达0.7823。实验表明,LDA-σ方法可用于文本特征选取。

基于潜在狄利克雷分配的图像多层视觉表示方法

针对前馈型图像多层视觉表示方法难以处理局部模糊情况,提出一种基于潜在狄利克雷分配(LDA)的图像多层视觉表示方法——LDA-IMVR。通过递归的概率分解方式,获得LDA的递归生成模型;同时,通过学习和推断多层结构的所有分层,以及利用反馈方式来提高分类学习性能。在Caltech 101数据集上的实验结果表明,与相关的多层视觉表示方法比较,LDA-IMVR提高了数据对象的分类性能,并且在分量学习和图像特征区域可视化方面也得到了较好的效果。

基于潜在狄利克雷分配模型的医疗数据研究

以潜在狄利克雷分配(Lejeune Dirichlet allocation,LDA)模型为基础,研究中医诊疗中的多关系主题模型,提出一个症状-中药-治疗-诊断方法(symptom-herb-therapies-diagnosis topic,SHTDT)模型,用于提取中医临床数据中的症状、中药、治疗方法和诊断的主题结构.参数推理采用Gibbs抽样,根据主题间平均相似度,确定最佳主题数.实验中采用SHTDT模型可以预测给定症状的患者的主题分布、中药、治疗方法及诊断结果,为临床医生和研究人员提供参考.结果表明该模型能够为中医临床诊疗规律的研究提供一个新的统计工具.

潜在狄利克雷分配模型在网络日志的应用

近年来,基于Web日志的数据挖掘技术逐渐成为理论研究和商业应用中的热点问题,而其中Web用户分类又是挖掘领域中最重要的研究主题之一.对Web用户分类能够发现用户之间相似的用户行为,从而针对具体用户群设置对应的服务项目.根据用户的历史访问网页地址(URL)信息,提出了基于加权潜在狄利克雷分配(LDA)模型的用户分类方法,将用户划分到不同的主题群体,实验表明,这种方法能达到很好的分类效果.

分布式潜在狄利克雷分配研究综述

作为主题模型中最重要的机器学习模型,潜在狄利克雷分配问题在包括自然语言处理和信息检索等各领域展现出不可替代的地位。求解潜在狄利克雷分配问题主要采用变分推断和马尔科夫链蒙特卡洛两类算法。目前,数据的增长速度早已远超硬件能力的增长速度,因此在大数据时代,分布式平台的使用成为大数据训练的主流解决方案。利用分布式系统加速对潜在狄利克雷的训练和推断,成为相关研究领域的热门问题。本文对分布式潜在狄利克雷分配算法的相关工作进行分类整理和评估,对未来该领域的研究方向具有引导作用。

基于词嵌入的科研主题排序研究

为准确把握科研领域内文献主题的发展变化,常利用隐式语义特征提取科研主题分布。但由于主题挖掘技术本身的限制,并非所有主题都具有同等重要性或意义。有些主题可能包含太多背景词,信息空泛,或者主题词之间缺乏连贯性,导致主题缺乏实际意义。针对上述问题,在已有研究基础上,基于词嵌入,提出一种新的多维度评估主题质量算法;针对科研文档的特点,利用语料库的统计特征对无意义主题距离评估方法进行优化,并最终将二者融合到一个统一的主题排序框架中。实验结果表明,本文提出的方法可以有效提高主题排序整体效果,能够识别出非重要和质量差的主题,主题排序的整体效果优于现有方法。

基于LDA与双向GRU的借阅主题热度预测

图书借阅主题分析能够挖掘读者借阅喜好和阅读规律,通过使用借阅主题热度预测模型能够预测读者借阅主题热度变化趋势,对图书馆开展阅读推广活动具有重要意义。为了解决图书借阅主题提取、主题热度预测问题,提出基于LDA与双向GRU神经网络的借阅主题热度预测模型。该算法通过LDA算法提取读者不同时间段中的借阅图书特征和借阅主题,在计算不同时间段借阅主题热度、构建借阅主题热度序列数据集的基础上,构造基于双向GRU神经网络的主题热度预测模型以预测未来主题热度变化趋势,并在厦门大学图书馆纸质文献借阅记录数据集上进行实验评估。实验结果表明,模型能准确获得借阅主题与关键词之间的关系,与机器学习等算法比较可知,该模型能有效降低借阅主题热度预测误差。

基于LDA和ISM模型的疫苗接种意愿研究

从信息化语境中挖掘社交媒体平台中的舆情数据,尝试更加系统地分析新冠疫苗接种意愿多重影响因素间的关系.利用网络爬虫技术抓爬社交媒体Twitter平台中的数据,借助潜在狄利克雷分配(latent Dirichlet allocation,LDA)模型识别影响新冠疫苗接种意愿的因素,并运用解释结构模型方法(interpretative structural modeling method,ISM)辅助建模,构建多级层次递阶结构模型,梳理和分析各项影响因素之间的逻辑层次关系.结果表明:通过LDA和ISM模型可以对获取到的因素集进行结构化处理,并根据ISM模型的逻辑结构,将影响新冠疫苗接种意愿的4个层级划分为深层、中间层和表层,不同层级对疫苗接种意愿的影响程度不同.研究结果可为提升民众对新冠疫苗的接受意愿和接种倾向提供相应的决策支持和参考价值.

突发事件影响下的城市居民出行活动时空模式研究

在人类社会的发展过程中,突发事件常常引发人们生活和行为的急剧变化,并可能对其产生持续性的影响。目前相关研究多为居民出行活动的总体趋势和整体特征,而在细分层面分析出行活动在时空维度上差异性的研究较少,且存在时空维度分离、缺乏整体性的问题。本文以美国旧金山新型冠状病毒感染流行为例,采用共享单车出行数据、兴趣点数据等进行长时间跨度的研究,利用k均值聚类和潜在狄利克雷分配模型,挖掘突发事件前后居民出行时空模式的特征及变化。结果表明:①事件暴发后,居民不同目的的出行活动时空模式发生了显著变化,通勤及娱乐出行的比例大幅下降,居民尝试用聚集程度较小的户外休闲娱乐代替聚集性娱乐,生活必需品购买及处理个人事务的出行比例上升,医疗需求大幅增加且该类型出行的早高峰开始时间提前。②随着时间的推移,突发事件的影响逐渐降低,人们的出行活动时空模式逐渐恢复至事件前的状态。研究成果可深化对风险和不确定性的认知,建立更全面的时空知识服务体系,为城市管理部门制定合理的应急管理策略提供参考。

主题模型自动标记方法研究综述

主题模型常用于非结构化语料库和离散数据建模,抽取隐含主题分布。由于主题发现结果采用词列表形式,理解其含义较为困难。尽管通过人工标记可生成更具解释性和易理解的主题标签,但成本巨大缺乏可行性,而自动主题标记的研究为解决该问题提供了方法和思路。首先对当前最为流行的狄利克雷分配主题模型进行阐述与分析,并根据主题标签三种不同表现形式,基于短语、摘要和图片,将主题标记方法分为三种类型;之后围绕提高主题的可解释性,以生成的不同类型主题标签为线索,对近年来的相关研究成果进行梳理、分析和总结,并对不同标签的适用情境和可用性进行探讨;同时根据不同方法的特点进一步分类,重点对基于词法、子模优化和图排序方法生成摘要主题标签进行定量和定性分析,从学习类型、使用技术和数据来源出发,对比不同方法的差异;最后对主题自动标记研究存在的问题和趋势发展进行讨论,基于深度学习、与情感分析结合并不断拓展主题标记应用的场景,将是未来发展的重点和方向。

基于TFIDF+LDA和Mini Batch K⁃means算法的在线课程推荐方法研究

在线教育资源急剧增长让学习者难以抉择,研究在线课程分类推荐,能帮助学习者快速获取所需资源。首先将潜在狄利克雷分配算法融入词频-逆向文件频率算法对数据进行预处理,生成词向量矩阵;之后采用Mini Batch K-means算法训练聚类模型,并采用T分布随机邻域嵌入降维算法对训练结果进行可视化分析。实验采用从Pluralsight在线课程API获取8016条数据进行实验,实验结果表明融入潜在狄利克雷分配算法的词频-逆向文件频率算法效果更好。

应对百年未有之大变局的中国经济研究热点及合作网络分析

运用潜在狄利克雷分配(LDA)模型对中国知网“百年未有之大变局的中国经济”专题库里的文献摘要进行主题挖掘,同时借助社会网络分析对发文机构合作网络的关系特征与位置特征进行分析。结果表明:研究主题丰富,研究内容与时俱进,研究方法多采用客观数据开展影响因素、作用效应及发展路径等内容的实证分析;存有5个核心机构,机构合作不足且相对封闭,产学政研合作不够深入,整体呈现出“小聚集、大分散”特点。基于此,未来中国经济研究可以从开展前瞻性研究、均衡研究注意力以及加强多元主体合作3方面进行展望。

基于LDA主题模型和关联规则的冠心病方剂组方规律分析

目的:运用数据挖掘技术,分析中医治疗冠心病方剂的组方规律。方法:收集整理中医文献及CNKI中有关冠心病的方剂,建立方剂数据库。运用关联规则及LDA主题模型分别从药物关联性和方剂潜语义分析两个角度对冠心病方剂进行挖掘,分析冠心病方剂的组方规律。结果:收集冠心病方剂356首,涉及中药318味,药物频次统计结果表明冠心病方剂中的药物以补气药、活血化瘀药和理气药为主。LDA主题模型共得到3个方剂主题,关联规则挖掘得到12个提升度较大的药对组合和药物关联规则。结论:中医治疗冠心病以益气、活血化瘀为主,兼顾理气祛痰,注重标本兼治。运用数据挖掘方法分析冠心病方剂组成,可以发现其组方规律,为临床冠心病治疗提供参考依据。

一种面向主题的领域服务聚类方法

随着互联网上服务资源规模的快速增长,如何高效、准确地发现服务成为一个亟待解决的关键问题.服务聚类是促进服务发现的一种重要技术.但是,现有服务聚类方法只对单一类型的服务文档进行聚类,并且没有考虑服务的领域特性.针对该问题,在对服务进行领域分类的基础上,提出了一种基于概率、融合领域特性的服务聚类模型——领域服务聚类模型(domain service clustering model,DSCM),然后基于该模型提出了一种面向主题的服务聚类方法.最后通过ProgrammableWeb网站提供的真实服务集对提出的方法进行了验证.实验结果表明,该方法可以准确地对不同类型的服务文档进行聚类.与经典的潜在狄利克雷分配(latent Dirichlet allocation,LDA),K-means等方法相比,该方法在聚类纯度和F-measure指标上均具有更好的效果,从而为按需服务发现与服务组合提供更好的支持.

基于LDA模型的文本分类研究

针对传统的降维算法在处理高维和大规模的文本分类时存在的局限性,提出了一种基于LDA模型的文本分类算法,在判别模型SVM框架中,应用LDA概率增长模型,对文档集进行主题建模,在文档集的隐含主题-文本矩阵上训练SVM,构造文本分类器。参数推理采用Gibbs抽样,将每个文本表示为固定隐含主题集上的概率分布。应用贝叶斯统计理论中的标准方法,确定最优主题数T。在语料库上进行的分类实验表明,与文本表示采用VSM结合SVM,LSI结合SVM相比,具有较好的分类效果。

融合显著信息的LDA极光图像分类

美丽的极光形态各异,不同形态的极光蕴含不同的物理意义,所以研究极光图像的分类具有重要的科学价值.在LDA(latent Dirichlet allocation)模型基础上提出了一种融合显著信息的LDA方法(LDA with saliency information,简称SI-LDA),利用极光图像的谱残差(spectral residual,简称SR)显著信息生成视觉字典,加强极光图像的语义信息,并将其用于极光图像的特征表示.最后,利用SVM分类器对极光图像进行分类.实验结果表明,所提出的算法获得了良好的分类结果.

基于动态主题情感混合模型的微博主题情感演化分析方法

针对现有模型无法进行微博主题情感演化分析的问题,提出一种基于主题情感混合模型(TSCM)和情感周期性理论的主题情感演化模型——动态主题情感混合模型(DTSCM)。DTSCM通过捕获不同时间片中微博消息集的主题和情感,追踪不同时间片内主题与情感的变化趋势,获得主题情感演化图,从而实现主题和情感的演化分析。真实微博数据集上的实验结果表明,与当前优秀代表算法JST(Joint Sentiment/Topic)、S-LDA(Sentiment-Latent Dirichlet Allocation)和DPLDA(Dependency Phrases-Latent Dirichlet Allocation)相比,该方法的情感分类准确率分别提高了3.01%、4.33%和8.75%,并且可以获得主题情感演化图。这表明该方法具有更高的情感分类准确率并且可以进行微博主题情感演化分析,为舆情分析等应用提供了较好的帮助。

基于LDA的煤矿安全隐患主题发现研究

为提高安全管理者对安全隐患数据的理解和认知水平,增强其隐患排查和治理能力,以潞安集团司马煤业有限公司2014年安全隐患记录为数据源,基于潜在狄利克雷分配模型(LDA)挖掘煤矿安全隐患主题。利用R软件进行主题模型参数估计、模型计算,最终优选出14个安全隐患主题;采用桑基图揭示隐患主题与责任主体、隐患致因之间的关系。结果表明:LDA主题模型能较好揭示煤矿安全隐患数据中的潜在规律,为煤矿隐患排查、隐患治理以及安全管理决策提供重要信息。

基于轨迹分段LDA主题模型的视频异常行为检测方法

基于目标轨迹的异常行为检测算法忽略了轨迹内部信息,容易导致异常检测虚警率偏高。为解决该问题,提出一种基于轨迹分段主题模型的视频异常行为检测方法。首先将目标原始轨迹根据轨迹转角分段,然后采用分段量化的方式提取轨迹片段中包含的行为特征信息,接着通过潜在狄利克雷分配(LDA)主题模型建模发掘目标轨迹之间的时空关系,最后通过学习所构建的模型并结合贝叶斯理论进行行为模式分析和异常行为检测。分别对两个视频场景进行了目标行为模式分析和异常行为检测的仿真实验,检测出了场景内多种异常行为模式。实验结果表明,通过结合轨迹分段与LDA主题模型,该算法能够充分挖掘目标轨迹内部的行为特征信息,识别多种异常行为模式,并且能提高对异常行为检测的准确率。