Semi-supervised Document Clustering Based on Latent Dirichlet Allocation (LDA)

To discover personalized document structure with the consideration of user preferences,user preferences were captured by limited amount of instance level constraints and given as interested and uninterested key terms.Develop a semi-supervised document clustering approach based on the latent Dirichlet allocation(LDA)model,namely,pLDA,guided by the user provided key terms.Propose a generalized Polya urn(GPU) model to integrate the user preferences to the document clustering process.A Gibbs sampler was investigated to infer the document collection structure.Experiments on real datasets were taken to explore the performance of pLDA.The results demonstrate that the pLDA approach is effective.

基于LDA模型和意象图式的产品隐喻设计方法研究

目的为实现隐喻设计方法的喻体选择和隐喻转译,结合LDA模型和意象图式提出一种新型产品隐喻设计方法。方法应用LDA聚类分析始源域中事件的情绪体验,获取用户在始源域中的主题喻体。基于深度访谈和图式表征分析提取意象图式,并通过AHP评价排序获取重要图式转译因子。将图式因子进行组合表述,联想产品相应功能特征,完成意象喻体到产品主体的转译。结果以减压产品为例进行设计实践,通过LDA聚类获取了感官放松、情感满足、体验良性发展、探索未知、无意识本能、体能释放六大主题与相应模态,以及与主题对应的图示因子,并以可视化桌面蓝牙音箱为设计载体,从视觉、听觉和触觉模态介入,结合图式联想完成了音乐播放、探索互动、自动休眠和情绪释放4个功能隐喻设计。利用加权算法对设计方案进行测试评估,验证了设计方法的合理性。结论从隐喻设计现状出发,探索了基于LDA模型和意象图式的产品隐喻设计方法并加以实践,验证理论与方法的可行性与有效性,为产品隐喻设计乃至其他情感价值类产品的设计研究提供了优质案例与借鉴。

国内社区养老服务热点分析——基于LDA模型与生命周期理论

目的/意义梳理现有文献,分析社区养老服务研究的主要方向,为完善社区养老服务提供科学建议。方法/过程通过中国知网数据库获取文献数据,结合生命周期理论,将相关研究历程分为3个阶段,通过LDA模型识别各阶段主题变化,分析该领域研究热点及发展趋势并提出见解。结果/结论国内社区养老服务研究聚焦于养老模式、服务体系建设、农村及社区服务,旨在提供全面、专业的服务,提高服务质量,满足老年人的多元需求。社区养老服务仍是社会关注的热点,未来该领域应加强服务评估、重视人才建设、充分利用数字技术。

基于无监督LDA的水电工程施工安全事故致因分析

为实现水电工程施工安全事故报告中致因的智能挖掘,首先,利用Jieba库分词处理1206条事故分析报告,提出事故分析文本词频-逆文档频率(TF-IDF)关键词处理算法,确定词频权重并构建事故文本词向量;然后,基于TF-IDF特征,训练无监督隐含狄利克雷分布(LDA)主题模型,提取事故主题及主题词;最后,对主题词进行社会网络分析,揭示事故要素间的潜在关系,智能输出水电工程施工安全事故成因。结果表明:LDA主题模型能快速挖掘出大量有效事故数据信息,并计算出安全意识、事故隐患、违章行为等5个事故主题。致因自动分析结果显示,违规违章操作、未掌握安全操作技术、材料设备问题、违反施工程序、作业环境条件不良是导致水电工程施工安全事故的最主要原因。加强施工人员的行为监管,提高事故主要致因的预防能力,有助于提升水电工程施工安全管控水平。

基于LDA主题模型的湖泊公园生态系统文化服务公众感知研究

湖泊公园是城市蓝绿空间的重要类型之一,开展湖泊公园生态系统文化服务感知量化研究,对保护生态环境和提升游憩空间质量具有重要意义。以武汉市8个典型湖泊公园为研究对象,爬取公园网络评论数据,利用LDA主题模型挖掘潜在主题,结合社会网络分析法和情感分析模型,并对比问卷调查结果,探讨湖泊公园生态系统文化服务感知差异。结果表明:湖泊公园生态系统文化服务公众感知维度有休闲娱乐、审美体验、运动健康、社交互动、历史文化和科普教育;主导服务类型是休闲娱乐和审美体验,而科普教育是最不易被感知的;公园可达性、周边文化建设、园内基础设施及自身特色是影响感知频率和满意度的主要因素;不同年龄段人群的使用需求和活动类型差异对感知满意度有一定影响。因此,未来湖泊公园的建设可在科普主题活动举办、特色湖泊文化景观、公园配套服务设施、生态环境治理等方面进一步完善,并关注多年龄段人群需求,从而提升公园服务品质。

基于LDA模型的专利文本主题分析——以国内元宇宙领域为例

为了探究元宇宙作为新兴产业的热点,解决国内元宇宙领域研究重点不明确的问题,提出使用LDA主题模型的专利文本分析方法。将LDA主题模型运用到国内元宇宙领域相关专利文本分析中,结合人为判断和主题困惑度的方法,实现了对专利技术主题的识别和划分。通过实验分析得出结论:人工智能、区块链、云计算等是当前中国元宇宙产业应用专利的热点技术;通过LDA主题模型分析国内元宇宙的专利文本,可以实现其技术热点主题的分类和细分判别,可以为未来的行业发展提供建议。

基于LDA主题模型的杭州市公园季节性公共服务价值

季节对公园的公共服务价值具有显著影响,明确游客对于公园季节性公共服务价值的关注度及态度有助于提高公园的服务质量。文章以“大众点评”上游客对杭州市公园的评价文本为研究对象,基于LDA主题模型对公园季节性公共服务价值属性及游客的关注度进行研究,并利用SnowNLP对评价文本中游客的情感变化进行分析。结果表明:春季和秋季游客主要关注以自然风光为主的游赏价值,夏季游客对公园的功能服务价值具有最高的关注度,冬季公园的休闲娱乐价值是游客最在意的方面,此外,游客对于不同季节的公园的公共服务价值普遍给予较为积极的评价,其中游赏价值、功能服务价值和休闲娱乐价值对游客的情感具有显著的影响。因此,公园的建设与发展应充分考虑公共服务价值随季节的变化,并根据游客诉求进行灵活调整。

民航管制安全风险主题时空分布规律研究

为了探究民航管制安全风险的时空分布规律,基于潜在迪利克雷分布(Latent Dirichlet Allocation,LDA)主题模型识别出民航管制安全风险主题,定义民航管制安全风险主题强度的定量测度指标,运用全局空间自相关分析和冷热点分析对民航管制安全风险主题的时空分布规律进行研究。结果表明:利用LDA主题模型识别出“管制员指令错误风险”等10个管制安全风险主题;“管制员指令错误风险”主题存在较弱的全局空间自相关性,在2018—2021年,全局Moran’s I总体呈现波动增长的趋势;在2018—2021年,“管制员指令错误风险”主题强度高值聚集的区域由西南向东南转移,高值聚集区域数量变少,且不稳定,低值聚集区域发生转移并在2020年后保持稳定。通过全局空间自相关分析和冷热点分析确定了2018—2021年中国民航不同管制区域的管制安全风险的时空分布格局,为局方进行差异化的安全监管提供决策支持。

基于词嵌入的科研主题排序研究

为准确把握科研领域内文献主题的发展变化,常利用隐式语义特征提取科研主题分布。但由于主题挖掘技术本身的限制,并非所有主题都具有同等重要性或意义。有些主题可能包含太多背景词,信息空泛,或者主题词之间缺乏连贯性,导致主题缺乏实际意义。针对上述问题,在已有研究基础上,基于词嵌入,提出一种新的多维度评估主题质量算法;针对科研文档的特点,利用语料库的统计特征对无意义主题距离评估方法进行优化,并最终将二者融合到一个统一的主题排序框架中。实验结果表明,本文提出的方法可以有效提高主题排序整体效果,能够识别出非重要和质量差的主题,主题排序的整体效果优于现有方法。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

基于语义约束LDA的商品特征和情感词提取

随着网络购物的发展,Web上产生了大量的商品评论文本数据,其中蕴含着丰富的评价知识.如何从这些海量评论文本中有效地提取商品特征和情感词,进而获取特征级别的情感倾向,是进行商品评论细粒度情感分析的关键.根据中文商品评论文本的特点,从句法分析、词义理解和语境相关等多角度获取词语间的语义关系,然后将其作为约束知识嵌入到主题模型,提出语义关系约束的主题模型SRC-LDA(semantic relation constrained LDA),用来实现语义指导下LDA的细粒度主题词提取.由于SRC-LDA改善了标准LDA对于主题词的语义理解和识别能力,从而提高了相同主题下主题词分配的关联度和不同主题下主题词分配的区分度,可以更多地发现细粒度特征词、情感词及其之间的语义关联性.实验结果表明,SRC-LDA对于细粒度特征和情感词的发现和提取具有较好的效果.

融合显著信息的LDA极光图像分类

美丽的极光形态各异,不同形态的极光蕴含不同的物理意义,所以研究极光图像的分类具有重要的科学价值.在LDA(latent Dirichlet allocation)模型基础上提出了一种融合显著信息的LDA方法(LDA with saliency information,简称SI-LDA),利用极光图像的谱残差(spectral residual,简称SR)显著信息生成视觉字典,加强极光图像的语义信息,并将其用于极光图像的特征表示.最后,利用SVM分类器对极光图像进行分类.实验结果表明,所提出的算法获得了良好的分类结果.

一种改进的LDA主题模型

由于文档中的词符合幂律分布,使得LDA模型的主题分布向高频词倾斜,导致能够代表主题的多数词被少量的高频词淹没使得主题表达能力降低.通过一种高斯函数对特征词加权,改进LDA主题模型的主题分布.实验显示加权LDA模型获得的主题间的相关性以及复杂度(Perplexity)值都降低,说明改进模型在主题表达和预测性能方面都有所提高.

基于Labeled-LDA模型的文本分类新算法

LDA(Latent Dirichlet Allocation)模型是近年来提出的一种能够提取文本隐含主题的非监督学习模型.通过在传统LDA模型中融入文本类别信息,文中提出了一种附加类别标签的LDA模型(Labeled-LDA).基于该模型可以在各类别上协同计算隐含主题的分配量,从而克服了传统LDA模型用于分类时强制分配隐含主题的缺陷.与传统LDA模型的实验对比表明:基于Labeled-LDA模型的文本分类新算法可以有效改进文本分类的性能,在复旦大学中文语料库上micro-F1提高约5.7%,在英文语料库20newsgroup的comp子集上micro-F1提高约3%.

基于LDA模型的文本分割

文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,获取词汇的概率分布,使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块,尝试多种相似性度量手段及边界估计策略,其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法.

基于LDA主题模型的文本相似度计算

LDA(Latent Dirichlet Allocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于LDA主题模型的文本相似度计算方法,该方法利用LDA为语料库建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,挖掘隐藏在文本内的不同主题与词之间的关系,得到文本的主题分布,并以此分布来计算文本之间的相似度,最后对文本相似度矩阵进行聚类实验来评估聚类效果。实验结果表明,该方法能够明显提高文本相似度计算的准确率和文本聚类效果。

基于LDA模型的文本分类研究

针对传统的降维算法在处理高维和大规模的文本分类时存在的局限性,提出了一种基于LDA模型的文本分类算法,在判别模型SVM框架中,应用LDA概率增长模型,对文档集进行主题建模,在文档集的隐含主题-文本矩阵上训练SVM,构造文本分类器。参数推理采用Gibbs抽样,将每个文本表示为固定隐含主题集上的概率分布。应用贝叶斯统计理论中的标准方法,确定最优主题数T。在语料库上进行的分类实验表明,与文本表示采用VSM结合SVM,LSI结合SVM相比,具有较好的分类效果。

基于LDA与新兴主题特征分析的新兴主题探测研究

本文尝试基于LDA主题模型探测文档集中的新兴主题.本文采用主题的新颖度、发文量指标,并引入被引量,得到新兴主题的特征指标,在此基础上对主题在进入成熟阶段前各个时期的特征进行了分析.并提出了针对上述新兴主题探测指标,基于LDA主题模型抽取文档的语义主题词,利用文档-主题矩阵建立主题和文档的映射,得到主题的新颖度指标和发文量指标、被引量指标,并形成新兴主题探测表格和探测曲线VDP,从而探测出新兴主题,并对新兴主题VDP与基线VDP距离的发展趋势进行预测,根据拟合的曲线对其进行分析,得到最值得关注的新兴主题.

基于权重微博链的改进LDA微博主题模型

社交网络尤其是微博中含有大量的短文本。短文本不同于传统的文本,其携带的语义特征信息密度低,很难对其进行准确的主题挖掘。针对这一问题,提出根据微博发布时间与原创、转发、评论微博等社交行为信息分配权重,使用背景知识丰富语义特征的微博链结构与基于此改进的LDA主题模型。实验结果表明,相比于标准的LDA模型,本模型的perplexity值更低,即具有较低的预测不确定度。

一种词聚类LDA的商品特征提取算法

商品评论中经常会使用一些词义近似或上下文相关的中低频词来描述商品特征,如何有效辨识这些中低频词是商品特征抽取的一个难点.由于缺乏先验知识,主题模型难以发现并抽取中低频特征词.提出基于词义相似度和上下文相关度相结合的词聚类度量算法,在此基础上构建了一种基于词聚类先验知识的潜在狄利克雷分配的商品主题特征提取模型.首先对词项按词义相似度、上下文相关度进行聚类;然后在商品主题特征抽取中引入词聚类因素作为权重影响因子,使得同一个聚类簇中的词项属于同一主题的概率增加.相关实验结果表明,本文提出的词聚类和特征提取算法具有较好的效果.