基于TF-IDF算法和LDA主题模型数据挖掘技术在电力客户抱怨文本中的应用

随着大数据时代的到来,数据挖掘涉及的领域愈发广泛,语意丰富的非结构化文本中的价值也越发增加,文本挖掘技术显得尤为重要,客户抱怨的文本数据成为审视自己产品与服务的关键所在。本文对文本挖掘技术进行梳理,采用TF-IDF算法有效处理词频信息,并将词频信息通过LDA主题模型有效的分类,采用电力客户抱怨文本数据库,得到了有意义的结果。最后通过实验验证了理论的可行性,实验结果表明,基于TF-IDF算法和LDA主题模型挖掘技术在电力客户抱怨文本中能够有效的呈现客户抱怨的问题。

基于改进的LDA主题模型群体情感影响因素研究

[目的/意义]探究社交网络中影响群体情感行为的影响因素,旨在为舆情引导提供参考。[方法/过程]首先,获取微博数据集,进行预处理后,使用结合AP算法及TF-IDF算法的LDA主题模型对用户文本进行聚类,挖掘用户兴趣主题;然后,人工识别结合接口调用对用户文本进行情感标注;最后,利用二元逻辑回归模型对假设的群体情感影响因素进行验证。[结果/结论]性别、主题及活跃度对于群体情感倾向有显著影响;男性群体普遍比女性群体消极;不同主题的情感主旋律不同。该结果对于网络舆情的控制以及个性化新闻推荐具有很好的借鉴作用。

基于LDA模型和AP聚类的主题演化分析

随着互联网的高速发展,网络信息呈现爆炸性增长态势,主题演化分析能够帮助人们从海量的互联网数据中获取更有价值的信息。分析主题的演化发展轨迹有利于人们了解主题事件发生的前因后果,并对主题事件发展趋势进行更好地预测,进而辅助管控。针对单个主题演化分析方法中阈值设定和主题漂移的问题,提出一种LDA-AP主题演化模型。该方法利用LDA模型对不同时间窗口内的新闻文本分别进行建模,得到相应的主题。利用AP聚类算法对不同时间窗口内的多个主题进行聚类,其中计算主题相似度采用加入时间衰减因子的JS散度来度量。最后对多个主题内容进行演化分析。通过相关的实验分析和对比,结果表明该方法可以改善主题演化的性能,并能较好地分析多个新闻主题事件随时间的演化趋势。

基于TF-IDF和LDA主题模型的电影短评文本情感分析——以《少年的你》为例

通过python爬取豆瓣网站上《少年的你》的短评文本,对评论文本进行清洗并利用构建的分词词典和停用词词典分别进行分词处理和去停用词处理后得到较为规范化的文本.利用TF-IDF算法提取评论文本的关键词,以关键词为基础建立LDA主题模型,从定量的角度提取评论主题,从而分析观众对这部电影的情感态度和评论的热点话题,为消费者的购买行为提供一定的决策支持,同时为商品提供者提供一定的发展方向.

运用社交媒体推动电力行业企业文化建设的策略及建议——基于LDA模型和TF-IDF算法的微博主题聚类研究

本研究结合隐含狄利克雷分布(Latent Dirichlet Allocation,LDA)模型和词频-逆文档频率(TF-IDF)算法,采用困惑度评价指标进行主题聚类。对“国网甘肃电力”官方微博全部内容进行分析,发现社交媒体上企业文化建设和宣传主题可分为精神维度、制度维度、行为维度和物质维度。本文就此展开讨论,并提出加强企业文化建设的策略及建议。

基于主题分类的旅游路线推荐规划模型——以北京市为例

随着经济的发展,旅游逐渐成为人们生活的刚需,但计划行程、旅途的疲惫常常牵绊住人们外出的步伐。因此,本文基于北京市景点的文本评论运用LDA模型、K均值聚类进行主题提取、运用TF-IDF值进行评价打分为用户推荐最适宜的景点,节省了用户阅读攻略、规划行程的时间。不同于以往的数据分析,文本评论可以更直接反映用户的想法、更接近实际。除此之外,对于被选出来的景点,通过转化为旅行商问题,运用运筹学的蚁群算法为用户合理规划路线,减少步行时间以及交通时间。

基于电影网站短评数据的网络舆情文本挖掘与情感分析

对电影短评数据进行情感分析的目的是为了获取观众对某部电影的情感倾向,同时还可帮助电影制作者通过了解观众的情感倾向,从而改善电影的制作。文章采用的方法是通过Python代码爬取电影网站上的评论数据,对爬取的数据进行多项数据预处理技术得到较为规范的评论数据,再利用TF-IDF算法计算出短评数据的关键词及权重并给关键字词云图,然后使用SnowNLP库计算出短评数据的情感分值,并运用LDA模型对电影网站短评数据主题分类,最终给出电影网站短评数据情感分析的可视化评价结果。

基于文本挖掘和情感分析方法的“智慧旅游”服务质量感知研究

智慧旅游是推动智慧城市发展的重要手段。随着网络评论在旅游生态中的地位显著提升,如何通过网评文本反映游客的消费体验、服务质量反馈与情感诉求,吸引游客消费、取得竞争优势,成为景区管理人员与主管部门的一项重要工作。基于文本挖掘和情感分析方法,选取景区和酒店网评文本,识别旅游景点现状的问题和痛点,设计科学、客观的综合评价体系,为景区与酒店等相关经营者、文旅部门做出更优决策提供理论支撑和数据支持。

中国语言障碍群体的语言政策演进

语言障碍群体的语言政策是中国语言文字事业发展的重要议题之一,厘清中国语言障碍群体的语言政策布局,对于应对其语言问题具有纲领性作用。本研究依托北大法宝数据库,创建了中国语言障碍群体的语言政策语料库,归纳中国语言障碍群体的语言政策文本整体特征。通过基于Python的自然语言处理方法,采用LDA主题模型和TF-IDF算法,从时间与空间维度深入分析中国语言障碍群体的语言政策文本。研究主张加强顶层设计,整合语言政策体系;统一称谓,推动社会理念转变;构建语言政策反馈渠道,切实服务语言障碍群体。本研究尝试为完善语言障碍群体的语言政策体系以及构建信息无障碍社会提供参考。