基于数据挖掘与隐含狄利克雷分布的肿瘤化疗相关性口腔溃疡的中医用药规律

目的:研究近20年恶性肿瘤化疗相关性口腔溃疡中医临床常用治疗方法及遣方用药规律。方法:通过人工与计算机检索相结合的方式,收集2001—2021年国家知识基础设施数据库(CNKI)、中国学术期刊数据库(CSPD)及中文科技期刊数据库(CCD)中发表主题为“化疗性口腔溃疡”“化疗性口腔黏膜炎”“中医药”等相关文献,通过阅读摘要及NoteExpress自动筛选核对建立所需数据库。用频次统计、关联分析和隐含狄利克雷分布(LDA)的统计方法,分析中医临床治疗化疗相关性口腔溃疡的给药方式、用药频次、药物性味归经、常用药对及核心药物组合。结果:纳入临床研究文献93篇,涉及方剂96首,中药141味。给药方式以汤剂口服、药液漱口为主,用药以清热药、补虚药为总纲,具体以甘草、黄连、生地黄为多,药性多为甘、苦、寒,归肺、胃、心、脾经。结论:本研究综合分析了中医临床文献中治疗化疗相关性口腔溃疡的给药方式与用药规律,发现气虚、阴虚火旺是本病的主要病机,治疗上应以补气清热、养阴增液为主要治疗方法。

基于隐含狄利克雷分配模型的消费者在线评论复杂网络构建及其应用

为研究消费者在线评论的相互关系及整体演化发展,以隐含狄利克雷分配模型对消费者在线评论进行话题挖掘为基础,通过Pearson相似度确定评论间话题关系,构建了以评论为节点的复杂网络模型.以京东等平台上的手机评论语料库为例,对相应复杂网络的拓扑特性进行分析.研究表明,相同产品相同规模的评论网络统计特性相近;而相同平台上同一产品不同规模的评论网络性质差异明显,即小规模评论(产品销售初期)构成的网络是一个无标度网络,大规模评论(产品销售中后期)构成的网络演化为一个度分布为钟形分布的小世界网络.揭示了消费者发表在线评论行为之间相互作用,会影响整体评论网络的拓扑性质和演化规律,并为市场营销和管理实践提出了指导性建议.

基于隐含狄利克雷分配模型的图像分类算法

概率隐含语义分析模型不适用于大规模图像数据集,为此,提出一种基于隐含狄利克雷分配模型(LDA)的图像分类算法。以BOF特征作为图像内容的初始描述,利用Gibbs抽样算法近似估算LDA模型参数,得到图像的隐含主题分布特征,并采用k近邻算法对图像进行分类。实验结果表明,与基于概率隐含语义分析模型的分类算法相比,该算法的分类性能较优。

基于改进隐式狄利克雷分布算法的新浪微博话题检测

提出了一个基于改进主题模型的微博话题检测算法。由于传统的主题模型主要适用于传统媒体文字,对短文本的处理效果不是很好。针对微博文本特有的数据结构,在文本聚类时先加入转发特征以及评论特征权重预处理方法。在此基础上,改进了传统的隐含狄利克雷分布主题模型用来提取热点微博数据中的主题。实验证明,与传统相比方法,改进的主题模型解决了传统主题检测方法在应用于短文本时存在的高维稀疏问题。

基于改进主题分布特征的神经网络语言模型

在递归神经网络(RNN)语言模型输入中增加表示当前词所对应主题的特征向量是一种有效利用长时间跨度历史信息的方法。由于在不同文档中各主题的概率分布通常差别很大,该文提出一种使用文档主题概率改进当前词主题特征的方法,并将改进后的特征应用于基于长短时记忆(LSTM)单元的递归神经网络语言模型中。实验表明,在PTB数据集上该文提出的方法使语言模型的困惑度相对于基线系统下降11.8%。在SWBD数据集多候选重估实验中,该文提出的特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.0%;在WSJ数据集上的实验中,该特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.8%,并且在eval92测试集上,改进隐含狄利克雷分布(LDA)特征使RNN效果与LSTM相当。

以LDA为例的大规模分布式机器学习系统分析

针对构建大规模机器学习系统在可扩展性、算法收敛性能、运行效率等方面面临的问题,分析了大规模样本、模型和网络通信给机器学习系统带来的挑战和现有系统的应对方案。以隐含狄利克雷分布(LDA)模型为例,通过对比三款开源分布式LDA系统——Spark LDA、PLDA+和Light LDA,在系统资源消耗、算法收敛性能和可扩展性等方面的表现,分析各系统在设计、实现和性能上的差异。实验结果表明:面对小规模的样本集和模型,Light LDA与PLDA+的内存使用量约为Spark LDA的一半,系统收敛速度为Spark LDA的4至5倍;面对较大规模的样本集和模型,Light LDA的网络通信总量与系统收敛时间远小于PLDA+与Spark LDA,展现出良好的可扩展性。"数据并行+模型并行"的体系结构能有效应对大规模样本和模型的挑战;参数弱同步策略(SSP)、模型本地缓存机制和参数稀疏存储能有效降低网络开销,提升系统运行效率。

基于改进TF-IDF与BERT的领域情感词典构建方法

领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。

基于大数据的智能制造岗位与技能需求研究

在不违反相关协议准则的情况下,通过爬虫技术获取智能制造岗位数据,并对其进行清洗与脱敏处理.应用Jieba中文分词工具、K-means聚类算法与隐含狄利克雷分布(LDA)模型,将岗位名称分为6类,将技能集分为8类.最后,构建需求矩阵并归一化处理,得到各技能集对岗位簇的重要程度,为专业选择、课程建设与从业人员发展提供参考.

基于LDA模型的我国中医药政策主题演化分析

目的/意义分析我国中央层面出台的中医药政策文本内容,识别热点主题并进行主题演化分析。方法/过程检索我国2006—2023年出台的中医药政策,运用隐含狄利克雷分布主题模型分别对各阶段政策文本进行主题提取、热点分析和主题演化分析。结果/结论我国中医药政策关注临床医疗服务、科研与创新、教育事业发展、产业建设和文化传播等多个方面,其不同阶段热点具有独特性,其演化呈现出由基础建设向规范化、精细化、全面化发展的趋势。

国内社区养老服务热点分析——基于LDA模型与生命周期理论

目的/意义梳理现有文献,分析社区养老服务研究的主要方向,为完善社区养老服务提供科学建议。方法/过程通过中国知网数据库获取文献数据,结合生命周期理论,将相关研究历程分为3个阶段,通过LDA模型识别各阶段主题变化,分析该领域研究热点及发展趋势并提出见解。结果/结论国内社区养老服务研究聚焦于养老模式、服务体系建设、农村及社区服务,旨在提供全面、专业的服务,提高服务质量,满足老年人的多元需求。社区养老服务仍是社会关注的热点,未来该领域应加强服务评估、重视人才建设、充分利用数字技术。

监督主题模型的临床文本挖掘和药效预测

患者的临床文本隐含着个体与药效之间的密切联系。针对临床上抗癌药效精准性问题,基于有监督隐含狄利克雷分布(Supervised Latent Dirichlet Allocation,SLDA)构建了一种用于药效二分类预测新方法——伯努利-监督隐含狄利克雷分布(Bernoulli-SLDA,B-SLDA),该模型获得患者临床文本的特征表示,学习到与对应药效标签的映射关系。实验结果表明,对比传统的特征提取方法,所提方法提高了抗肿瘤药物药效预测性能。

在线健康社区中睡眠障碍疾病描述文本主题特征研究

目的/意义通过挖掘睡眠障碍疾病描述文本,深入了解睡眠障碍线上问诊的现状与睡眠障碍用户的在线问诊信息主题特征。方法/过程以“好大夫在线”平台为数据源,利用网络爬虫获取睡眠障碍相关医患信息,使用隐含狄利克雷分布模型识别患者疾病描述的主题。结果/结论睡眠障碍涉及科室较分散、治疗方式以药物为主,线上问诊能改善83.2%患者病情。用户疾病描述主题包括用药情况与咨询、外界环境、症状描述、代问与病因。建议平台与医生关注患者用药预后情况、心理健康状况,注重共病科普工作。

国外智慧旅游政策和理论的主题建模及趋势研究

为理清国外智慧旅游政策和理论的研究热点及趋势,通过LDA(隐含狄利克雷分布)主题模型得出4个政策主题、8个理论主题。分析发现“digital travel(数字旅游)”“intelligent travel(智能旅游)”“smart tourism standards(智慧旅游标准)”是政策文本重点内容。通过主题模型和知识图谱分析学术文本发现,智慧旅游“data mining (数据挖掘)”“smart tourism system(智慧旅游系统)”信息推荐功能日渐显著,游客行为满意度与智慧旅游城市的选择两者之间关系密切。针对研究结论提出强化智慧旅游工作绩效评估机制、完善标准化政策体系、加大政策扶持新力度等建议。

摄影测量与遥感领域主题演化研究——以《ISPRS Journal of Photogrammetry and Remote Sensing》期刊为例

为了便于相关领域的研究人员了解遥感学领域的整体发展状态并进行量化分析,本文以国际摄影测量与遥感学会(ISPRS)官方刊物作为研究数据,从主题挖掘和主题关联的角度出发,在计量分析的基础上,基于隐含狄利克雷分布(LDA)和word2vec的主题演化模型进行分析与研究,重点解决了摄影测量与遥感学领域主题挖掘、学科领域主题关联、学科主题演化建模和主题演化知识图谱等问题,展示了遥感学领域的主题动态演化过程。主题演化研究结果表明:1)主题强度总排名前三的主题分别是激光扫描技术、摄影测量、遥感信息提取与分类;2)随着深度学习的深入发展,遥感学领域的深度学习相关应用研究热度逐渐攀升;3)环境遥感相关方向的研究热度相对稳定,演化关系多局限于相关研究内部。

融合TF-IDF和LDA的中文FastText短文本分类方法

FastText文本分类模型具有快速高效的优势,但直接将其用于中文短文本分类则存在精确率不高的问题.为此提出一种融合词频-逆文本频率(term frequency-inverse document frequency, TF-IDF)和隐含狄利克雷分布(latent Dirichlet allocation, LDA)的中文FastText短文本分类方法.该方法在FastText文本分类模型的输入阶段对n元语法模型处理后的词典进行TF-IDF筛选,使用LDA模型进行语料库主题分析,依据所得结果对特征词典进行补充,从而在计算输入词序列向量均值时偏向高区分度的词条,使其更适用于中文短文本分类环境.对比实验结果可知,所提方法在中文短文本分类方面具有更高的精确率.

基于LDA-HMM的专利技术主题演化趋势分析——以船用柴油机技术为例

如何在专利数据海洋中挖掘技术主题的研究现状、识别具有潜力的研发热点,对企业和国家来说都是至关重要的战略议题。针对目前技术主题演化趋势预测研究中存在的不足:技术创新过程中随机特征的忽视、人工分类的缺陷以及专业术语难以识别等问题,本研究提出一种组合方法,首先使用维特比(Viterbi)算法识别专利文献中的专业术语,其次利用机器学习中的隐含狄利克雷分布(LDA)算法捕捉专利文献中潜在的技术主题聚类,分析各时期技术主题的分布特征和演变规律,然后结合包含双重随机过程的隐马尔可夫模型(HMM)对未来技术趋势进行定量预测,最后以船用柴油机技术为例,应用上述组合方法分析船用柴油机技术的主题分布、演化规律及未来趋势。对比实验显示本文方法具有有效性和实用价值。

主题模型中的参数估计方法综述

主题模型利用快速的机器学习算法从高维稀疏的单词数据中提取出低维的主题表示,实现了对文档单词的聚类。对主题模型中的参数进行估计是该领域的一项重要研究工作。详细描述了概率潜在语义分析模型和潜在狄利克雷模型以及主题模型中基本的参数估计方法,并对模型的困惑度进行了实验比较。

基于LDA和SNA的在线新闻热点识别研究

准确识别在线新闻的热点话题,有助于政府了解社会动向、企业洞察消费需求、学者追踪研究热点。为此,提出一种基于隐含狄利克雷分布和社会网络分析的在线新闻文本热点挖掘模型。首先,借助LDA主题模型对同一时期某一领域的新闻文本进行主题词提取,形成主题词共现结构网络。然后,采用社会网络分析方法对共现网络进行分析,构造主题词语的社会网络结构图谱,进行中心性分析、核心-边缘分析和凝聚子群分析,并以"可持续发展"领域为例,对该领域的热点进行识别。最后,分别与TD-IDF和LDA的主题抽取方法对比,并结合百度指数的验证,发现本文的方法能够有效地反映词语的重要程度和分布情况,具有较强的可移植性。

慕课教学中基于局部社区发现的主题交互模型

针对慕课教学过程中存在的学生能力差异、缺乏针对性等问题,提出一种基于局部社区发现的主题交互模型,对学生能力评估过程进行主题建模,采用局部社区发现算法对学生各方面能力进行合理的等级分类;同时在原有课程实验平台基础上,改进并搭建能够全方位追踪和收集学生行为信息且具有较强交互性的慕课平台。两者结合应用于信号处理系列课程教学实践中,结果表明,主题交互模型对能力评估的准确率明显高于传统考核方式,并且辅以针对性的课堂交流与培养,学生各方面能力均得到不同程度的提高。

基于LDA的改进K-means算法在文本聚类中的应用

针对传统K-means算法初始聚类中心选择的随机性可能导致迭代次数增加、陷入局部最优和聚类结果不稳定现象的缺陷,提出一种基于隐含狄利克雷分布(LDA)主题概率模型的初始聚类中心选择算法。该算法选择蕴含在文本集中影响程度最大的前m个主题,并在这m个主题所在的维度上对文本集进行初步聚类,从而找到聚类中心,然后以这些聚类中心为初始聚类中心对文本集进行所有维度上的聚类,理论上保证了选择的初始聚类中心是基于概率可确定的。实验结果表明改进后算法聚类迭代次数明显减少,聚类结果更准确。