期刊文献+
共找到362篇文章
< 1 2 19 >
每页显示 20 50 100
Semi-supervised Document Clustering Based on Latent Dirichlet Allocation (LDA) 被引量:2
1
作者 秦永彬 李解 +1 位作者 黄瑞章 李晶 《Journal of Donghua University(English Edition)》 EI CAS 2016年第5期685-688,共4页
To discover personalized document structure with the consideration of user preferences,user preferences were captured by limited amount of instance level constraints and given as interested and uninterested key terms.... To discover personalized document structure with the consideration of user preferences,user preferences were captured by limited amount of instance level constraints and given as interested and uninterested key terms.Develop a semi-supervised document clustering approach based on the latent Dirichlet allocation(LDA)model,namely,pLDA,guided by the user provided key terms.Propose a generalized Polya urn(GPU) model to integrate the user preferences to the document clustering process.A Gibbs sampler was investigated to infer the document collection structure.Experiments on real datasets were taken to explore the performance of pLDA.The results demonstrate that the pLDA approach is effective. 展开更多
关键词 supervised clustering document latent dirichlet instance captured constraints labeled interested
下载PDF
Fuzzy Based Latent Dirichlet Allocation for Intrusion Detection in Cloud Using ML
2
作者 S.Ranjithkumar S.Chenthur Pandian 《Computers, Materials & Continua》 SCIE EI 2022年第3期4261-4277,共17页
The growth of cloud in modern technology is drastic by provisioning services to various industries where data security is considered to be common issue that influences the intrusion detection system(IDS).IDS are consi... The growth of cloud in modern technology is drastic by provisioning services to various industries where data security is considered to be common issue that influences the intrusion detection system(IDS).IDS are considered as an essential factor to fulfill security requirements.Recently,there are diverse Machine Learning(ML)approaches that are used for modeling effectual IDS.Most IDS are based on ML techniques and categorized as supervised and unsupervised.However,IDS with supervised learning is based on labeled data.This is considered as a common drawback and it fails to identify the attack patterns.Similarly,unsupervised learning fails to provide satisfactory outcomes.Therefore,this work concentrates on semi-supervised learning model known as Fuzzy based semi-supervised approach through Latent Dirichlet Allocation(F-LDA)for intrusion detection in cloud system.This helps to resolve the aforementioned challenges.Initially,LDA gives better generalization ability for training the labeled data.Similarly,to handle the unlabelled data,Fuzzy model has been adopted for analyzing the dataset.Here,preprocessing has been carried out to eliminate data redundancy over network dataset.In order to validate the efficiency of F-LDA towards ID,this model is tested under NSL-KDD cup dataset is a common traffic dataset.Simulation is done inMATLAB environment and gives better accuracy while comparing with benchmark standard dataset.The proposed F-LDAgives better accuracy and promising outcomes than the prevailing approaches. 展开更多
关键词 Cloud security fuzzy model latent dirichlet allocation PREPROCESSING NSL-KDD
下载PDF
基于LDA模型和意象图式的产品隐喻设计方法研究
3
作者 侯士江 卫建君 +3 位作者 孙宇辰 鲁莹 王佳棋 廉博杰 《包装工程》 CAS 北大核心 2024年第16期138-149,170,共13页
目的为实现隐喻设计方法的喻体选择和隐喻转译,结合LDA模型和意象图式提出一种新型产品隐喻设计方法。方法应用LDA聚类分析始源域中事件的情绪体验,获取用户在始源域中的主题喻体。基于深度访谈和图式表征分析提取意象图式,并通过AHP评... 目的为实现隐喻设计方法的喻体选择和隐喻转译,结合LDA模型和意象图式提出一种新型产品隐喻设计方法。方法应用LDA聚类分析始源域中事件的情绪体验,获取用户在始源域中的主题喻体。基于深度访谈和图式表征分析提取意象图式,并通过AHP评价排序获取重要图式转译因子。将图式因子进行组合表述,联想产品相应功能特征,完成意象喻体到产品主体的转译。结果以减压产品为例进行设计实践,通过LDA聚类获取了感官放松、情感满足、体验良性发展、探索未知、无意识本能、体能释放六大主题与相应模态,以及与主题对应的图示因子,并以可视化桌面蓝牙音箱为设计载体,从视觉、听觉和触觉模态介入,结合图式联想完成了音乐播放、探索互动、自动休眠和情绪释放4个功能隐喻设计。利用加权算法对设计方案进行测试评估,验证了设计方法的合理性。结论从隐喻设计现状出发,探索了基于LDA模型和意象图式的产品隐喻设计方法并加以实践,验证理论与方法的可行性与有效性,为产品隐喻设计乃至其他情感价值类产品的设计研究提供了优质案例与借鉴。 展开更多
关键词 产品设计 隐喻设计 lda模型 意象图式
下载PDF
基于LDA主题模型的智慧健康养老服务与管理人才岗位需求分析 被引量:1
4
作者 达朝锦 吴臣 +4 位作者 蔡婷婷 吉珍颖 陈佳琳 苗晓琦 袁长蓉 《护士进修杂志》 2024年第6期664-669,共6页
目的应用潜在狄利克雷分配(LDA)主题模型挖掘养老服务与管理人才的岗位需求,为相关人才培养提供依据。方法采用Python程序软件抓取前程无忧、智联招聘、猎聘网、养老网、丁香人才网等网站上与养老服务与管理人才相关的招聘信息,并进行... 目的应用潜在狄利克雷分配(LDA)主题模型挖掘养老服务与管理人才的岗位需求,为相关人才培养提供依据。方法采用Python程序软件抓取前程无忧、智联招聘、猎聘网、养老网、丁香人才网等网站上与养老服务与管理人才相关的招聘信息,并进行数据清洗,借助LDA主题模型对数据进行主题识别,分析岗位需求。结果共采集招聘信息3684条。数据清洗后获得2120条有效数据,包含健康照护类1161条,经营与管理类959条。招聘信息主要分布在华东、华北和华南地区。2类岗位各自析出8个岗位需求主题,按照主题强度,健康照护岗位析出的需求主题依次为:性格品质、生活及心理照料能力、疾病照料能力、职业礼仪和态度、急救与安全照料能力、职业通用能力、活动组织及服务管理能力、信息技术和老年政策法规知识;经营与管理岗位析出的需求主题依次为:机构运营管理能力、性格品质、市场开发与定位能力、客户维护与产品销售能力、职业礼仪和态度、职业通用能力、活动组织和策划能力、信息技术和老年政策法规知识。结论健康照护和经营与管理岗位知识和技能需求存在差异,但两者均重视养老服务与管理人才的人文素养和信息化应用能力,上述需求特征可为相关人才培养提供一定参考。 展开更多
关键词 lda主题模型 养老服务与管理 网络招聘 岗位需求
下载PDF
国内社区养老服务热点分析——基于LDA模型与生命周期理论
5
作者 殷彩明 袁永旭 +2 位作者 王涟 孙一凡 陈俊冶 《医学信息学杂志》 CAS 2024年第10期47-52,97,共7页
目的/意义梳理现有文献,分析社区养老服务研究的主要方向,为完善社区养老服务提供科学建议。方法/过程通过中国知网数据库获取文献数据,结合生命周期理论,将相关研究历程分为3个阶段,通过LDA模型识别各阶段主题变化,分析该领域研究热点... 目的/意义梳理现有文献,分析社区养老服务研究的主要方向,为完善社区养老服务提供科学建议。方法/过程通过中国知网数据库获取文献数据,结合生命周期理论,将相关研究历程分为3个阶段,通过LDA模型识别各阶段主题变化,分析该领域研究热点及发展趋势并提出见解。结果/结论国内社区养老服务研究聚焦于养老模式、服务体系建设、农村及社区服务,旨在提供全面、专业的服务,提高服务质量,满足老年人的多元需求。社区养老服务仍是社会关注的热点,未来该领域应加强服务评估、重视人才建设、充分利用数字技术。 展开更多
关键词 社区养老服务 隐含狄利克雷分布模型 生命周期
下载PDF
基于LDA和ISM模型的疫苗接种意愿研究
6
作者 马丽荣 洪小娟 +1 位作者 郑惠莉 吴林海 《江苏科技大学学报(自然科学版)》 CAS 2024年第1期104-110,共7页
从信息化语境中挖掘社交媒体平台中的舆情数据,尝试更加系统地分析新冠疫苗接种意愿多重影响因素间的关系.利用网络爬虫技术抓爬社交媒体Twitter平台中的数据,借助潜在狄利克雷分配(latent Dirichlet allocation,LDA)模型识别影响新冠... 从信息化语境中挖掘社交媒体平台中的舆情数据,尝试更加系统地分析新冠疫苗接种意愿多重影响因素间的关系.利用网络爬虫技术抓爬社交媒体Twitter平台中的数据,借助潜在狄利克雷分配(latent Dirichlet allocation,LDA)模型识别影响新冠疫苗接种意愿的因素,并运用解释结构模型方法(interpretative structural modeling method,ISM)辅助建模,构建多级层次递阶结构模型,梳理和分析各项影响因素之间的逻辑层次关系.结果表明:通过LDA和ISM模型可以对获取到的因素集进行结构化处理,并根据ISM模型的逻辑结构,将影响新冠疫苗接种意愿的4个层级划分为深层、中间层和表层,不同层级对疫苗接种意愿的影响程度不同.研究结果可为提升民众对新冠疫苗的接受意愿和接种倾向提供相应的决策支持和参考价值. 展开更多
关键词 新冠疫苗 接种意愿 潜在狄利克雷分配 解释结构模型
下载PDF
一种新的目标检测方法:Latent Dirichlet classification 被引量:3
7
作者 丁轶 郭乔进 李宁 《南京大学学报(自然科学版)》 CSCD 北大核心 2012年第2期214-220,共7页
图像目标检测的任务是通过对图像分块或者分区域提取特征,进行学习和分类,从而检测出目标在图像中的位置.基于潜在迪利克雷分布模型,提出一种应用于目标检测的主题模型latentDirichlet classification(LDC),结合图像连续值局部特征和共... 图像目标检测的任务是通过对图像分块或者分区域提取特征,进行学习和分类,从而检测出目标在图像中的位置.基于潜在迪利克雷分布模型,提出一种应用于目标检测的主题模型latentDirichlet classification(LDC),结合图像连续值局部特征和共生关系来进行目标检测.LDC模型将latentDirichlet allocation(LDA)生成的主题信息作为权重赋予样本,生成多份样本,然后利用多份样本训练多个分类器进行集成分类.实验结果表明利用LDC模型能有效提高检测精度. 展开更多
关键词 潜在迪利克雷分布 目标检测 变分推理 主题模型
下载PDF
基于无监督LDA的水电工程施工安全事故致因分析 被引量:1
8
作者 陈述 孙孟文 +3 位作者 陈云 聂本武 李智 刘文濯 《中国安全科学学报》 CAS CSCD 北大核心 2023年第10期79-85,共7页
为实现水电工程施工安全事故报告中致因的智能挖掘,首先,利用Jieba库分词处理1206条事故分析报告,提出事故分析文本词频-逆文档频率(TF-IDF)关键词处理算法,确定词频权重并构建事故文本词向量;然后,基于TF-IDF特征,训练无监督隐含狄利... 为实现水电工程施工安全事故报告中致因的智能挖掘,首先,利用Jieba库分词处理1206条事故分析报告,提出事故分析文本词频-逆文档频率(TF-IDF)关键词处理算法,确定词频权重并构建事故文本词向量;然后,基于TF-IDF特征,训练无监督隐含狄利克雷分布(LDA)主题模型,提取事故主题及主题词;最后,对主题词进行社会网络分析,揭示事故要素间的潜在关系,智能输出水电工程施工安全事故成因。结果表明:LDA主题模型能快速挖掘出大量有效事故数据信息,并计算出安全意识、事故隐患、违章行为等5个事故主题。致因自动分析结果显示,违规违章操作、未掌握安全操作技术、材料设备问题、违反施工程序、作业环境条件不良是导致水电工程施工安全事故的最主要原因。加强施工人员的行为监管,提高事故主要致因的预防能力,有助于提升水电工程施工安全管控水平。 展开更多
关键词 水电工程 施工安全事故 无监督隐含狄利克雷分布(lda)主题模型 事故致因 社会网络分析 因子分析
下载PDF
基于LDA主题模型的网络问答社区妊娠合并糖尿病孕产妇健康信息需求分析 被引量:8
9
作者 马誉萁 侯小妮 +4 位作者 段红梅 徐杨 陈延亭 李博文 金宁宁 《护理学杂志》 CSCD 北大核心 2023年第7期86-89,124,共5页
目的 应用LDA主题模型挖掘妊娠合并糖尿病孕产妇信息需求,为医护人员开展有效信息服务提供参考。方法 采用网络爬虫程序获取网络问答社区妊娠合并糖尿病板块的用户问答数据,采用LDA主题模型对数据进行主题识别,分析信息需求。结果 通过... 目的 应用LDA主题模型挖掘妊娠合并糖尿病孕产妇信息需求,为医护人员开展有效信息服务提供参考。方法 采用网络爬虫程序获取网络问答社区妊娠合并糖尿病板块的用户问答数据,采用LDA主题模型对数据进行主题识别,分析信息需求。结果 通过对126 616条数据的LDA主题分析,妊娠合并糖尿病孕产妇的信息需求包括8类:母儿危害与检查,母儿自我监护,营养体质量控制与胎儿生长发育,筛查与产检,病友经验分享与情感支持,细分食物类别的选择与升糖效应,分娩及产后母婴健康管理,血糖调控与餐食、胰岛素用药。结论 妊娠合并糖尿病孕产妇的信息需求多元、专业、精细化,包括认知、生理、情感等多个维度,医护人员应发挥医患共同信息服务主体作用,针对妊娠合并糖尿病孕产妇提供专业、精细、全面的信息服务。 展开更多
关键词 妊娠合并糖尿病 健康信息需求 网络问答社区 lda主题模型 孕期保健 围生期护理
下载PDF
基于LDA主题模型的湖泊公园生态系统文化服务公众感知研究 被引量:3
10
作者 张怡 裘鸿菲 《中国园林》 CSCD 北大核心 2023年第7期121-126,共6页
湖泊公园是城市蓝绿空间的重要类型之一,开展湖泊公园生态系统文化服务感知量化研究,对保护生态环境和提升游憩空间质量具有重要意义。以武汉市8个典型湖泊公园为研究对象,爬取公园网络评论数据,利用LDA主题模型挖掘潜在主题,结合社会... 湖泊公园是城市蓝绿空间的重要类型之一,开展湖泊公园生态系统文化服务感知量化研究,对保护生态环境和提升游憩空间质量具有重要意义。以武汉市8个典型湖泊公园为研究对象,爬取公园网络评论数据,利用LDA主题模型挖掘潜在主题,结合社会网络分析法和情感分析模型,并对比问卷调查结果,探讨湖泊公园生态系统文化服务感知差异。结果表明:湖泊公园生态系统文化服务公众感知维度有休闲娱乐、审美体验、运动健康、社交互动、历史文化和科普教育;主导服务类型是休闲娱乐和审美体验,而科普教育是最不易被感知的;公园可达性、周边文化建设、园内基础设施及自身特色是影响感知频率和满意度的主要因素;不同年龄段人群的使用需求和活动类型差异对感知满意度有一定影响。因此,未来湖泊公园的建设可在科普主题活动举办、特色湖泊文化景观、公园配套服务设施、生态环境治理等方面进一步完善,并关注多年龄段人群需求,从而提升公园服务品质。 展开更多
关键词 风景园林 生态系统文化服务 公众感知 lda主题模型 情感分析 湖泊公园
下载PDF
基于LDA模型的专利文本主题分析——以国内元宇宙领域为例 被引量:2
11
作者 陆振昇 马超 《科技和产业》 2023年第11期85-88,共4页
为了探究元宇宙作为新兴产业的热点,解决国内元宇宙领域研究重点不明确的问题,提出使用LDA主题模型的专利文本分析方法。将LDA主题模型运用到国内元宇宙领域相关专利文本分析中,结合人为判断和主题困惑度的方法,实现了对专利技术主题的... 为了探究元宇宙作为新兴产业的热点,解决国内元宇宙领域研究重点不明确的问题,提出使用LDA主题模型的专利文本分析方法。将LDA主题模型运用到国内元宇宙领域相关专利文本分析中,结合人为判断和主题困惑度的方法,实现了对专利技术主题的识别和划分。通过实验分析得出结论:人工智能、区块链、云计算等是当前中国元宇宙产业应用专利的热点技术;通过LDA主题模型分析国内元宇宙的专利文本,可以实现其技术热点主题的分类和细分判别,可以为未来的行业发展提供建议。 展开更多
关键词 lda主题模型 元宇宙 专利文本分析
下载PDF
政策工具视域下我国省级数字经济政策文本的量化分析——基于LDA的主题社会网络分析 被引量:8
12
作者 陈美 孙瑞乾 《情报杂志》 北大核心 2023年第11期174-182,共9页
[研究目的]数字经济发展如火如荼,各地方政府纷纷颁布数字经济发展的地方法规和规范性文件。开展省级层面数字经济政策的研究,力图为我国数字经济发展和政策制定提供参考。[研究方法]基于政策工具理论,采用效词分析法,运用LDA主题模型,... [研究目的]数字经济发展如火如荼,各地方政府纷纷颁布数字经济发展的地方法规和规范性文件。开展省级层面数字经济政策的研究,力图为我国数字经济发展和政策制定提供参考。[研究方法]基于政策工具理论,采用效词分析法,运用LDA主题模型,对截至2022年12月现行有效的24个省份综合性政策文本进行无监督的机器学习分析,以厘清各政策文本隐含关系。同时,借助社会网络分析计算主题特征词的关联程度,从可视化层面佐证LDA模型结果。[研究结论]现有数字经济政策辐射社会各领域,既包括常规性发展重点,也关注新兴社会问题和现行制度漏洞,但存在对供给型政策工具依赖过多,导致政策工具使用比例失衡和“强制性”治理理念主导。为此,优化配置政策工具、避免政府为中心的公共政策范式、促进政策目标、执行与体系的良性耦合和转变政策监管态度成为我国省级层面数字经济政策的未来发展路径。 展开更多
关键词 数字经济 政策工具 政策文本 lda主题模型 文本挖掘 社会网络分析
下载PDF
基于LDA主题模型的杭州市公园季节性公共服务价值
13
作者 侯力丹 卢群 林帅君 《中国城市林业》 2023年第3期109-116,132,共9页
季节对公园的公共服务价值具有显著影响,明确游客对于公园季节性公共服务价值的关注度及态度有助于提高公园的服务质量。文章以“大众点评”上游客对杭州市公园的评价文本为研究对象,基于LDA主题模型对公园季节性公共服务价值属性及游... 季节对公园的公共服务价值具有显著影响,明确游客对于公园季节性公共服务价值的关注度及态度有助于提高公园的服务质量。文章以“大众点评”上游客对杭州市公园的评价文本为研究对象,基于LDA主题模型对公园季节性公共服务价值属性及游客的关注度进行研究,并利用SnowNLP对评价文本中游客的情感变化进行分析。结果表明:春季和秋季游客主要关注以自然风光为主的游赏价值,夏季游客对公园的功能服务价值具有最高的关注度,冬季公园的休闲娱乐价值是游客最在意的方面,此外,游客对于不同季节的公园的公共服务价值普遍给予较为积极的评价,其中游赏价值、功能服务价值和休闲娱乐价值对游客的情感具有显著的影响。因此,公园的建设与发展应充分考虑公共服务价值随季节的变化,并根据游客诉求进行灵活调整。 展开更多
关键词 潜在狄利克雷分布主题模型 网络文本 简体中文文本处理 季节性公共服务价值 杭州市公园
下载PDF
民航管制安全风险主题时空分布规律研究 被引量:1
14
作者 陈芳 温抗抗 +1 位作者 张亚博 邹汶倩 《安全与环境学报》 CAS CSCD 北大核心 2024年第2期587-595,共9页
为了探究民航管制安全风险的时空分布规律,基于潜在迪利克雷分布(Latent Dirichlet Allocation,LDA)主题模型识别出民航管制安全风险主题,定义民航管制安全风险主题强度的定量测度指标,运用全局空间自相关分析和冷热点分析对民航管制安... 为了探究民航管制安全风险的时空分布规律,基于潜在迪利克雷分布(Latent Dirichlet Allocation,LDA)主题模型识别出民航管制安全风险主题,定义民航管制安全风险主题强度的定量测度指标,运用全局空间自相关分析和冷热点分析对民航管制安全风险主题的时空分布规律进行研究。结果表明:利用LDA主题模型识别出“管制员指令错误风险”等10个管制安全风险主题;“管制员指令错误风险”主题存在较弱的全局空间自相关性,在2018—2021年,全局Moran’s I总体呈现波动增长的趋势;在2018—2021年,“管制员指令错误风险”主题强度高值聚集的区域由西南向东南转移,高值聚集区域数量变少,且不稳定,低值聚集区域发生转移并在2020年后保持稳定。通过全局空间自相关分析和冷热点分析确定了2018—2021年中国民航不同管制区域的管制安全风险的时空分布格局,为局方进行差异化的安全监管提供决策支持。 展开更多
关键词 安全工程 文本挖掘 时空分布规律 潜在迪利克雷分布(lda) 空间自相关 空中交通管制
下载PDF
基于词嵌入的科研主题排序研究
15
作者 何东彬 陶莎 +1 位作者 任延昭 朱艳红 《北方工业大学学报》 2024年第1期136-149,共14页
为准确把握科研领域内文献主题的发展变化,常利用隐式语义特征提取科研主题分布。但由于主题挖掘技术本身的限制,并非所有主题都具有同等重要性或意义。有些主题可能包含太多背景词,信息空泛,或者主题词之间缺乏连贯性,导致主题缺乏实... 为准确把握科研领域内文献主题的发展变化,常利用隐式语义特征提取科研主题分布。但由于主题挖掘技术本身的限制,并非所有主题都具有同等重要性或意义。有些主题可能包含太多背景词,信息空泛,或者主题词之间缺乏连贯性,导致主题缺乏实际意义。针对上述问题,在已有研究基础上,基于词嵌入,提出一种新的多维度评估主题质量算法;针对科研文档的特点,利用语料库的统计特征对无意义主题距离评估方法进行优化,并最终将二者融合到一个统一的主题排序框架中。实验结果表明,本文提出的方法可以有效提高主题排序整体效果,能够识别出非重要和质量差的主题,主题排序的整体效果优于现有方法。 展开更多
关键词 主题模型 潜在狄利克雷分配(lda) 主题排序 科研主题 词嵌入
下载PDF
基于改进TF-IDF与BERT的领域情感词典构建方法 被引量:1
16
作者 蒋昊达 赵春蕾 +1 位作者 陈瀚 王春东 《计算机科学》 CSCD 北大核心 2024年第S01期150-158,共9页
领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于... 领域情感词典的构建是领域文本情感分析的基础。现有的领域情感词典构建方法存在所筛选候选情感词冗余度高、情感极性判断失准、领域依赖性强等问题。为了提高所筛选候选情感词的领域性和判断领域情感词极性的准确程度,提出了一种基于改进词频-逆文档频率(TF-IDF)与BERT的领域情感词典构建方法。该方法在筛选领域候选情感词阶段对TF-IDF算法进行改进,将隐含狄利克雷分布(LDA)算法与改进后的TF-IDF算法结合,进行领域性修正,提升了所筛选候选情感词的领域性;在候选情感词极性判断阶段,将情感倾向点互信息算法(SO-PMI)与BERT结合,利用领域情感词微调BERT分类模型,提高了判断领域候选情感词情感极性的准确程度。在不同领域的用户评论数据集上进行实验,结果表明,该方法可以提高所构建领域情感词典的质量,使用该方法构建的领域情感词典用于汽车领域和手机领域文本情感分析的F1值分别达到78.02%和88.35%。 展开更多
关键词 情感分析 领域情感词典 词频-逆文档频率 隐含狄利克雷分布 情感倾向点互信息算法 BERT模型
下载PDF
一种改进的LDA主题模型 被引量:47
17
作者 张小平 周雪忠 +3 位作者 黄厚宽 冯奇 陈世波 焦宏官 《北京交通大学学报》 CAS CSCD 北大核心 2010年第2期111-114,共4页
由于文档中的词符合幂律分布,使得LDA模型的主题分布向高频词倾斜,导致能够代表主题的多数词被少量的高频词淹没使得主题表达能力降低.通过一种高斯函数对特征词加权,改进LDA主题模型的主题分布.实验显示加权LDA模型获得的主题间的相关... 由于文档中的词符合幂律分布,使得LDA模型的主题分布向高频词倾斜,导致能够代表主题的多数词被少量的高频词淹没使得主题表达能力降低.通过一种高斯函数对特征词加权,改进LDA主题模型的主题分布.实验显示加权LDA模型获得的主题间的相关性以及复杂度(Perplexity)值都降低,说明改进模型在主题表达和预测性能方面都有所提高. 展开更多
关键词 lda dirichlet分布 加权主题模型
下载PDF
基于LDA模型的文本分割 被引量:54
18
作者 石晶 胡明 +1 位作者 石鑫 戴国忠 《计算机学报》 EI CSCD 北大核心 2008年第10期1865-1873,共9页
文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,获取词汇的概率分布,使隐藏于片段内的不同主题... 文本分割在信息提取、文摘自动生成、语言建模、首语消解等诸多领域都有极为重要的应用.基于LDA模型的文本分割以LDA为语料库及文本建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,获取词汇的概率分布,使隐藏于片段内的不同主题与文本表面的字词建立联系.实验以汉语的整句作为基本块,尝试多种相似性度量手段及边界估计策略,其最佳结果表明二者的恰当结合可以使片段边界的识别错误率远远低于其它同类算法. 展开更多
关键词 文本分割 lda模型 相似性度量 边界识别
下载PDF
基于Labeled-LDA模型的文本分类新算法 被引量:103
19
作者 李文波 孙乐 张大鲲 《计算机学报》 EI CSCD 北大核心 2008年第4期620-627,共8页
LDA(Latent Dirichlet Allocation)模型是近年来提出的一种能够提取文本隐含主题的非监督学习模型.通过在传统LDA模型中融入文本类别信息,文中提出了一种附加类别标签的LDA模型(Labeled-LDA).基于该模型可以在各类别上协同计算隐含主题... LDA(Latent Dirichlet Allocation)模型是近年来提出的一种能够提取文本隐含主题的非监督学习模型.通过在传统LDA模型中融入文本类别信息,文中提出了一种附加类别标签的LDA模型(Labeled-LDA).基于该模型可以在各类别上协同计算隐含主题的分配量,从而克服了传统LDA模型用于分类时强制分配隐含主题的缺陷.与传统LDA模型的实验对比表明:基于Labeled-LDA模型的文本分类新算法可以有效改进文本分类的性能,在复旦大学中文语料库上micro-F1提高约5.7%,在英文语料库20newsgroup的comp子集上micro-F1提高约3%. 展开更多
关键词 文本分类 图模型 隐含狄利克雷分配 变分推断
下载PDF
基于LDA主题模型的文本相似度计算 被引量:97
20
作者 王振振 何明 杜永萍 《计算机科学》 CSCD 北大核心 2013年第12期229-232,共4页
LDA(Latent Dirichlet Allocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于LDA主题模型的文本相似度计算方法,该方法利用LDA为语料库建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,挖掘隐藏... LDA(Latent Dirichlet Allocation)模型是近年来提出的一种具有文本表示能力的非监督学习模型。提出了一种基于LDA主题模型的文本相似度计算方法,该方法利用LDA为语料库建模,利用MCMC中的Gibbs抽样进行推理,间接计算模型参数,挖掘隐藏在文本内的不同主题与词之间的关系,得到文本的主题分布,并以此分布来计算文本之间的相似度,最后对文本相似度矩阵进行聚类实验来评估聚类效果。实验结果表明,该方法能够明显提高文本相似度计算的准确率和文本聚类效果。 展开更多
关键词 主题模型 lda 文本相似度 GIBBS抽样
下载PDF
上一页 1 2 19 下一页 到第
使用帮助 返回顶部