基于Lingpipe的煤炭领域科研信息监测分析平台设计与实现

针对网络环境下文本挖掘技术在煤炭领域科研信息监测分析平台中的应用,首先对基于Web方式的文本挖掘开源工具比较分析,然后利用开源工具从基本特征提取、主题词抽取、自动分类和主题聚类等几个环节展开应用,最后利用TF-IDF算法实现煤炭领域热点主题趋势对比分析,为准确把握煤炭领域热点动态信息提供参考依据。

基于Lingpipe的文本情感分析

互联网的迅速普及给网络舆情的发展带来巨大机遇和挑战,本研究使用Lingpipe开源软件包进行情感分析,不仅能为网络舆情分析提供新的方法,还能为Lingpipe应用和情感分析算法的深入研究提供参考。研究先重写了Linpipe的中文分词模块,优化其分词效果。随后使用Lingpipe的杰卡德距离算法对文本数据进行去重,然后使用朴素贝叶斯分类器和某热点舆情事件通过微博数据建立情感分析模型,以及使用LDA主题模型对情感分析后的积极和消极文本进行主题提取。最后分析出该舆情事件的积极观点和消极观点,以验证Lingpipe文本的情感分析效果。