基于Python Scrapy爬取技术、朴素贝叶斯算法的网页链接及文本抓取研究

针对日常文本信息、图片信息的爬取调用需求,基于Python Scrapy、Graphite监测组件、Redis数据库等软硬件,建构起分布式自然语言爬取处理的系统架构,设置网络爬虫集群、数据清洗、数据分类、数据存储的功能模块,作出数据清洗过滤、数据字符转码、数据对象添加,使用朴素贝叶斯算法对中文语料库内涉及的文本词汇信息、图像信息,作出高效词图扫描、词频特征提取,使用贝叶斯评估模式完成网络新闻数据评论、舆论导向的输出情绪分析,整合为采集数据分析表格,以便于网络自然语言的自动化识别、过滤、提取与存储。