基千爬虫技术的web招聘数据挖掘研究

【目的/意义】挖掘和分析网络招聘数据中的工作信息,发现大规模网络数据中的知识。【方法/过程】数据采用网络爬虫技术获取,多态数据进行数字化,中文分词、去重复和停止词过滤。【结果/结论】大数据相关职业的职业差距仍然很大,一线城市占据了大多数职位,与大数据相关的职业具有一定的特点,如教育和专业要求。【局限/改进】因为每个招聘网站的发布格式不统一,数据的重复使得数据清理过程十分烦琐,利用深入学习进行改进。