基于SSM框架的数据采集系统的设计与实现

随着大数据技术的迅速发展以及智能手机的普及,其应用已渗入到人类社会的各个领域并发挥越来越重要的作用。本系统基于SSM框架的数据采集系统,前台采用的是SpringBoot框架和JSP技术进行开发,后台采用HtmlUnit框架进行爬虫业务的开发,采用MySQL数据库及MongoDB进行数据的存储和支撑,开发模式采用的是B/S模式的Web应用程序。实现了数据抓取配置,数据提取配置,数据抓取,数据excel表格下载,关键字管理,登录,修改密码,退出系统等功能。在设计上具有友好的交互界面,系统用户可以在管理界面上对后台进行爬虫配置。系统用户在配置成功后,开启爬虫,即可不再受任何时间限制地进行数据抓取了。