基于Python语言的互联网数据收集软件的设计

随着数据的开放,互联网上公布的许多数据均可为科研所用。利用人工收集的方法获取这些数据费时费力,而采用网络爬虫技术采集这些数据可有效的提升我们的工作效率。本文利用Python语言及其丰富的第三方库,编写了对空气质量,气象等各类数据进行抓取的爬虫,并为其设计GUI,将其打包成可以在Windows下运行的软件。该软件操作简单,界面友好,对非计算机专业的人员运用网络爬虫收集科研数据提供了便利条件。