基于Scrapy的高性能网站状态批量采集系统

为实现对网站是否可用、域名解析是否发生变化、页面响应速度是否正常等状态的监测,需要定时批量采集上述信息,本文基于Scrapy框架设计并实现高性能网站状态批量采集系统。利用Scrapy异步IO框架高吞吐量的特点,可在短时间内完成大批量网站状态信息采集工作,能够有效地支撑后续网站状态监测分析。

网站故障 短信提醒

网站状态监测服务很多，之前介绍过的“网站保姆”便可在网站发生不能连接的故障后．第一时间发送邮件来提醒站长。但如果你不经常收发邮件，那么此时还是不能获知自己网站瘫痪的信息。这时不妨试试MonitorX.cn提供的网站监控服务，它不仅可使用邮件通知用户，还可发送免费短信使站长及时了解网站的运行状况。