基于Scrapy和casperjs的电子商务网站信息采集系统研究

针对大数据时代用户对电子商务信息采集与分析的需求,设计并实现了一个高扩展性的基于Scrapy的电商网站信息采集系统,能解决异步数据加载带来的数据采集困难的问题,系统采用了casperjs、redis、graphite等框架和技术进一步增强了对电商内容爬取的适应能力和可扩展性。系统能够工作在云计算环境下,具有非常高的应用价值。

基于CasperJS的Web自动化测试的研究与应用

目前自动化测试越来越多的应用到了Web测试中,也出现了一些优秀的自动化测试工具。但目前的大多工具都存在着学习成本高、对语言依赖性强、不够灵活等缺点。针对这种情况,提出运用CasperJS进行Web自动化测试,研究CasperJS相关知识的基础上通过对新浪微博登录功能的自动化测试展示了它的使用方法,实验结果表明使用CasperJS进行Web自动化测试具有快速、简洁等诸多优点。