基于Nutch爬虫的电商交易价格统计研究

将电商交易数据纳入价格指数架构是目前统计工作关注的焦点。应用大数据技术,将Nutch爬虫搭建在分布式集群上,构建分布式网络数据抓取系统,同时结合最新的AP聚类算法对数据进行预处理,然后对网上数据进行价格指数建模,进行价格指数试算。试算结果表明:基于分布式集群下的Nutch网络爬虫技术较好地完成了网络交易数据抓取任务。因此,计算的网上交易数据价格指数可较好地反映市场价格变化趋势。

电商数据的爬取及价格模型的建立

随着电商交易量和用户数的不断增加,一方面在电商营销过程中商家调价的频率和幅度都有所增加;另一方面面对众多选择消费者难以对自己所需的商品有准确的价格估计,也无从判断现在是否处于价格高地。笔者用网络爬虫程序获取了知名大型电子商务平台以电脑为例的多个时刻的商品数据,提取有效信息字段并进行量化,最终通过多元线性回归建立了商品价格模型,并对模型的进一步应用进行了展望。