股票日线数据网上分布式抓取的设计与实现

本文主要对数据量大、更新快的股票行情数据采用网上分布式抓取的设计和实现,使用了Java网页抓取分析技术、Oracle存储技术和分布式设计,有效提高了数据抓取速度和数据量。对此,本文将采用Java网页抓取分析技术、Oracle存储技术、分布式设计,来实现股票日线行情数据的网上分布式抓取。关键技术本文主要用到了如下关键技术:1 Java网页抓取技术使用Java的URL类实现对网页数据的抓取。