网络爬虫用于电力广域网信息收集的探讨

搜索引擎是互联网的信息检索工具,而信息的收集是搜索引擎的主要工作。随着国家电网公司广域网的发展以及内外网隔离规定的实施,企业内部用户很难检索到所需的信息。针对电力广域网的特点,笔者设计了网络爬虫数据收集框架,并给出了适用于该框架的深度-广度相结合的启发式算法,用Java语言来实现主体框架,快速地为搜索引擎提供了完整的数据源。