摘要
针对新闻组的海量性及相关编码特点设计新闻帖抓取流程,采用多线程方式加快新闻帖的抓取及解析速度,同时设计一种便于海量数据断点续传的数据存储结构,通过实验采集验证该方法能有效达到信息检测的数据采集要求,抓取及解析新闻帖的速度比普通单线程抓取解析方式有显著提高。
A usenet - snatcher is designed based on multithread to improve the download - speed and MIME - parsing - speed and a storage schema supporting breakpoint transmission is also proposed. Experiment shows that the usenet - snatcher can gather articles effectively and gathering - speed under muhithread is faster than single thread.
出处
《现代图书情报技术》
CSSCI
北大核心
2011年第2期29-33,共5页
New Technology of Library and Information Service
基金
国家十一五科技支撑计划子课题"网络科技信息监测与评价"(项目编号:2006BAH03B05)的研究成果之一
