抓取HTTP协议POST文本数据方法设计

现如今,基于HTTP协议的POST文本量越来越多,有选择性地抓取这种类型的文本数据可以丰富Web挖掘技术的语料库。通过研究带有persistent cookie的POST请求,设计了一种抓取POST文本数据的方法。在设置好各项参数后,可以抓取大量文档,操作简单,可行性强。在抓取类似POST请求的文本数据时,更改几项参数即可实现批量抓取文本数据的目的。