基于JSSh实现身份认证网站信息采集

网络媒体监控系统需要对部分网站进行自动身份认证和网页采集。受到Web自动化功能测试的启发,文中提出了基于JSSh(JavaScript Shell Server)实现身份认证网站发布信息采集方案。最后通过实验证明,与重构身份认证过程数据包交互方式相比,基于JSSh实现身份认证网站发布信息采集的普适性更强,并且实现过程更为简单。实验表明,该方案身份认证成功率高,采集效率也符合网络媒体监控系统对于信息采集实效性的要求。

基于JSSh的信息采集技术研究与实现

该文为了实现对互联网信息的有效监管,在系统信息采集环节,力求实现网站身份的自动化认证,和采集动态化网页信息。提出基于JSSh该脚本交互接口,能够成功实现JSSh客户端通信JSSh服务器,经客户端向服务器发送指令,进而对Firefox浏览器操控即可填写身份认证单,在进行Cookie认证交互处理后便完成了身份自动化认证过程。通过运用Firefox网页排版引擎Gecko对网页动态脚本进行解析,客户端能够根据HTML DOM完成动态化网页内容及链接地址的获取,也就完成了基于JSSh信息采集的全过程。

基于JSSh的元搜索技术研究与应用

全网热点分类汇总与趋势研判始终是互联网舆情监控工作关注的重点,基于传统搜索引擎的元搜索技术在网络热点融合方面优势突出。鉴于此,提出了利用网络浏览器模拟技术构建元搜索引擎的技术方案。选择JSSh(JavaScript Shell Server)作为浏览器模拟技术的核心,方案相对于早期元搜索实现具备归一性与普适性强的优势。最后还初步探讨了元搜索引擎结果整合方法,提出基于用户自定义权重的结果整合方案。