金融信息服务系统技术框架研究

金融资讯数据是投资者进行投资决策、券商投研部门进行研究和撰写研究报告的重要依据.从金融资讯数据的数据整合与存储、信息检索和资讯推荐三个层次出发,提出了一种创新的金融信息服务系统技术框架,并在此基础上描述了国泰君安金融资讯与统一检索平台的构建方案.平台还在数据整合、数据存储、信息检索、去重机制、资讯推荐等多个方面实现了技术创新,为金融行业构建信息服务系统提供了有益的示范与参考.

面向BitTorrent种子文件获取的网络爬虫技术研究

分析了当前主题爬虫在面向BT种子文件获取应用上存在的问题,从提高BT种子获取速率、提高覆盖率和降低种子获取延时的角度出发,提出了基于Hash的去重机制,给出了爬虫自动登录的实现方法,设计了AJAX页面解析引擎,提出批量抓取和增量抓取相结合的数据抓取机制、历史数据和更新数据相结合的数据存储机制。通过设计并实现一个基于爬虫方式的BT种子文件获取系统证明了这几种方法能使系统整体性能平均提高30%～50%。这些技术和方法也可应用于其他主题爬虫。