基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如:海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。

MongoDB在期刊数据库日志管理应用的探析--以上海图书馆《全国报刊索引》全文库为例

随着读者访问民国全文数据库的快速增长和下载量的增大,后台的日志数据量和并发量也急剧增长,需要找到适宜的日志数据库系统来进行管理。本文通过对非关系性数据库MongoDB与关系型数据库MySQL在海量日志数据管理上的比较分析,最终选取MongoDB数据库,在上海图书馆的《全国报刊索引》平台民国全文数据库建立了一套日志管理系统。该系统建立运行后,取得了良好的效果,极大的提高了平台日志数据管理效率和分析应用水平,为民国全文数据库的日志管理提供一种解决方案。

MongoDB日志管理系统探析——以《全国报刊索引》平台为例

随着二次文献共建共享平台应用需求的不断增加,日志文件的数据量和并发量急剧增长,对日志文件的管理变的更加具有挑战性.本文中通过对非关系性数据库MongoDB与关系型数据库MySQL的比较分析,找出更适宜存储海量日志的数据库系统.最终选取MongoDB数据库系统作为《全国报刊索引》平台的日志管理系统,取得了良好的效果,极大地提高了对后台日志数据管理和应用的效率.