网络访问日志实时分析系统在Storm平台上的实现

针对挖掘用户上网日志热词的需求,本文设计并实现了一个基于Storm的网络日志实时分析系统。经测试,该系统在处理流式日志数据时性能较好,可在少于10s时间内计算300个左右热词,无需人工批处理操作,在性能上和便利性上明显优于离线Hadoop计算。

基于ELK的内容分发网络日志分析平台设计

随着内容分发网络系统承载着越来越多的大流量视频业务,其规模不断增大且对用户日志收集和集中处理的需求也越来越高,为提升日志处理效率,本文设计了一种基于实时日志搜索和分析系统(ELK)的日志分析平台,可通过对海量的用户访问日志进行实时采集和检索,并捕获用户异常访问记录,从而实现了对系统性能和业务质量的可视化自动监控及提前预警,并提高了内容分发网络系统智能化运维效率。

面向文献搜索系统的用户实时需求发现方法

针对当前文献搜索系统不能理解用户实时需求的问题,提出了一种面向文献搜索系统的用户实时需求发现方法。首先,分析用户浏览、下载等个性化搜索行为;其次,根据用户搜索行为与用户需求的关系构建用户实时需求文档(RD);然后,从用户需求文档中提取用户需求关键词网络;最后,运用随机游走的方法提取出关键词网络的核心节点构成用户需求图。实验结果表明:在模拟用户需求的环境下,提取需求图的方法比K-medoids算法在检索指标F值上平均高2.5%;在用户搜索文献真实情况下,提取需求图的方法比DBSCAN算法在检索指标F值上平均高5.3%,因此,在用户需求比较稳定的文献搜索中,该方法能够获取用户需求从而提升用户体验。

基于ELK架构的日志分析系统研究与实践

在传统的基于IOE集中架构的IT系统中,部署的主机及软件数量较少,产生的日志种类和数量也较少;随着互联网技术的快速发展,"平台+应用"的分布式架构成为主流,主机数量和软件规模急剧增加,日志分析变得日益困难。本文主要针对基于ELK架构的日志分析系统进行研究,实现对分布式部署的主机和软件日志进行收集、分析、存储,并提供良好的UI界面进行数据展示、快速搜索、处理分析等功能,从而提升日志分析、问题定位、性能优化等工作的效率。

海量日志分析在浙江电力的应用与实践

随着近几年国内信息化水平不断提高,国网浙江电力主机、网络等设备数量急剧上升,业务系统的访问和操作量也迅速增加,传统的日志审计系统在应对超大规模海量日志的存储和分析时能力明显不足。针对海量日志采集、处理的需求,结合国网浙江省电力公司的实际情况,提出了一种基于开源ElasticSearch(弹性搜索)和Logstash(日志采集)的统一日志分析系统,并整合强隔离装置、toprowMQ消息队列、Kafka消息队列、Spark Streaming流数据处理框架,保证数据的安全性、可靠性和实时性。最后,通过日志分析系统在国网浙江电力的应用情况,验证了该系统的功能。

SITEVIEW DeepLOG深度日志分析

日志记录设备和系统问题的信息，同时还可监视系统中发生的事件。用户可以通过它来分析错误发生的原因，或寻找受到攻击时攻击者留下的痕迹，其作用非常重要。SITEVIEW Deep LOG深度日志分析包括对系统日志、软硬件日志、应用程序日志和安全日志进行监测管理实时分析，保障企业关键系统与业务高可用。

大数据时代,日志搜索唯快不破 专访日志易创始人陈军

陈军,1970年出生于广东,日志易创始人＆CEO,美国南加州大学计算机硕士,前高德地图技术副总裁,曾任职Cisco、Google、腾讯等国际知名公司,拥有20年IT及互联网研发管理经验,在数据中心、云计算、大数据、搜索和日志分析领域有丰富经验,发明了4项网络及分布式系统美国专利。

政府网站搜索系统的日志挖掘、行为分析及改进

为提高政府网站的搜索质量并优化网站内容,对某政府网站现有搜索系统进行二次开发,增加了日志挖掘模块、行为分析模块、系统改进模块,实现了对搜索系统日志挖掘和用户行为的分析处理。日志挖掘模块负责收集、过滤和识别用户的搜索操作记录;在行为分析模块,根据操作记录从查询过程、聚类分析和查询热词3个角度,分析用户行为的特点和规律,得到了待调整权重的网页和热点查询词等分析结果;在系统改进模块,通过调整网页的权重使查询结果更加精准,改善了搜索系统,根据统计查询热词,既提供了搜索热点等新功能,又为用户提供了个性化网页并优化了政府网站的内容,实现了与舆情系统的数据交互。通过这些优化和改进,从多方面使搜索系统和政府网站能更好的为用户服务。

分析公安监所智能监控技术特性

当前,我国公安监所监控大部分还是以传统的监控为主。尽管视频监控系统应用日益普及,但大多都是通过人工监看的方式查看实时视频。由于人的注意力难以长时间集中,人工监看的效果随着事件的增长急剧衰减。因此,对于一些重点场景,公安干警仍无法随时监看。虽然少部分采用了智能监控,但实际应用的效果并不理想。

面向大规模存储系统的软件定义Flash

百度是国内最早大规模使用SSD／Flash的互联网公司之一，早在2007年，就开始在搜索引擎中大规模使用SSD。在过去的几年中，百度数据中心部署了数以十万计的SSD，支撑了每天60亿次的搜索请求及其背后的广告、大数据实时分析处理、CDN等系统。在百度多年部署使用SSD的过程中，积累了很多经验，也发现了传统SSD的一些缺陷。在实际系统中，