基于依赖关联度的业务过程噪声日志过滤方法

日志中发生的低频次行为与挖掘的流程模型中某些不必要的结构相对应,而这些结构的出现会引起挖掘模型在适应度和精确度等指标上的下降。为解决这些结构对流程挖掘模型质量造成的影响,提出一种基于依赖关联度的噪声日志过滤方法。该方法首先根据日志中事件及其依赖关系的统计频率,定义了依赖关系的局部关联度和整体关联度,并将两者归一化为混合关联度来筛选出噪声日志。然后通过轨迹可达性分析去除日志中的噪声,以便最大程度地保留日志轨迹中记录的其他行为。与传统噪声日志过滤算法过滤掉包含噪声日志的整条日志轨迹不同,所提算法在移除噪声日志的同时最大程度地保留了原始日志中的其他非噪声日志。

集群环境下Syslog管理系统设计

日志是系统安全和计算机管理的重要依据,通过分析日志可以迅速定位和解决问题。但一般情况下,日志分散保存在不同的设备,并且具有数据量大的特点。在集群环境下,为了实现日志的集中化储存和管理,在Syslog日志管理系统的基础上,通过对开源方案ELK的裁剪和定制开发,实现了日志的采集、存储、筛选和分析。重点基于配置规则实现了基于多元组规则和日志msg内容正则表达式的日志二次过滤,再对日志进行封装,上报机器备份。系统测试结果表明,二次过滤可以自动过滤掉大量日志,从而更快定位问题。可视化的界面更加方便管理。日志接收能力大于每秒100条,日志检索时间在秒级,能够保证长期稳定运行,在企业的运维管理中具有很高的应用价值。