基于约束轨迹聚类的事件日志批量修复方法

企业业务运行过程中会产生大量的事件日志,事件日志是业务过程挖掘、监控和优化的基础和保障。然而,原始的事件日志由于缺乏结构及过于灵活导致难以直接应用于过程挖掘,对事件日志进行修复势在必行。现有日志修复方法需要结合过程模型逐条检查轨迹,并对各类异常行为采用不同策略进行修复,导致修复效率低下、适用性不强。针对上述问题,利用轨迹聚类方法,结合文本相似度指标,提出一种基于约束轨迹聚类的批量日志修复方法。该方法通过对轨迹聚类的每个步骤施加约束条件,使得单个簇包含作为簇中心的拟合轨迹以及与该拟合轨迹相似的异常轨迹,且中心轨迹即为异常轨迹的修复结果。该方法不但无需分析异常行为,直接获得修复后的拟合轨迹,而且实现了对于异常轨迹的批量修复。实验表明,该方法在脱离过程模型并保证高修复准确率的前提下,能够在噪音过滤之后,有效且高效地对事件日志进行批量修复。

基于日志副本的Raft共识算法优化

在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft (log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.

基于词性标注的启发式在线日志解析方法

为了解决现有启发式日志解析方法中日志特征表示区分能力不足导致解析精度低、泛化差的问题,提出了一种启发式在线日志解析方法PosParser。该方法使用来源于触发词概念的功能词序列作为特征表示,包含解决复杂日志易过度解析问题的两阶段检测方法和处理变长参数日志的后处理流程。PosParser在16个真实日志数据集上取得了0.952的平均解析准确率,证明了功能词序列具有良好区分性、PosParser有良好的解析效果和鲁棒性。

TRGATLog:基于日志时间图注意力网络的日志异常检测方法

为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。

LogRank++:一种高效的业务过程事件日志采样方法

针对已有采样方法处理大规模事件日志时存在采样效率低的问题,提出一种高效的业务过程事件日志采样方法LogRank++。首先确定轨迹的重要性特征,然后对计算轨迹的重要性值进行排序,最后选择一组最重要的轨迹组成样本日志。综合采样质量和采样效率两方面来评估此采样方法的高效性。所提采样方法已在开源过程挖掘工具平台ProM中实现。实验分析表明,相比已有采样方法,在保证样本日志质量的前提下,LogRank++能够大幅提高日志采样效率。

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明:参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率(250 req/s)高于单机服务器,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。

面向指挥信息系统的日志智能分析技术

针对指挥信息系统智能化运维的需求,综合考虑传统日志分析方式存在的问题,提出了一种面向指挥信息系统的日志智能分析技术。采用大数据的技术框架,对指挥信息系统各层级中设备、资源与服务的日志实现自动化的采集,预处理,存储,分析与展示.通过结合日志解析与规则推理的相关算法,实现对日志数据的智能化预处理与在线分析,并在传统算法的基础上做出优化,进一步提升了推理分析的时效性。有效降低运维监控工作的难度,为指挥信息系统智能化运维提供技术支持。

面向行为不变性的事件日志采样方法

信息系统在执行过程中收集了大量的业务流程事件日志,模型发现旨在从事件日志的行为信息中发现流程模型为业务流程理解和改进提供事实依据。直接跟随活动关系(DF)作为事件日志中最基本的行为信息是模型发现算法的基础。根据是否考虑日志的DF频次特征,将已有模型发现算法分为考虑频次和不考虑频次两类。已有面向模型发现的日志采样方法注重于提高模型发现的效率,却损失了事件日志中DF频次信息,得到的样本日志在使用基于DF频次的模型发现算法时改变了原始日志的行为。因此,针对基于DF频次的模型发现算法,提出一种面向行为不变性的日志采样方法,具体而言,该方法包括通过按比率选取轨迹变体及频次、计算轨迹的DF权重和基于集合覆盖采样三个阶段,使得样本日志包含的行为信息与原始日志一致。通过公开事件日志数据集上的实验分析表明,与已有的日志采样方法比较本文方法得到的样本日志能更准确地保留原始日志中的DF频次信息,从而确保更高的模型挖掘质量。

基于图嵌入的多任务用户交互日志分段方法

机器人流程自动化需要借助用户交互日志设计流程模型。然而,真实场景中的用户交互日志往往包含多种任务,同时不同的任务执行过程也很可能存在相互干扰。针对上述问题,本文提出一种基于图嵌入的多任务用户交互日志分段方法。该方法首先将行为上下文信息融入直接跟随图中,然后利用图嵌入算法提取行为的向量表征,最后根据行为前驱、后继相关性对用户交互日志进行切分和聚类,从而达到自动分段的目的。特别地,为了提高行为向量表征的准确性,提出权重增强的方法来优化图嵌入算法中的采样过程。实验结果表明,所提方法可以有效地解决多任务顺序和交错执行场景用户交互日志分段问题。

基于变量融合和稀疏注意力的系统日志异常检测方法

随着计算和网络技术的进步,计算机应用系统的规模和复杂性不断增加,系统日志数据的数量和类型也随之迅速增加。因此,识别日志是否异常成为保障复杂系统安全的重大挑战。然而,现有的基于规则或机器学习的日志异常检测方法存在局限性,如忽略日志变量、日志语义特征提取不足及在检测新类型日志时性能不佳。为了解决上述问题,本文提出了一种新型的基于深度学习的日志异常检测模型——基于变量融合和稀疏注意力的模版驱动异常检测方法。该模型融合了日志数据中的模板和变量信息,并通过引入稀疏注意力机制,在处理长序列日志时表现出了优异的性能,可以有效地捕获并表征序列的整体特征。不仅能理解日志变量的语义,还能有效检测日志序列中的异常行为。实验结果表明,该模型在3个开源数据集上展示了较高的性能。

面向日志的半监督一致性异常检测

为了解决真实数据缺少类标签、日志解析错误影响模型性能的问题,设计了基于置信度的半监督异常检测模型SemiCAD.该模型首先基于原始日志数据进行特征提取;其次,通过基于分层密度的带噪声应用空间聚类(HDBSCAN)的正例无标记样本(PU)学习算法,对训练集中无标签的数据进行伪标签估计;最后,使用一致性预测中的统计量p值度量日志数据间的不一致性,选择多个合适的集成算法作为不一致性度量函数计算不一致得分进行协同检测,给出待测日志序列的标签及其标签置信度.在超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据上进行实验,结果表明,相比其他日志异常检测模型,该模型的召回率和F1值等均有所提升,证明该半监督模型在缺少标签的日志中可以有效检测异常.

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络(Bi-TCN)从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F 1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。

基于词模式规则的轻量级日志模板提取方法

传统基于规则的日志解析方法针对每类日志需单独编写规则,且随着系统更新,出现新的日志模式时,需人工再次干预;基于深度学习的日志解析方法虽准确率高,但计算复杂度高。为解决日志解析方法人力成本和计算复杂度高的问题,文中提出一种基于词模式规则的轻量级日志模板提取方法,该方法由初始规则集生成、词模式规则应用、潜在错误样本发掘三个部分构成。首先,原始日志基于自适应随机抽样获取彼此间相似度较低的代表性日志;然后,基于专家反馈提取初始词模式规则集,在词模式规则应用模块对原始日志进行处理并提取日志模板;最后,在潜在错误样本发掘模块检查生成的日志模板聚类,发现潜在的错误分类样本并对其进行规则集更新。经过实验验证,在16个公开日志数据集上,文中方法的平均准确度达到97.8%,与基于深度学习的日志解析算法准确度基本持平;在计算效率方面,文中方法的单线程解析速度达到每秒20000条,且随着可用内核数量的增加,性能持续提升,满足系统日志的故障诊断和安全分析需求。

基于启发式规则的流式在线日志解析方法

为了解决现有日志解析方法中存在的解析不准确、效果不稳定等问题,提出了一种基于启发式规则的流式在线日志解析方法——启发式正则树(HRTree)。其在Drain方法解析结构树基础上,引入启发式规则对日志进行拆分构造,并优化了解析结构树的部分构造方式,从而解决了日志参数过拟合、不同系统日志解析结果不稳定的问题。实现了解析结果分类准确,且参数内容识别准确的解析效果。大量实验结果表明,所提出的HRTree方法在不同的系统日志上均展现了90%以上的解析准确率。

基于自适应网络拓扑和日志聚类的故障定界方法研究

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,存在效率低、无法主动发现故障的问题。本文提出了一种基于自适应网络拓扑和日志聚类的故障定界方法。首先利用交换机ARP表和主机流量关系构建网络拓扑,再对系统日志进行结构化和聚类处理,最后结合网络拓扑和聚类结果快速定位异常范围,保证异常检测高效及全面。经生产实践表明,本文提出的故障定界方法能快速定位问题主机。

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。

河北高速公路日志分析系统

随着高速公路收费稽核、跨省交易对账和运行监测等收费业务的发展,对收费软件日志进行集中存储并分析的需求不断增加。为了满足这一需求,本文对收费软件日志存储及使用现状进行了分析,提出构建日志管理分析系统。该系统通过在省中心建立Elasticsearch集群,对原始日志文件进行集中存储,并由日志分析服务对集中存储的日志进行分析处理,以实现收费软件的日志采集、存储、分析和结果的可视化展示,从而提升业务人员的工作效率。

一种基于ClickHouse的日志分析系统设计

随着大数据时代的发展,每天都要产生大量的日志数据。日志数据包括多种类型。系统日志:系统运行过程中所记录的信息,它反映了系统的内部状态和事件。对于整个网络管理系统来说是不可缺少的部分,例如Unix/Linux系统日志。事务处理日志:用于保证数据库的事务一致性、完整性和正确性。其主要内容包括对数据的修改操作等。

基于日志聚类的基础设施故障智能诊断技术研究

随着油田信息化的快速建设与发展,油田机房规模庞大、设备类型复杂多样,存在人工巡检成本高、故障诊断时效低等问题。本文提出了一种基于日志聚类的基础设施故障智能诊断方法,利用机房设备设施具有的大量实时监控数据和运行日志,实现基础设施故障的智能诊断,防止油田信息系统宕机或下线。通过现场应用测试,该方法能够有效提高油田信息系统的稳定性、可靠性,具有极高的经济效益与社会效益。

基于事件日志的业务过程控制流异常检测算法:现状与评测

在业务过程的执行过程中,各个视角都可能出现异常,如控制流异常、时间异常、数据流异常等。控制流是业务过程的主干,控制流的异常通常也隐含其他视角发生了异常,因此控制流异常的检测对于业务过程的正确执行具有关键性作用。近年来,越来越多的研究基于业务过程的事件日志检测控制流异常,针对这些检测方法,进行了分类和总结。此外,对典型的控制流检测方法进行实验,并分析实验结果,总结各种检测方法的优缺点及其适用场景,以帮助业务过程分析人员根据特定的场景选择合适的检测方法。