基于约束轨迹聚类的事件日志批量修复方法

企业业务运行过程中会产生大量的事件日志,事件日志是业务过程挖掘、监控和优化的基础和保障。然而,原始的事件日志由于缺乏结构及过于灵活导致难以直接应用于过程挖掘,对事件日志进行修复势在必行。现有日志修复方法需要结合过程模型逐条检查轨迹,并对各类异常行为采用不同策略进行修复,导致修复效率低下、适用性不强。针对上述问题,利用轨迹聚类方法,结合文本相似度指标,提出一种基于约束轨迹聚类的批量日志修复方法。该方法通过对轨迹聚类的每个步骤施加约束条件,使得单个簇包含作为簇中心的拟合轨迹以及与该拟合轨迹相似的异常轨迹,且中心轨迹即为异常轨迹的修复结果。该方法不但无需分析异常行为,直接获得修复后的拟合轨迹,而且实现了对于异常轨迹的批量修复。实验表明,该方法在脱离过程模型并保证高修复准确率的前提下,能够在噪音过滤之后,有效且高效地对事件日志进行批量修复。

基于ELKB日志管理系统的应用

针对现阶段云平台应用日志运维效率低的问题,研究一种基于ELKB架构的日志管理方案。该方案可实现对日志数据的高效采集和统一存储,并提供日志查询和可视化分析的功能。详细阐述日志的采集和存储方案,提出优化采集器Filebeat基础参数的方法,日志存储过程部署Elasticsearch集群模式,并总结Elasticsearch集群节点的性能提高方法,以此为基础搭建日志可视化管理系统。实验结果表明:参数优化后的Filebeat进行日志采集时,内存占用率与默认配置相比降低47%;Elasticsearch集群模式在进行关键字查询时的数据吞吐率(250 req/s)高于单机服务器,且集群节点的段合并优化有效降低了日志的索引内存占用率,内存优化百分比介于11.9%和22.1%之间。可见日志管理系统部署方式灵活,有效提高了日志采集和检索效率,为云平台日志管理提供了可行的方案。

基于日志副本的Raft共识算法优化

在基于三副本策略的分布式存储系统中,当存储节点上的硬盘出现故障时,常见的处理方式是等待系统预设的时间.如果该故障硬盘超时未恢复,才开始恢复故障硬盘上的副本.这种处理方式存在的问题是,当三副本组中存在故障副本时,如果该副本组再有一个副本所在的硬盘发生故障,将导致系统无法继续提供服务,且不能自动恢复.本文提出一种基于日志副本的改进的Raft共识算法,即LR-Raft (log replica based Raft),日志副本没有完整状态机,可以快速加入集群,并参与投票与共识,提升了存在故障硬盘时系统的可用性;可以解决短时间内三副本中两个副本故障导致集群不可用和丢失数据的问题.实验结果表明,在副本组中引入日志副本后,与原Raft相比,LR-Raft在不同的工作负载下读写时延均明显降低,吞吐量显著提升.

面向日志的半监督一致性异常检测

为了解决真实数据缺少类标签、日志解析错误影响模型性能的问题,设计了基于置信度的半监督异常检测模型SemiCAD.该模型首先基于原始日志数据进行特征提取;其次,通过基于分层密度的带噪声应用空间聚类(HDBSCAN)的正例无标记样本(PU)学习算法,对训练集中无标签的数据进行伪标签估计;最后,使用一致性预测中的统计量p值度量日志数据间的不一致性,选择多个合适的集成算法作为不一致性度量函数计算不一致得分进行协同检测,给出待测日志序列的标签及其标签置信度.在超级计算机(Blue Gene/L)和Hadoop分布式文件系统(HDFS)的日志数据上进行实验,结果表明,相比其他日志异常检测模型,该模型的召回率和F1值等均有所提升,证明该半监督模型在缺少标签的日志中可以有效检测异常.

基于词模式规则的轻量级日志模板提取方法

传统基于规则的日志解析方法针对每类日志需单独编写规则,且随着系统更新,出现新的日志模式时,需人工再次干预;基于深度学习的日志解析方法虽准确率高,但计算复杂度高。为解决日志解析方法人力成本和计算复杂度高的问题,文中提出一种基于词模式规则的轻量级日志模板提取方法,该方法由初始规则集生成、词模式规则应用、潜在错误样本发掘三个部分构成。首先,原始日志基于自适应随机抽样获取彼此间相似度较低的代表性日志;然后,基于专家反馈提取初始词模式规则集,在词模式规则应用模块对原始日志进行处理并提取日志模板;最后,在潜在错误样本发掘模块检查生成的日志模板聚类,发现潜在的错误分类样本并对其进行规则集更新。经过实验验证,在16个公开日志数据集上,文中方法的平均准确度达到97.8%,与基于深度学习的日志解析算法准确度基本持平;在计算效率方面,文中方法的单线程解析速度达到每秒20000条,且随着可用内核数量的增加,性能持续提升,满足系统日志的故障诊断和安全分析需求。

基于双向时间卷积网络的半监督日志异常检测

由于日志解析准确率不高以及标记样本不足降低了异常检测的准确率,所以提出了一种新的基于日志的半监督异常检测方法。首先,通过改进字典的日志解析方法,保留了日志事件中的部分参数信息,从而提高日志信息的利用率和日志解析的准确率;然后,使用BERT对模板中的语义信息进行编码,获得日志的语义向量;接着采用聚类的方法进行标签估计,缓解了数据标注不足的问题,有效提高了模型对不稳定数据的检测;最后,使用带有残差块的双向时间卷积网络(Bi-TCN)从两个方向捕获上下文信息,提高了异常检测的精度和效率。为了评估该方法的性能,在两个数据集上进行了评估,最终实验结果表明,该方法与最新的三个基准模型LogBERT、PLELog和LogEncoder相比,F 1值平均提高了7%、14.1%和8.04%,能够高效精准地进行日志解析和日志异常检测。

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。

基于自适应网络拓扑和日志聚类的故障定界方法研究

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,存在效率低、无法主动发现故障的问题。本文提出了一种基于自适应网络拓扑和日志聚类的故障定界方法。首先利用交换机ARP表和主机流量关系构建网络拓扑,再对系统日志进行结构化和聚类处理,最后结合网络拓扑和聚类结果快速定位异常范围,保证异常检测高效及全面。经生产实践表明,本文提出的故障定界方法能快速定位问题主机。

基于日志聚类的基础设施故障智能诊断技术研究

随着油田信息化的快速建设与发展,油田机房规模庞大、设备类型复杂多样,存在人工巡检成本高、故障诊断时效低等问题。本文提出了一种基于日志聚类的基础设施故障智能诊断方法,利用机房设备设施具有的大量实时监控数据和运行日志,实现基础设施故障的智能诊断,防止油田信息系统宕机或下线。通过现场应用测试,该方法能够有效提高油田信息系统的稳定性、可靠性,具有极高的经济效益与社会效益。

基于词性标注的启发式在线日志解析方法

为了解决现有启发式日志解析方法中日志特征表示区分能力不足导致解析精度低、泛化差的问题,提出了一种启发式在线日志解析方法PosParser。该方法使用来源于触发词概念的功能词序列作为特征表示,包含解决复杂日志易过度解析问题的两阶段检测方法和处理变长参数日志的后处理流程。PosParser在16个真实日志数据集上取得了0.952的平均解析准确率,证明了功能词序列具有良好区分性、PosParser有良好的解析效果和鲁棒性。

LogRank++:一种高效的业务过程事件日志采样方法

针对已有采样方法处理大规模事件日志时存在采样效率低的问题,提出一种高效的业务过程事件日志采样方法LogRank++。首先确定轨迹的重要性特征,然后对计算轨迹的重要性值进行排序,最后选择一组最重要的轨迹组成样本日志。综合采样质量和采样效率两方面来评估此采样方法的高效性。所提采样方法已在开源过程挖掘工具平台ProM中实现。实验分析表明,相比已有采样方法,在保证样本日志质量的前提下,LogRank++能够大幅提高日志采样效率。

TRGATLog:基于日志时间图注意力网络的日志异常检测方法

为解决现有日志异常检测方法往往只关注定量关系模式或顺序模式的单一特征,忽略了日志时间结构关系和不同特征之间的相互联系,导致较高的异常漏检率和误报率问题,提出基于日志时间图注意力网络的日志异常检测方法。首先,通过设计日志语义和时间结构联合特征提取模块构建日志时间图,有效整合日志的时间结构关系和语义信息。然后,构造时间关系图注意力网络,利用图结构描述日志间的时间结构关系,自适应学习不同日志之间的重要性,进行异常检测。最后,使用三个公共数据集验证模型的有效性。大量实验结果表明,所提方法能够有效捕获日志时间结构关系,提高异常检测精度。

基于事件日志的业务过程控制流异常检测算法:现状与评测

在业务过程的执行过程中,各个视角都可能出现异常,如控制流异常、时间异常、数据流异常等。控制流是业务过程的主干,控制流的异常通常也隐含其他视角发生了异常,因此控制流异常的检测对于业务过程的正确执行具有关键性作用。近年来,越来越多的研究基于业务过程的事件日志检测控制流异常,针对这些检测方法,进行了分类和总结。此外,对典型的控制流检测方法进行实验,并分析实验结果,总结各种检测方法的优缺点及其适用场景,以帮助业务过程分析人员根据特定的场景选择合适的检测方法。

HiLog:OpenHarmony的高性能日志系统

日志是计算机系统中记录事件状态信息的的重要载体,日志系统负责计算机系统的日志生成、收集和输出.OpenHarmony是新兴的、面向全设备、全场景的开源操作系统.在所述工作之前,包括日志系统在内OpenHarmony有许多关键子系统尚未构建,而OpenHarmony的开源特性使第三方开发者可以为其贡献核心代码.为了解决Open Harmony日志系统缺乏的问题,主要开展如下工作:(1)分析当今主流日志系统的技术架构和优缺点;(2)基于OpenHarmony操作系统的异构设备互联特性设计HiLog日志系统模型规范;(3)设计并实现第1个面向OpenHarmony的日志系统HiLog,并贡献到OpenHarmony主线;(4)对HiLog日志系统的关键指标进行测试和对比试验.实验数据表明,在基础性能方面,HiLog和Log的日志写入阶段吞吐量分别为1500 KB/s和700 KB/s,相比Android日志系统吞吐量提升114%;在日志持久化方面,HiLog可以3.5%的压缩率进行持久化,并且丢包率小于6‰,远低于Log.此外,HiLog还具备数据安全、流量控制等新型实用能力.

ModelLogVis:面向模型服务的日志异常可视分析方法

利用深度学习模型训练和运行维护过程产生的海量日志信息,进行模型的优化与故障排查,是当前人工智能运维的研究热点.针对现有工作缺少模型工作流分析的问题,提出面向模型服务的日志异常可视分析方法ModelLogVis.该方法采用日志异常检测方法定位模型工作流中的潜在故障,帮助用户聚焦主要的故障类型;支持用户从数据流、状态、实例性能和原始日志等多个角度对工作流中的事件进行交互式可视化与分析,快速、准确地排查问题.通过真实的模型服务数据的案例研究和专家访谈,证明ModelLogVis方法可高效地辅助用户快速挖掘日志中的异常信息.

面向指挥信息系统的日志智能分析技术

针对指挥信息系统智能化运维的需求,综合考虑传统日志分析方式存在的问题,提出了一种面向指挥信息系统的日志智能分析技术。采用大数据的技术框架,对指挥信息系统各层级中设备、资源与服务的日志实现自动化的采集,预处理,存储,分析与展示.通过结合日志解析与规则推理的相关算法,实现对日志数据的智能化预处理与在线分析,并在传统算法的基础上做出优化,进一步提升了推理分析的时效性。有效降低运维监控工作的难度,为指挥信息系统智能化运维提供技术支持。

面向行为不变性的事件日志采样方法

信息系统在执行过程中收集了大量的业务流程事件日志,模型发现旨在从事件日志的行为信息中发现流程模型为业务流程理解和改进提供事实依据。直接跟随活动关系(DF)作为事件日志中最基本的行为信息是模型发现算法的基础。根据是否考虑日志的DF频次特征,将已有模型发现算法分为考虑频次和不考虑频次两类。已有面向模型发现的日志采样方法注重于提高模型发现的效率,却损失了事件日志中DF频次信息,得到的样本日志在使用基于DF频次的模型发现算法时改变了原始日志的行为。因此,针对基于DF频次的模型发现算法,提出一种面向行为不变性的日志采样方法,具体而言,该方法包括通过按比率选取轨迹变体及频次、计算轨迹的DF权重和基于集合覆盖采样三个阶段,使得样本日志包含的行为信息与原始日志一致。通过公开事件日志数据集上的实验分析表明,与已有的日志采样方法比较本文方法得到的样本日志能更准确地保留原始日志中的DF频次信息,从而确保更高的模型挖掘质量。

基于图嵌入的多任务用户交互日志分段方法

机器人流程自动化需要借助用户交互日志设计流程模型。然而,真实场景中的用户交互日志往往包含多种任务,同时不同的任务执行过程也很可能存在相互干扰。针对上述问题,本文提出一种基于图嵌入的多任务用户交互日志分段方法。该方法首先将行为上下文信息融入直接跟随图中,然后利用图嵌入算法提取行为的向量表征,最后根据行为前驱、后继相关性对用户交互日志进行切分和聚类,从而达到自动分段的目的。特别地,为了提高行为向量表征的准确性,提出权重增强的方法来优化图嵌入算法中的采样过程。实验结果表明,所提方法可以有效地解决多任务顺序和交错执行场景用户交互日志分段问题。

面向紧邻关系重发现的事件日志采样方法及其应用

事件日志采样作为近年来流程挖掘领域一个新的研究热点,旨在提高流程挖掘任务的效率,如模型发现、合规性检查、流程预测等。然而目前已有的采样方法不能很好地保证挖掘模型的质量,且针对大规模事件日志的采样效率低。任务紧邻关系作为事件日志中行为描述的基本单元,在各类流程挖掘任务中起到了关键作用。鉴于此,提出了一个通用的面向紧邻关系重发现的事件日志采样方法,该方法可保证紧邻关系的重发现性。为了验证该采样方法的有效性,将其应用于提高已有模型挖掘算法的效率,为了对挖掘模型质量定量评估,提出了基于流程树的模型相似度方法。所提出的采样方法已在开源流程挖掘工具平台ProM6和PM4PY实现,基于12个公开事件日志数据集,将所提出的面向紧邻关系重发现的采样方法与已有方法从模型挖掘质量方面进行了定量比较,实验结果表明所提方法可以在保证模型质量的前提下,大幅提高模型发现效率。

日志信息驱动的计算机网络节点故障预测研究

针对计算机网络中节点故障对正常业务运行的影响,提出了一种以日志信息为驱动的故障预测方法,通过构建高效的深度学习模型,并引入校正机制,对计算机网络中的节点故障进行预测和诊断,支持网络运维的需求。首先收集计算机网络中各节点产生的日志信息,获得各节点的状态向量和所有节点的状态矩阵,然后通过状态填补原则补充数据集,最后将故障预测问题转换成时间序列预测问题。在公开的小规模运维数据集GAIA中进行性能评估。实验结果表明,与其他算法相比,所提模型在局部网络场景下预测效果良好,预测有效性得到了验证,为计算机网络故障预测研究提供了一定的参考价值。