基于大数据日志的智能运维系统设计

在大数据时代背景下,利用人工智能相关技术,改进了传统运维的基本流程,包括告警、根因定位、分析预测和能耗管理,对潜在的问题进行趋势预测,最后结合智能化运维系统对大数据日志进行分析。

西门子SS7-1200 PLC数据日志功能的应用

通过西门子S7-1200 PLC的数据日志功能,对设备仪表测量数据进行记录。目前,常用数据记录方法以单片机记录、上位机记录、触摸屏记录为主,但在可靠性、易用性以及成本方面,尚不能满足小型控制系统的使用要求,因此需要一种有较大优势的新方法,来解决小型控制系统的数据记录问题。

应用系统的数据日志管理

本文分析了某公司贸易系统利用应用程序代码记录数据修改日志和删除日志,同时,使用Oracle审计功能对数据库对象、特权、语句进行审计并保存审计信息,利用Oracle LogMiner对数据库日志文件进行分析并保存分析结果,保障了数据库会话、操作、影响范围的可追溯,进一步提升了数据库信息安全级别。

基于日志数据的窗口化异常检测方法

传统的异常检测方法采用不定时巡检和用户反馈等被动方式发现问题,效率低、无法主动发现故障。本文提出了一种基于日志数据的窗口化异常检测方法,首先对历史日志数据进行预处理,获取日志模式库,再将日志数据转换成事件统计矩阵,结合COPOD算法快速定位异常点,及时发现具体异常日志,保证检测高效及准确。经实验数据表明,本文提出的异常检测方法能有效检测出多事件中存在的异常数据,且在大数据处理过程中效率较高。

基于日志的多源异构变更数据捕获更新方法

随着BI(Business Intelligence,即商业智能技术)的发展和工业界业务需求的转变,企业迫切需要将数据源的变更数据实时地更新到数据仓库中进行分析与处理,从而及时辅助业务人员做出商业决策,因此产生了对增量变更数据的实时监测并捕获更新的需求。传统的数据更新方法无法识别数据中的增量更新,且获得的数据已失去时效性,难以支撑实时的决策分析,因此提出了一种基于数据库日志的变更数据捕获更新方法。并以实际应用案例为背景,介绍了如何运用该方法低侵入地捕获多源异构数据库的变更日志,并且将变更数据实时同步到下游数据库或系统中。本文将该方法投入到工业大数据场景下的实际企业生产环境中进行应用,构建基于数据库日志的变更数据捕获原型系统,使用企业的异构原始生产数据和业务数据对系统进行测试,验证了系统在实际大数据场景下的变更数据捕获能力,目前该系统运行良好。本文提出的基于数据库日志的多源异构变更数据捕获更新方法可以帮助企业以低侵入、高实时、高可用的方式完成异构数据的采集、处理和同步,能够高效地帮助企业快速进行数据分析,支撑企业做出正确的商业决策。

电网区块链多层次日志数据分布式存储方法

针对电网日志数据面临恶意篡改而导致存储不完整的问题,该文提出电网区块链多层次日志数据分布式存储方法。构建基于区块链的数据分布式存储模型,利用实体私钥对数据签名分布式写入区块链。评估日志中数据地址对目的主机威胁程度,提取日志关键属性组成告警向量,构建密文索引结构。使用隐私加密保护技术计算密文存储位置,将密文存储位置传送到区块链中,结合PoW共识算法实现数据安全存储。利用密码学算法结合区块链技术校验数据存储完整性,实现电网多层次日志数据分布式存储。由实验结果可知,该方法与实际功率数据存在的最大误差为2 kW,其余均一致,说明使用该方法存储结果具有完整性。

基于改进孤立森林算法的Linux日志异常检测方法

为高效、正确地识别Linux日志中的异常行为,提出一种基于改进孤立森林算法的Linux日志异常检测方法。该方法在孤立森林算法的基础上引入注意力机制,在处理日志数据时能够动态地调整关注的特征和样本点,并根据样本的异常程度动态调整关注的程度。实验结果表明,该方法相较于传统方法,在精确率、性能等方面均有显著提升。

一种基于ClickHouse的日志分析系统设计

随着大数据时代的发展,每天都要产生大量的日志数据。日志数据包括多种类型。系统日志:系统运行过程中所记录的信息,它反映了系统的内部状态和事件。对于整个网络管理系统来说是不可缺少的部分,例如Unix/Linux系统日志。事务处理日志:用于保证数据库的事务一致性、完整性和正确性。其主要内容包括对数据的修改操作等。

数据库日志异常增加故障排除1例

目的:探讨利用数据库日志文件进行安全预警,保护数据库安全。方法:定期巡视数据库日志文件,发现异常时进行分析,使用数据日志分析工作进行分析。结果:日志异常必定反映出数据产生异常。结论:加强对数据库日志文件的定期巡查和分析,确保数据库的安全运行。

基于大数据技术的服务器日志采集分析方法

对大数据量日志采用了一种新型的高可靠性、分布式的聚合传输信息收集Flume技术,同时结合无核相关向量机算法对服务器采集日志进行主机资源利用率的分析预测。通过本模型,实现了从海量日志中挖掘提取出高价值信息,有效地对服务器进行资源的合理化配置。验证结果表明Flume技术结合无核相关向量机算法在服务器日志采集分析上的可行性、有效性。

基于数据库日志的变化数据捕获研究

变化数据捕获方法是数据集成基础设施的战略组成部分,不断推动ETL、EAI等技术的发展.许多数据库厂商都提供了自己的CDC(Change data capture)产品,但只限于针对本身的数据库系统,价格也比较昂贵.虽然通过扫描数据库日志文件可以捕获变化数据,但大多数数据库系统都不提供日志文件的内部格式而只是提供日志访问的程序接口,如Oracle,SQL Server和DB2等.这些提供的接口有的访问活动日志,有的访问稳定日志,有的访问归档日志,因此很难保证读取日志文件的可靠性.现有的研究主要是如何利用程序应用接口读取日志文件,忽略了对可靠性的分析.本文针对读取不同类型的日志文件的可靠性条件进行了分析,提出了可靠读取规则及读取算法;并提出了从日志文件中有效抽取变化数据算法,实验证明了可靠性分析模型.

Web日志数据挖掘的数据预处理方法研究

主要介绍了Web用户访问日志数据挖掘数据预处理过程,综述了国际上的研究现状,流行的预处理方法。在对用户访问行为的合理假定基础上,最后提出了基于综合最大前向参引模型和时间窗口模型的新方法。

Web用户访问日志数据挖掘研究

简要介绍了Web用户访问日志数据挖掘研究内容 ,综述了Web用户访问日志数据挖掘研究的基础 ,包括常用术语含义、用户访问Web的几种习惯和用户访问日志的分布情况 ,论述了如何识别用户访问的Web服务器的会话期间 ,指出了Web用户访问日志数据挖掘研究的难点所在。

基于Petri网的数据库日志分析方法研究

为提高对复杂ERP系统的审计效率,提出了通过数据库日志快速发现系统中存在的不合规业务流程的方法。该方法利用数据库中已有的结构关系来确定日志操作中工作流程的次序,并通过Petri网中的a-算法对数据库日志进行转换,将转换后的真实业务流与合规业务流进行差异比较,使审计人员能较直观和准确地判断出系统中存在的异常业务流程。

图书馆大规模日志数据的快速聚类

给出了一种简单有效的算法,用于对图书馆大规模日志数据的快速聚类和借阅趋势分析.首先,根据读者基本的借阅规律,把日志数据聚成若干子类,然后,给出了对子类结果进行再次聚类的模糊算法.最后,为了预测读者的借阅趋势,对每一类进行了回归分析.该算法具有线性复杂度,对大规模数据集是可伸缩的,实验证明是可行的.

基于专家系统的Web日志数据处理方法研究

企业员工访问网站的记录在企业服务器中形成了大规模日志数据,从这些海量数据中发掘出有意义的信息是管理企业员工重要的环节,并成为大数据时代关注的重点。完成数据挖掘的核心工作之一就是对原始数据的预处理,它影响到数据分析结果的准确度。但由于web日志是Apache、Nginx和IIS等web服务器运行时产生的系统日志,web日志格式根据使用web服务器的不同而不同。所以,传统的日志数据清洗方式难以应对目前如此复杂的日志格式。由于专家系统其技术特点能应对复杂的日志格式,所以通过结合专家系统,推理出对应的web日志格式,从而自动进行日志数据清洗,可以使得当下复杂海量web日志数据预处理更加高效,智能。首先,介绍了专家系统;其次,介绍了web日志数据一般的数据预处理流程;最后,结合专家系统对海量复杂的web日志数据进行数据预处理,并通过实验验证了该方法的可行性。

Web日志数据库数据挖掘对采访决策的意义

高校图书馆的采访原则综合了读者需求、专业分布、当前热点、资金等众多因素，随着图书馆从传统的“藏书型”转变为开放性的“服务型”，读者的需求成了图书馆采访工作所需考虑的最重要的因素。因此，获取和保证读者的需求是图书馆采访工作的……

一种邮件服务器日志数据分析方法

网络日志及时、准确地记录了网络服务器的运行、服务信息,是网络管理人员应该重点关注的信息源。由于信息量巨大,仅凭人工查阅是无法准确分析系统所提供的信息。建议一种利用统计、数据挖掘技术对邮件日志服务器的分析方法,着重对邮件服务器事件进行时间分布统计、周期模式挖掘和孤立点的分析。

网络日志数据中条件因果挖掘算法的优化研究

网络操作中收集了大量的系统日志数据,找出精确的系统故障成为重要的研究方向。提出一种条件因果挖掘算法(CCMA),通过从日志消息中生成一组时间序列数据,分别用傅里叶分析和线性回归分析删除大量无关的周期性时间序列后,利用因果推理算法输出有向无环图,通过检测无环图的边缘分布,消除冗余关系得出最终结果。仿真结果表明,对比依赖挖掘算法(DMA)和网络信息关联与探索算法(NICE),CCMA算法在处理时间和边缘相关率2个主要性能指标方面均有改善,表明CCMA算法在日志事件挖掘中能有效优化处理速度和挖掘精度。