CarbonData在网络安全日志分析场景下的性能评估

本文针对企业网络安全日志分析场景,采用实际网络安全日志数据,设计建表和测试方法,使用大数据引擎Spark SQL和Presto对索引行列混合式数据格式CarbonData进行了性能评估。通过测试得出,基于Spark SQL+CarbonData方案的数据查询和统计效率较高,能满足多种数据处理和分析要求,适用于网络安全日志分析应用。本文为企业网络安全日志分析方案的技术选型和设计提供参考。

基于安全日志的异常事件检测

通过对安全日志进行分析,可以识别出安全日志中存在的异常事件,及时发现异常事件有助于防止安全事件的发生。文章通过对事件日志进行划分,得到候选事件序列,从候选事件序列中确定异常事件序列,并获取预设的特征在异常事件序列中的特征值,将各特征值转换为权重值,根据权重值确定异常事件序列的异常特征,可以监控系统运行所产生的异常事件,并在确定异常事件序列的同时确定异常事件序列的异常原因,具备较高的解释性。

一种基于安全日志的信任协商模型

信任协商是一种暴露数字证书与访问控制策略以达到协商双方信任关系的方法。在开放分布的环境中,信任协商为用户提供便捷资源共享的同时,也存在协商易于失效、用户行为难以跟踪等不足。安全日志提供了一种分析系统过去与现在所处状态的手段。结合安全日志的优势,提出一种基于安全日志的信任协商模型。在该模型中,提出了协商状态的概念。在协商失败时,通过安全日志记录协商过程中的各协商状态,可有效查找协商失败的原因,避免类似的协商失效,同时也有利于对恶意用户行为的跟踪。分析表明,该信任协商模型具有需求低、效率高、易于实现等特点。

基于粗糙集理论的安全日志分析模型

叙述了利用粗糙集（Rough Set）理论实现的Linux系统安全日志分析方法。系统以日志记录的记录长度、记录中是否存在非ASCII打印字符以及记录中进程之间执行时间间隔为统计对象，检测由格式化串漏洞（Format String Vulnerabilty）引起的攻击。利用粗糙集对单个记录的记录长度集进行了属性重要性的离散化预处理，同时对3种属性在检测异常事件中的重要性进行度量，为形成新的检测规则作了准备。

基于轻量化关联规则挖掘的安全日志审计技术研究

为了对云计算平台中日志审计数据进行安全分析,提出一种采用改进的关联规则的日志信息挖掘方法,以便有效识别事故类型或者预防可能出现的各种恶意入侵。该方法采用典型的关联规则Apriori算法对比挖掘系统日志和用户行为模式的异常信息,并通过删除稀疏矩阵集合中的弱相关项目集和可调节最小置信度的策略,对Apriori算法进行轻量化改进。在多次迭代运算得到最大项目集后运用于日志审计。仿真实验结果表明,改进的Apriori算法可以有效减少对数据库的扫描次数,提高挖掘效率,具有一定的推广价值。

基于安全日志的问责技术的研究

分布式系统发展至今,规模越来越大,网络中故障节点的查找更加困难。在此针对这种问题提出了一种新的基于安全日志的问责方法。通过维护一个系统安全日志以记录节点过去的行为,节点间依赖此安全日志中的记录来确定其他节点行为的正确性。通过在NS-3环境下对问责机制的模拟,得出结论:使用问责机制可以确保分布式环境下任意发生故障的节点最终能被至少一个正确的节点检测出来,并且存在至少一个正确的节点持有该节点发生故障的确凿证据。

国道211线的“安全日志”

甘肃省安保工程在实施过程中摸索出一种有效的记录方式：在安保工程实施中,及时跟踪调查,收集、整理文字和图像资料,为后期评价、扩大宣传提供详实的第一手资料;在公路安保工程竣工后,及时建立＂公路安全保障工程登记台账＂,把安保工程设施纳入日常养护中,从而加强安保工程养护管理工作。这种记录,既是备忘,又是自省。所以,每一条实施安保工程的路线,都有一份独特的＂安全日志＂。甘肃省管养的国道211线庆阳段长300余公里,其中二级公路约202公里,三级公路约105公里。由于大部分路段建设于上世纪八九十年代,受当时经济条件所限,公路技术等级低、缺乏安保设施,长期以来安全行车得不到保障,特别是傍山临河及高路堤路段,危险性更大。

网络安全日志可视化分析研究进展

在网络安全形势与挑战日益严峻复杂的环境下,网络安全日志可视化作为新兴交叉领域,能够将抽象的数据信息转化为可视图呈现,从而更直观地分析网络安全特征,实时响应网络事件,全方位感知网络安全态势,提高网络安全技术的实时性、有效性和可控性。首先分析了传统网络安全技术的特点以及日志分析的现有问题,指出可视化分析的必要性;其次对网络安全日志可视化的三要素(人、事、物)和流程进行了定义,引入图技术并按照基础图、常规图和新颖图进行了归纳,为进一步研究提供了思路;然后重点阐述了防火墙、入侵系统、网络负载、主机状态和多源大数据融合五类日志可视化分析技术,并深入研究其方法特点以及代表作品;最后对未来可视化技术发展的本质方向提出了以人为本、以图为媒的展望。

Linux安全模块框架的研究和安全日志的实现

Linux安全模块(LSM)是为主流Linux内核设计的一种轻量级、通用的访问控制框架,它提供了内核级的编程接口,已有多种不同的访问控制模型可以装载内核模块的形式在LSM框架上实现。对LSM的工作机制进行了研究,并实现了安全日志策略。

构建安全日志服务器的密钥管理系统

保证日志的安全性是安全日志服务器的一个基本目的,加密和认证是常用的保证日志信息安全性的重要方法,而密钥管理又是其中不可缺少的部件之一。详细阐述了在安全日志服务器中成立密钥管理中心的必要性,提出由密钥管理中心统一负责用户身份的认证和日志文件的加密传送。最后重点讨论了安全日志服务器的密钥管理系统中密钥的分配问题和多个CA之间交叉认证模式的选择。

基于Hadoop的海量安全日志聚类算法研究

大数据环境下,网络安全事件层出不穷,网络安全成为各界关注的热点。安全日志记录着设备运行状态的重要信息,通过对其分析可以实时掌握网络安全态势,可作为事前防护、事后追责的安全审计手段,实现对异常事件的追责与溯源。针对日志审计的重要性并结合数据挖掘在日志分析领域的重要作用,同时针对单机环境下处理海量数据效率相对滞后等问题,文章提出一种基于Hadoop的面向海量安全日志的聚类算法。首先,文章提出了基于最大最小距离(MMD)和均值思想对K-means聚类算法进行改进,克服了传统K-means聚类算法在寻找初始聚类中心随机性的缺陷;其次,为了适应海量数据的有效处理,提高聚类的效率与速度,将改进的K-means聚类算法部署在Map/Reduce上进行迭代计算。实验表明,改进的聚类算法的准确性优于其他典型算法,聚类效果稳定,在集群的性能上具有较好的运行速度和加速比。

基于SSL的HTTP安全日志

SSL能够为电子交易提供认证性、私有性、完整性服务,却无法保证电子交易的不可抵赖性,无法为事后提供稳定的验证性。文章针对HTTP协议,在SSL基础上设计了SHL协议,有效地保证了电子交易的不可抵赖性。SHL协议工作在交易服务器和客户端,对交易请求和响应进行签名、验证、记录。SHL有SPC和SPS两个部分组成,SPC和SPS之间使用SSL安全通信。SPC对客户端请求签名,验证服务器签名;SPS验证客户端签名,对服务器请求签名。SHL为交易提供稳定的验证性,保证交易的不可抵赖性。

多元异构网络安全日志数据融合方法仿真

网络结构日趋复杂,关键性应用的不断普及和深入,网络安全已成为不可忽视的问题。针对网络安全日志数据的分析,提出多元异构网络安全日志数据融合方法。方法首先对采集的异构网络安全日志数据进行预处理,采用Kalman滤波对日志数据形成时产生的噪声影响进行去除,然后通过传感器对网络状态进行观测,并创建网络状态的观测模型,对观测值进行加权处理,建立含有最佳加权系数的加权矩阵;最终将加权矩阵与模糊集理论相结合,实现对网络安全日志数据的加权融合。仿真结果显示,提出的网络安全日志数据融合方法,能够彻底地消除无效数据和错误数据,对有效数据的融合效果较好,具有较高的可信度和准确性。

安全日志统一收集平台的数据架构设计与实现

1 数据架构 安全日志统一收集平台采集的业务系统信息数据和安全日志数据信息在一定轮询周期（时间较短）内需要进行一次存储,数据特征为数据量大、插入操作频繁、查询操作范围小。因此对采集上来的数据存储逻辑进行优化,

基于开源Graylog的高职院校网络安全日志分析系统的应用研究

为解决高职院校的全校服务器安全管理问题,提高网络安全日志处理的效率,利用Graylog的可扩展性,设计了一套基于Graylog的日志分析系统,便于对服务器日志状态进行观察。高职院校众多服务器会产生庞大的日志数据量,为优化大量日志数据的查询响应时间,提出了Graylog集群,在集群中利用Graylog的重要组件Elasticsearch,主要通过段合并的方式提升性能。实验结果表明,在日志数据量为10万条的情况下,查询优化可以达到最大值,优化百分比最大为87.7%。

基于改进Apriori算法的多源安全日志关联分析

在多源网络安全日志关联分析中,基于数据挖掘的分析方法取得较高的成果,通过研究分析不同数据源的安全日志的特点,针对传统的Apriori算法运行时需多次扫描数据库从而效率低下、系统资源占用率较高的问题,提出一种改进的基于矩阵Apriori算法结合权重向量的方法,用于多源安全日志的关联分析,并通过实验测试结果分析,验证该算法的有效性。

GNU/Linux环境下的安全日志系统的构建

在现代网络化条件下,构建安全的日志系统对增强系统服务的可靠性具有非常实际的意义。文章分析了计算机安全对日志系统的主要需求,描述了在Gnu/Linux环境下构建安全日志系统的可靠方案及其实现。

收集安全日志 选择适当的日志管理工具，正确使用

日志对于安全来说非常重要。它记录了系统每天发生的各种活动。管理员可以通过日志来检查错误发生的原因。或者在受到攻击时找到攻击者留下的痕迹等。那么。既然日志这么重要。对它的管理也自然非常重要。你现在使用什么工具来管理日志呢？应该如何选择日志管理工具？本文可以为你答疑解惑。