开源威胁情报生产与应用综述

网络威胁情报是通过及时收集与组织网络安全相关的内部及外部威胁信息而综合分析出的可指导组织应对当前网络威胁的知识,可极大提升组织的网络安全防御效率。其中一种威胁情报是通过收集互联网上的多源威胁信息后综合分析生产出来的,即开源威胁情报,其可以识别和分析潜在的网络威胁、恶意活动和攻击趋势等,具有极高的应用价值。然而,在开源威胁情报生产过程中,需要克服开源情报信息非结构化表达、多源情报间表达异构和内容冲突等困难,这吸引了学术界和产业界的众多关注。鉴于此,文章首先深入研究近年来网络威胁情报的行业报告、白皮书以及学术成果,归纳出开源威胁情报生产及应用框架。其中,开源威胁情报生产过程中首先对情报可靠性进行评估,还负责实现非结构化威胁信息中的情报抽取以及多源情报间存在的表达结构及内容冲突处理,情报应用则覆盖威胁狩猎、应急响应以及威胁归因的全防御生命周期。因此,文章从威胁情报抽取、情报冲突处理和情报应用研究三个方面整理已有研究成果并进行总结。具体地,现有研究首先从定性和定量两个方向对情报质量进行评估,再通过各种技术从多个信息来源中抽取出多种类型的情报,但抽取类型及情报来源多是定制化的、片面的。关于异构情报消冗的研究成果较少,情报内容的不一致性检测则受到越来越多的关注,但大多集中于如漏洞影响产品、情报披露时间等非语义信息情报的不一致性检测上。研究人员还专注于将生产的威胁情报进行关联应用,但未考虑生产出的威胁情报的完整性。最后,文章指出开源威胁情报生产与应用的未来研究趋势,即自动化威胁信息全面抽取、语义威胁情报的对齐与不一致性研究、基于已有知识的情报完整性提升研究以及情报应用自动化技术研究等方面。文章期望通过梳理和分析已有的开源威胁情报生产和应用研究概况,推进我国开源威胁情报生产和应用工作的发展,实现网络安全整体防御能力的提升。

基于Bert和BiLSTM-CRF的APT攻击实体识别及对齐研究

针对高级可持续威胁(APT)分析报告未被有效利用,缺乏自动化方法生成结构化知识并形成黑客组织特征画像问题,提出一种融合实体识别和实体对齐的APT攻击知识自动抽取方法。首先,结合APT攻击特点设计12种实体类别;其次,构建融合Bert、双向长短期记忆(BiLSTM)网络和条件随机场(CRF)的APT攻击实体识别模型,利用Bert预训练标注语料,BiLSTM学习上下文语义信息,注意力机制突出关键特征,再由CRF识别实体;最后,结合实体对齐方法来生成不同APT组织的结构化知识。实验结果表明,所提方法能有效识别APT攻击实体,其精确率、召回率和F1值分别为0.9296、0.8733和0.9006,均优于现有模型。此外,所提方法能在少量样本标注的情况下自动抽取高级可持续威胁知识,通过实体对齐能生成常见APT组织的结构化特征画像,从而为后续APT攻击知识图谱构建和攻击溯源提供支撑。