域名生成算法检测技术综述

C&C服务器是网络攻击者用于控制僵尸主机的中间服务器,在僵尸网络中处于核心位置。为增强C&C服务器的隐蔽性,网络攻击者使用域名生成算法来隐藏C&C服务器地址。近年来,域名生成算法检测技术作为检测僵尸网络的重要手段,已经成为一个研究热点。首先,介绍了当前网络安全的发展态势和僵尸网络的拓扑结构。其次,介绍了域名生成算法和相关数据集。接着,介绍了域名生成算法检测技术的分类,并对这些检测技术进行总结综述。最后,探讨了现阶段域名生成算法检测技术存在的问题,并对未来研究方向进行了展望。

基于字典的域名生成算法生成域名的检测方法

针对基于字典的域名生成算法(DGA)生成域名与良性域名构成十分相似,现有技术难以有效检测的问题,提出一种卷积神经网络(CNN)和长短时记忆(LSTM)网络相结合的网络模型——CL模型。该模型由字符嵌入层、特征提取层及全连接层三部分组成。首先,字符嵌入层对输入域名的字符进行编码;然后,特征提取层将CNN与LSTM串行连接在一起,对域名字符特征进行提取,即通过CNN提取域名字符的n-grams特征,并将提取结果输入给LSTM,以便学习n-grams间的上下文特征,同时,为了学习不同长度的n-grams特征,可选择多组CNN与LSTM结合使用;最后,全连接层根据提取到的特征对基于字典的DGA生成域名进行分类预测。实验结果表明:当CNN选择的卷积核大小为3和4时,所提模型性能最佳。在四个基于字典的DGA家族的测试对比实验中,CL模型与CNN模型相比,准确率提升了2.20%,且随着样本家族数量的增加,CL模型具有更好的稳定性。

算法生成恶意域名的实时检测

当前对算法生成域名技术的检测,检测所用时间周期过长,无法对算法生成的恶意域名进行快速检测。针对此问题,本文基于新增域名与已分类恶意域名之间的关联关系,提出一种算法生成域名的实时检测方法,并在某省运营商DNS服务器机房部署本系统,实验验证本检测方法。实验表明与已有方法相比,本方法能够快速筛选用于恶意网络行为的算法生成域名。但本方法需要消耗大量的计算资源和内存资源,需要在后续的工作中研究解决。

一种改进的卷积神经网络恶意域名检测算法

针对现有检测方法对算法生成的恶意域名检测效率不高,尤其对几种难检测的恶意域名类型检测率低的问题,提出了一种改进的基于卷积神经网络的恶意域名检测算法。该算法在现有的卷积神经网络模型的基础上,增加了提取更深层字符级特征的卷积分支,从而同时提取恶意域名的浅层和深层字符级特征并融合;引入一种聚焦损失函数以解决样本难易程度和数量的双重不平衡导致检测率低的问题,可提高对难样本的检测准确率。改进后的算法对20种恶意域名的平均检测准确率为97.62%,与原算法相比提高了0.94%;对4种较难检测域名的检测准确率分别提高了3.71%、4.6%、11.18%和17.8%。实验结果表明,改进的算法能够提高对恶意域名的检测准确率,尤其能够显著提升对部分难检测域名的检测准确率。

基于人工特征与深度特征的DGA域名检测算法

当前,各种各样的恶意软件常使用域名生成算法(Domain Generation Algorithms,DGAs)来生成大量的随机域名,然后尝试与C&C服务器建立通信,发动相应的攻击。现有的检测方法基于DGA域名的随机性构建人工特征,利用机器学习方法学习分类模式,但该类算法存在人工构建特征费时费力、检测误报率高等问题;或利用LSTM,GRU等深度学习技术学习DGA域名的序列关系,但该类算法对低随机性的DGA域名的检测准确率较低。文中提出了一种域名通用特征的提取方案,建立了包含41种DGA域名家族的数据集,并设计了基于人工特征与深度特征的检测算法,提高了模型的泛化能力,增加了对DGA域名家族的识别种类。实验结果表明,基于人工特征与深度特征的DGA域名检测算法取得了比传统深度学习方法更高的准确率和更好的泛化能力。

基于字符和词特征融合的恶意域名检测

针对现有恶意域名检测方法对域名生成算法(domain generation algorithm, DGA)随机产生的恶意域名检测性能不高,且对由随机单词组成的恶意域名检测效果较差的问题,提出一种基于字符和词特征融合的恶意域名检测算法(cha-racter and word network, CWNet)。利用并行卷积神经网络分别提取域名中字符和词的特征;将两种特征进行拼接,构造成融合特征;利用Softmax函数实现合法域名与恶意域名的检测。实验结果表明,该算法可以提升对恶意域名的检测能力,对更具挑战性的恶意域名家族的检测准确率提升效果更为明显。

基于CNN-BiGRU的恶意域名检测方法

恶意域名检测对于防范僵尸网络等网络攻击具有重要意义。该文提出一种基于CNN和BiGRU的恶意域名检测方法CNN-BiGRU-Focal,利用卷积神经网络和双向门控循环单元网络来进行特征的融合学习,并引入改进的Focal Loss函数用以解决数据不平衡问题。与LSTM、CNN、GRU、ATT-CNN-BiLSTM方法的对比实验表明,文章方法在多分类实验中检测准确率分别提高1.43百分点、2.89百分点、1.27百分点、2.43百分点,在二分类实验中检测准确率分别提高0.19百分点、0.12百分点、1.41百分点、0.3百分点。实验表明CNN-BiGRU-Focal方法在恶意域名的检测上有着更好的性能。

基于深度学习的DGA恶意域名检测

攻击者常使用域名生成算法(DGA)生成大量的随机域名来传输恶意软件控制指令,而传统DGA检测方法存在计算量大、检测精确度低等问题,采用机器学习和深度学习的方法可极大缓解上述问题。首先从域名的基本特征、语言特征和统计特征3个方面对DGA域名和正常域名进行特征提取,在特征集上采用机器学习算法进行模型训练;同时,采用长短期记忆(LSTM)网络以域名字符串的嵌入向量作为输入,提取域名的深度特征进行域名检测。通过查准率、召回率、F1-score、ROC曲线、AUC值等评测指标对模型训练结果进行对比,获得较优的DGA域名检测模型。

基于LSTM的DGA域名检测算法研究与应用

随着互联网技术的快速发展,网络服务于各类行业,域名数量与日俱增的同时恶意域名的检测也变得愈来愈困难且更加重要。恶意服务常利用域名生成算法(DGA)逃避域名检测,DGA域名常见于一些僵尸网络和APT攻击中,针对DGA域名可以轻易地绕过传统防火墙和入侵检测设备、现有方法检测速度慢、实用性不强等问题,采用深度学习技术,基于LSTM设计了DGA域名检测方法,从海量域名样本中分辨出异常域名,借助机器代替人力完成这样重复性的工作。经实验结果证明,该方法检测准确率高达99.1%以上,是有效可行的。同时结合流量探针构建实时监测系统,实时准确地监测流量中的DGA域名,提高网络空间安全性。

面向DGA域名多分类的深度学习集成模型

现代僵尸网络广泛采用域名生成算法(domain generation algorithm,DGA),以生成大量随机域名。通过这些域名,僵尸主机可以与其命令和控制(command and control,C&C)服务器通信,并躲避黑名单和逆向工程等传统防御措施。近年来,基于循环神经网络(recurrent neural network,RNN)的深度学习模型,如长短时记忆(long short-term memory,LSTM)和门控循环单元(gated recurrent unit,GRU),被引入到DGA域名的实时检测中,这些模型只需使用域名,而无需人工的特征提取或附加信息。为了尽可能充分地提取域名序列内部的信息,提出了一种由并行的卷积神经网络(parallel convolutional neural network,PCNN)和含注意力机制的双向GRU(bidirectional GRU,BiGRU)组成的集成模型。与只学习单向时序信息的GRU不同,BiGRU学习双向时序信息。PCNN可以设置不同的卷积核大小,学习域名的局部序列信息。注意力机制用于对域名序列进行加权,学习域名字符组合在域名中的重要程度,挑选出关键的全局时序特征,有效增强捕获关键特征的能力。实验结果表明,提出的集成模型的F1分数最高,为0.9343,次优模型为0.9241,最低的卷积神经网络(convolutional neural network,CNN)模型仅为0.8546。相比单一结构的CNN和LSTM模型,以及结合注意力机制的LSTM模型,集成模型具有更好的多分类效果。

采用深度学习的DGA域名检测模型比较

针对DGA域名难以检测的问题,构建了一种面向字符的采用深度学习的DGA域名检测模型,模型由字符嵌入层、特征检测层和分类预测层组成。字符嵌入层实现对输入DGA域名的数字编码;特征检测层采用深度学习模型自动提取特征;分类预测层采用全连接网络进行分类预测。为了选取最优的特征提取模型,分析比较了采用Bidirectional机制、Stack机制和Attention机制的LSTM模型与GRU模型,CNN模型,以及将CNN模型分别与LSTM模型和GRU模型相组合的模型。结果表明,与LSTM和GRU模型相比,采用Stack机制、前向Attention机制结合Bidirectional机制的LSTM和GRU模型,CNN模型,CNN模型与LSTM和GRU相组合的模型可提升模型的检测效果,但采用CNN和Bi-GRU组合构建的DGA域名检测模型可获得最优的检测效果。

融合字符级滑动窗口和深度残差网络的僵尸网络DGA域名检测方法

本文提出了一种基于字符级滑动窗口的深度残差网络(Sliding Window-Depth Residual Network,SWDRN),首次将轻量级深度可分离式卷积应用于僵尸网络中DGA(Domain Generation Algorithm)域名检测.SW-DRN采用深度可分离式卷积,相比标准卷积减少了约56%的参数,增强了模型检测效率.采集两种不同来源的数据,分别命名为Real-Dataset和Gen-Dataset.SW-DRN与对照组模型在两个数据集上进行实验,实验结果表明:SW-DRN模型在DGA域名二分类任务中的F-Score评估指标上分别取得了99.23%和97.81%的成绩;并且在少样本DGA域名家族以及域名字符串易混淆DGA域名情形下多分类任务中取得不错的成绩,相比目前已有的DGA域名分类模型在总体FScore上提升了1.23%和1.01%的性能,增强了DGA域名家族之间的识别;同时还对所提出的模型在生成对抗模型产生域名进行测试,均能得到有效的识别.

基于组行为特征的恶意域名检测

目前,僵尸网络广泛采用域名变换技术,以避免域名黑名单的封堵,为此提出一种基于组行为特征的恶意域名检测方法。该方法对每个检测周期内网络中主机请求的新域名集合、失效域名集合进行聚类分析,并将请求同一组新域名的主机集合作为检测对象,通过分析集合内主机在请求失效域名、新域名行为上是否具有组特性,提取出网络中的感染主机集合、C&C服务器使用的IP地址集合。对一ISP域名服务器监测的结果表明,该方法可准确提取出感染主机、C&C服务器IP地址。

基于迁移学习的小样本DGA恶意域名检测方法

域名生成算法(DGA)存在变化多、部分类别样本难获取的特点,使得采用传统机器学习的恶意域名检测模型准确性不高。提出一种基于迁移学习和多核CNN的小样本DGA恶意域名检测模型。该模型将目标域名映射到向量空间中,使用样本充足的DGA种类进行预训练,并迁移预训练得到的参数到小样本检测模型。采用多核CNN小样本分类模型根据发音习惯进行域名特征提取并分类。通过实验对比发现,无知识迁移的小样本分类模型只有11类域名准确率超过92%,经过迁移学习的多核CNN模型20类准确率超过92%,11类准确率超过97%,检测效果接近数据充足时的分类效果。

马尔科夫链在域名信息探测中的应用

域名信息探测是企业网络安全评估和渗透测试的重要内容。针对当前蛮力扫描和DNSenum等基于字典的探测方法普遍存在获取信息不全、过度依赖数据字典的问题,建立了基于Markov链的域名结构模型,提取出域名起始字符集合与分布、状态转移矩阵等域名统计与分布特征,提出了一种新域名的生成算法。对.com、.net和.org三类通用域名进行抽样探测,实验结果表明,该算法在探测域名数量、探测域名集的区分度和探测效率上优于现有方法 DNSenum。

基于域名词间关系的字典型恶意域名检测方法

大量僵尸网络开始采用字典型域名生成算法(domain generation algorithm,DGA)进行命令与控制(C&C),使得计算机网络面临愈加严重的威胁.针对字典型域名生成算法所生成的恶意域名具有与正常域名相似的字符特征及传统的基于域名字符统计特征与2-gram模型的检测方法逐渐失效的问题,提出一种基于构成域名字符串的单词词间关系来识别字典型恶意域名的方法.实验结果表明,对于字典型恶意域名家族,该方法的F1值比基于域名字符统计特征的方法提升了3.45%,比2-gram模型提升了2.84%.

基于Deep-IndRNN的DGA域名检测方法

恶意服务常利用域名生成算法(DGA)逃避域名检测,针对DGA域名隐蔽性强、现有检测方法检测速度较慢、实用性不强等问题,采用深度学习技术,提出了一种基于Deep-IndRNN的DGA域名检测方法。方法运用词袋模型(BoW)将域名向量化,然后通过Deep-IndRNN提取域名字符间特征,并使用Sigmoid函数对域名分类检测。其主要特点在于:通过将Deep-IndRNN的多序列输入拼接为单向量输入,以单步处理代替循环处理,同时结合Deep-IndRNN能保存更长时间记忆的特点,可有效释放深度学习时占用的GPU、CPU等系统资源,且在保证高准确率和精确度的前提下提高训练、检测速度。实验结果表明,基于Deep-IndRNN的DGA域名检测方法在检测任务中具有较高的准确率和精确度,相比于DNN、CNN、LSTM、BiLSTM、CNN-LSTM-Concat等同类检测方法,能显著提高训练、检测速度,是有效可行的。

基于APCNN和BiGRU-Att的单词DGA域名检测方法

为了提高对基于单词的域名生成算法(domain generation algorithm,DGA)生成的恶意域名的检测准确率,提出了一种结合改进的并行卷积神经网络(APCNN)和融合简化注意力机制的双向门控循环单元(BiGRU-Att)的网络模型,该模型能充分学习单词特征、单词之间的组合关系和关键字符信息。实验结果表明,相比Bilbo和CL模型,APCNN-BiGRU-Att模型的分类准确率和F_(1)值更高,表明该模型具有更好的检测效果、多分类效果和稳定性。

基于机器学习的僵尸网络DGA域名检测系统设计与实现

僵尸网络广泛采用域名生成算法(Domain Generation Algorithm,DGA)生成大量的随机域名来躲避检测。针对僵尸网络DGA域名问题,本文设计实现了一种DGA域名检测系统。首先使用基于随机森林算法的轻量级分类分析检测模块,通过分析域名字符特征区分正常域名与疑似恶意域名,满足现网实际应用中快速检测的要求;然后使用基于X-means算法的聚类分析检测模块,在分类分析检测的基础上,根据DGA域名的字符相似性和查询行为相似性,通过聚类和集合分析方法对疑似恶意域名进一步检测,降低系统误检率。通过部署基于Spark的检测系统对某运营商现网真实DNS日志数据进行连续20天的处理和分析,检测系统平均每天挖掘出约250万DGA域名,经过正则匹配分析,其中约55%属于5类已知的DGA;在前两个实验日,共发现13,000个已知DGA域名分属于3个DGA类别。实验结果表明检测系统可有效检测出多种DGA域名,此外,检测系统也可满足现网实际应用中快速检测的要求。

基于CNN的假冒域名识别方法研究

近年来,以僵尸网络为载体的各种网络攻击活动是目前互联网面临的安全威胁之一,各种恶意软件使用域名生成算法(domain generation algorithm,DGA)自动生成大量伪随机域名以连接到命令和控制服务器.为此提出以基于卷积神经网络(CNN)的方法来检测和分类伪随机域名.简要介绍了僵尸网络的危害、基本原理以及假冒域名在僵尸网络中的作用.在分析DGA算法的原理以及传统的DGA域名识别算法的缺陷以后,将重点放在基于卷积神经网络的假冒域名识别方法研究.阐述了关于卷积神经网络的基本概念,模拟了在不同的超参数,不同的激励函数下模型对于解决分类问题效果的差异.分析了数据预处理的原理、模型定义中对于超参数和激励函数、学习速率等选择的合理性.在模型运行结果分析时,给出了卷积神经网络模型识别域名的准确率和损失函数的变化,使用准确率、召回值、F1值、ROC曲线等评估指标,各项指标均显示模型取得了优秀的分类效果,证明了基于CNN的假冒域名识别是一个可靠的方法.