大数据在信息安全领域的应用分析

人类社会飞速发展,互联通信技术不断改良和升级,信息交互越来越频繁,信息积累与日俱增,大数据时代也随之到来.如今大数据这个概念被广泛应用于社会的各个方面,如民生医疗、航空航海、环境保护、法律治安等,大数据并非空中楼阁虚无缥缈,而是真实存在的时代需求.大数据通常被认为起源于谷歌的“三驾马车”(GFS,MapReduce和BigTable),发展至今已经10余年,而且不断更新变化.大数据技术可以大致概括为4部分内容:数据传输、数据处理、数据存储和数据查询,每部分内容包括不同的组件去实现各自的功能,代表性的有:在数据传输方面的Kafka,Message Queue;在数据处理方面的MapReduce,Spark等等.这些组件共同协作完成全面复杂的大数据分析,一起形成了大数据的Hadoop生态系统.对于信息和网络安全而言,大数据同样发挥着举足轻重的作用,如大数据隐私、舆情监测、高级持续威胁(APT)检测等.通过对网络流量监测分析、日志分析和电磁频谱数据分析的大数据平台建设的案例分析,更切实地体会到大数据对信息安全领域的重要性.