基于蜘蛛猴优化的异构Hadoop任务调度算法

针对当前Hadoop在进行任务规划与调度的过程中存在的任务分配不均匀、资源利用率低等问题,考虑Hadoop集群中各节点之间的性能差异,提出一种基于蜘蛛猴优化的异构Hadoop调度算法。首先为了得到每个节点中的任务负载信息,采用集群心跳机制依次获取各节点的内存和CPU信息;然后采用蜘蛛猴优化算法机制构建与任务完成时间相关的目标函数,进而找到任务量与资源分配之间的最优映射关系;最后根据任务类型以及当前集群中个节点的资源利用率,结合最优映射关系完成对对新任务的分配和执行。实验结果表明,与现有的调度算法相比,提出的方法可有效减少任务执行时间、提高调度效率以及任务执行速度。

异构Hadoop集群中基于节点特性的负载平衡方法

为了解决异构Hadoop集群中每个结点的负载平衡问题,提出了一种基于节点特征的负载均衡方法。方法首先分析决定节点性能的主要指标,然后根据这些指标的贡献,定义了对应的目标函数来描述节点性能;同时将节点性能与节点忙闲状态相结合来计算集群中每个结点的相对负载值。通过分析每个节点的相对负载值和集群存储利用率,计算每个节点的存储利用率的推荐值。最后,基于当前集群的磁盘负载状态,动态生成平衡阈值。实验结果表明,提出的负载均衡方法可为异构Hadoop集群提供更合理的均衡方案,同时可以提高运行效率和缩短了执行时间。

基于改进深度神经网络的网络安全预警方法研究

针对如何进一步提高网络入侵检测性能,提出一种基于改进深度神经网络的网络入侵检测方法。首先,对无监督稀疏自编码器(SAE)进行L1正则化以增强数据自动编码器的稀疏性;然后,将无监督SAE引入深度神经网络建立入侵检测网络入侵模型,采用深度神经网络完成对网络攻击入侵的预测和分类,通过分类完成对入侵攻击的特征提取。最后,为了验证模型在检测率和低误报率方面的优越性,论文分别采用了KDDCup99、NSL-KDD等数据集进行验证。结果表明与传统方法相比,新提出的方法在准确率、检测率有约10%的提升。