分布式数据流挖掘的研究进展

随着通信技术和硬件设备的不断发展,尤其是小型无线传感设备的广泛应用,数据采集和生成技术变得越来越便捷和趋于自动化,研究人员正面临着如何管理和分析大规模动态数据集的问题。能够产生数据流的领域应用已经非常普遍,例如传感器网络、金融证券管理、网络监控、Web日志以及通信数据在线分析等新型应用。这些应用的特征是环境配备有多个分布式计算节点;这些节点往往临近于数据源;分析和监控这种环境下的数据,往往需要对挖掘任务、数据分布、数据流入速率和挖掘方法有一定的了解。综述了分布式数据流挖掘的当前进展概况,并展望了未来可能的、潜在的专题研究方向。

云环境下基于LSH的分布式数据流聚类算法

近年来,随着计算机技术、信息处理技术在工业生产、信息处理等领域的广泛应用,会连续不断地产生大量随时间演变的序列型数据,构成时间序列数据流,如互联网新闻语料分析、网络入侵检测、股市行情分析和传感器网络数据分析等。实时数据流聚类分析是当前数据流挖掘研究的热点问题。单遍扫描算法虽然满足数据流高速、数据规模较大和实时分析的需求,但因缺乏有效的聚类算法来识别和区分模式而限制了其有效性和可扩展性。为了解决以上问题,提出云环境下基于LSH的分布式数据流聚类算法DLCStream,通过引入Map-Reduce框架和位置敏感哈希机制,DLCStream算法能够快速找到数据流中的聚类模式。通过详细的理论分析和实验验证表明,与传统的数据流聚类框架CluStream算法相比,DLCStream算法在高效并行处理、可扩展性和聚类结果质量方面更有优势。

基于纹理指纹的恶意代码变种检测方法研究

提出一种基于纹理指纹的恶意代码特征提取及检测方法,通过结合图像分析技术与恶意代码变种检测技术,将恶意代码映射为无压缩灰阶图片,基于纹理分割算法对图片进行分块,使用灰阶共生矩阵算法提取各个分块的纹理特征,并将这些纹理特征作为恶意代码的纹理指纹;然后,根据样本的纹理指纹,建立纹理指纹索引结构;检测阶段通过恶意代码纹理指纹块生成策略,采用加权综合多分段纹理指纹相似性匹配方法检测恶意代码变种和未知恶意代码;在此基础上,实现恶意代码的纹理指纹提取及检测原型系统。通过对6种恶意代码样本数据集的分析和检测,完成了对该系统的实验验证。实验结果表明,基于上述方法提取的特征具有检测速度快、精度高等特点,并且对恶意代码变种具有较好的识别能力。

不平衡类数据挖掘研究综述

综述了近年来国内外对不平衡类数据挖掘的主要研究进展。首先分析了不平衡类数据挖掘的本质。其次,详细探讨了处理不平衡类数据挖掘的各种技术,并根据其本质区别,从数据层次和算法层次分别对目前存在的各种技术方法进行了深入剖析和全面比较。最后,指出当前不平衡类数据挖掘研究的热点以及将来需要重点关注的主要问题。

时间序列分析及Monte Carlo方法在降水预报中的应用

文章分别阐述了时间序列分析方法及Monte Carlo(蒙特卡洛)方法的基本原理和计算方法,并将其应用于降水预报的实例之中。时间序列分析是对降水资料进行观察、研究,用一定的数学方法建立预测模型,使时间序列向外延伸,从而获得序列的发展变化趋势,确定变量的预测值,精确的预报每一时段的降水量。蒙特卡洛方法是根据降水资料,提取研究区年降水量变化所蕴含的随机性和统计规律性,建立伪随机数与样品值的对应关系,从而对未来降水量进行预报,结果反映了预报时间内降水的总体特征,而不能精确到具体时间段。将这两种不同的方法用于同一地区年降水量的预报,对比结果,探其原因,分析其各自特点,进而得到更精确的预报值,对该地区水资源的研究有着重要的现实意义。

基于新型集成分类器的非平衡数据分类关键问题研究

针对非平衡数据分类问题,提出了一种基于差异采样率的重采样算法(differentiated sampling rate algorithm,DSRA),基于DSRA设计了一种新的集成分类器(SVM-Ripper ensemble classifier,SREC)。SREC采用独特的分类器选择策略、分类器集成策略、分类决策方案,可获得较高的分类精度。同时,利用SREC对影响非平衡数据分类的关键问题进行了研究。结果表明,非平衡数据分类问题本质上是由正负样本类间非平衡、类内非平衡、样本规模以及样本非平衡度等诸多因素引起的,只有综合考虑这些因素才能更好地解决非平衡数据分类问题。

基于图像纹理聚类的恶意代码家族标注方法

针对传统恶意代码标注分析方法中特征提取能力不足以及家族标注不统一、不规范、不精确且时效性差等问题,通过对大量恶意样本PE文件纹理构成和分布的研究,提出了基于内容纹理聚类的恶意代码深度标注方法。该方法对恶意代码的纹理指纹进行统计分析,从基准标注和深度标注这2个步骤对恶意代码家族进行归纳和分析,并结合VirusTotal分析方法、基于GLCM纹理特征空间构建方法和基于P-Stable LSH的近邻增量聚类算法,对恶意代码家族进行深度标注。实验结果表明,基于上述方法开发的原型系统具有家族标注准确率高、支持增量标注等优势,通过深度标注生成的基准标签实用性强,且对未知恶意代码检测具有积极意义。

基于网络流量异常的僵尸网络受控主机检测研究

大规模僵尸网络已成为当前互联网的主要威胁之一,僵尸网络流量自动检测技术对于互联网服务提供商和大型企业网监控非常重要。为此,提出一种基于网络流量异常的僵尸网络实时检测算法,通过将网络流量组织成主机网络流量图谱和主机关系链,并提取内在命令与控制通信特征检测僵尸网络,同时实现Bot Scanner检测系统。使用4个主流的僵尸恶意代码家族训练Bot Scanner,采用模拟网络流量和真实网络流量数据集进行测试。实验结果表明,在无需深度包解析的情况下,Bot Scanner僵尸网络检测系统能够获得较高的平均检测率和较低的误报率。在数据量较大的交换机上,Bot Scanner能够有效地进行实时检测,验证了提出算法用于僵尸网络检测方面的可行性。

云计算环境中基于对象和用户的角色访问控制模型

针对云计算环境中资源按需访问的特点以及不同资源不同用户访问控制的特殊性,基于基本角色访问控制模型(role-based access control,RBAC),提出一种基于对象和用户的角色访问控制模型OURBAC(object-and-user based on RBAC);并设计了具体的用户访问权限判定规则。以实际实现应用为背景,设计了OURBAC的具体实现流程,对算法的安全性进行了分析,表明本算法使云资源访问控制得以进一步细化,能明显减少系统中角色数量,有效的提高了系统运行效率及安全性。

云环境下基于超球面投影分区的Skyline计算

目前,Skyline查询在集中式数据库、分布式数据库、数据流及分类属性数据集上的良好应用前景,使其成为当前数据库界研究的重点和热点之一,受到了学术界和工业界的广泛关注,它作为一种重要的数据挖掘技术广泛应用于多目标优化、城市导航系统、用户偏好查询及约束决策、智能防御系统以及地理信息系统等领域。随着人类可以采集和利用的数据信息的急剧增长,如何处理大数据的Skyline查询成为急需解决的问题。针对云计算环境,在Map-Reduce框架下设计并实现了基于超球面投影分区的分布式Skyline算法HSPD-Skyline,其主要思想是通过对高维数据点的超平面投影映射,即由空间坐标转换为超球面坐标,可以有效提高分区内数据点的平均减枝力度,降低Skyline的计算代价。同时,使用基于空间分区树的启发式策略HA-SPT,进一步提高了HSPD-Skyline算法的处理效率。通过详细的理论分析和实验验证表明,在不考虑数据分布和进一步优化算法的条件下,提出的HSPD-Skyline算法的总体性能(可扩展性、Skyline查询时间等)优于同类算法。

基于混合SVM方法的蛋白质二级结构预测算法

预测蛋白质二级结构,是当今生物信息学中一个难以解决的问题。由于预测蛋白质二级结构的精度在蛋白质结构研究中起到非常重要的作用,因此在基于KDTICM理论基础上,提出一种基于混合SVM方法的蛋白质二级结构预测算法。该算法有效地利用蛋白质的物化属性和PSI-SEARCH生成的位置特异性打分矩阵作为双层SVM的输入,从而大大地提高了蛋白质二级结构预测的精度。实验比较分析表明,新算法的预测精度和普适性明显优于目前其他典型的预测方法。

一种分布式的僵尸网络实时检测算法

僵尸网络通过控制的主机实现多类恶意行为,使得当前的检测方法失效,其中窃取敏感数据已经成为主流。鉴于僵尸网络实现的恶意行为,检测和减轻方法的研究已经势在必行。提出了一种新颖的分布式实时僵尸网络检测方法,该方法通过将Netflow组织成主机Netflow图谱和主机关系链,并提取隐含的C&C通信特征来检测僵尸网络。同时,基于Spark Streaming分布式实时流处理引擎,使用该算法实现了BotScanner分布式检测系统。为了验证该系统的有效性,采用5个主流的僵尸网络家族进行训练,并分别使用模拟网络流量和真实网络流量进行测试。实验结果表明,在无需深度包解析的情况下,BotScanner分布式检测系统能够实时检测指定的僵尸网络,并获得了较高的检测率和较低的误报率。而且,在真实的网络环境中,BotScanner分布式检测系统能够进行实时检测,加速比接近线性,验证了Spark Streaming引擎在分布式流处理方面的优势,以及用于僵尸网络检测方面的可行性。

云环境下大规模图像索引技术

为满足海量高维数据快速计算和检索的需求,基于一个高层次的分布式树形索引结构抽象框架MRC-Tree,以及不同的KD-Tree建树方式,提出两种基于Map-Reduce机制的分布式KD-Tree索引结构构建方法,分别为MKDTM方法和OKDTM方法。通过并行对数据进行切分和建树,多个节点并发检索,可以有效地提高检索性能。理论分析和实验结果表明,基于MRC-Tree框架的分布式KD-Tree索引结构具有良好的可扩展性和较高的检索效率,且OKDTM索引结构比MKDTM具有更优良的性能。

吉林省西部人工草地优化灌溉制度的研究

节水高效的优化灌溉制度是解决农业水资源短缺的有效措施,通常所建立的灌溉制度优化模型多为具有2个决策变量的二维动态规划模型,不但求解复杂而且模型本身也存在缺陷。以吉林省松原市前郭县苜蓿人工草地非充分灌溉试验为依据,深入研究作物蒸发量与土壤水分之间的内在关系,在已建立的二维优化模型基础上,以土壤含水率为中间变量将蒸发量与灌水量联系在一起,并通过土壤水消退模型定量表述二者之间的关系,将模型改变为具有一个决策变量的动态规划问题,这样不仅求解方便,而且更为全面真实的反映土壤水分变化特征。

基于Spark框架的分布式入侵检测方法

为以较低的误报率和较高的检测率对攻击和恶意行为进行实时检测,基于Spark框架和位置敏感哈希算法,提出一种分布式数据流聚类方法 DSCLS,能够处理实时数据流,可根据数据流速进行横向分布式扩展。基于DSCLS分布式聚类算法,建立网络入侵检测系统,能够高速实时分析数据流,聚类相关模式,实时检测已知攻击和入侵,能够对未知的新型攻击进行检测。理论分析和实验结果表明,与主流的数据流聚类算法D-Stream相比,DSCLS方法能够有效提高检测率并降低误报率,在时间性能和可扩展性方面更有优势。

夏季长江口海水中自由生活和颗粒附着古菌群落的组装过程研究

长江口位于长江和东海的重要交互区域,是研究海洋微生物生态作用的典型环境,但当前对海水中不同生活方式的海洋古菌在长江口的分布和组装过程尚未见系统的研究。采集夏季长江口海水中不同生活方式的古菌样品,基于宏基因组技术分析其多样性、分布特征和环境驱动因素,利用中性模型和零模型方法对其群落组装机制进行评估。研究结果显示泉古菌门(Crenarchaeota)是长江口古菌群落中的优势菌群。在科分类水平上,不同生活方式古菌群落组成存在差异,Marine Group II在自由生活状态(FL)中更加丰富,而Bathyarchaeia在颗粒附着状态(PA)中拥有更高的相对丰度。自由生活和颗粒附着古菌之间的相似性很高,说明多数古菌具有自由生活和颗粒附着的双重生活方式。对两种生活方式下古菌群落都有显著影响的重要环境因子是温度、盐度和硅酸盐含量;亚硝酸盐显著影响自由生活的古菌群落,叶绿素a显著影响颗粒附着的古菌群落(P<0.05)。结合中性模型和零模型,发现长江口海水中古菌群落的组装由随机性过程主导,生态漂变(76%贡献度)是颗粒附着古菌群落的主要组装方式,而对自由生活的古菌群落,其组装受到扩散限制、均质扩散和生态漂变的影响。

基于Spark Streaming的僵尸主机检测算法

随着宽带互联网的广泛应用,产生了同时针对互联网服务提供商和用户的新型威胁,僵尸网络。僵尸网络通过多类传播和感染程序,构建一个可一对多控制的网络,操控大量僵尸主机发起DDo S攻击、发送垃圾邮件、偷窃敏感数据和钓鱼等恶意行为。基于一种分布式实时处理框架,提出一种分布式的僵尸主机检测算法。该算法能够充分利用网络流量的统计数据IPFIX,在无须深度包解析的情况下,能够识别僵尸主机行为。同时,使用该算法实现了IPFIXScanner原型系统。系统的鲁棒性和可扩展性是设计该系统的核心原则。实验表明,IPFIXScanner原型在使用指定僵尸家族样本训练的情况下,对于特定类的僵尸主机能够获得较高的检出率和较低的误报率。在核心交换机上的测试结果表明,IPFIXScanner能够进行分布式的实时检测,加速比接近线性,验证了Spark Streaming引擎在分布式流处理方面的优势,以及用于僵尸主机检测方面的可行性。

一种基于机器学习的分布式恶意代码检测方法

随着恶意代码规模的快速增长,传统的恶意代码检测方法已经逐渐失效。主流的启发式技术由于其动态执行的特点,在许多应用中难以推广。因此,通过恶意代码的静态特征,将可疑恶意代码PE文件分类到相应的恶意代码家族是相当重要的。在本文,基于对恶意代码PE文件的分析结果,提出元数据的概念,并于此实现了恶意代码快速检测原型,PE-Classifier。在spark分布式环境中,通过使用随机森林分类算法,基于恶意代码元数据,能够对恶意代码进行快速和精准地分类和检测。实验结果表明,通过对大量的恶意代码PE样本元数据分析,本文提出的原型系统PE-Classifier能够根据元数据相似性判断样本的语义相似性,从而辅助检测,使得反病毒软件更为有效。

浅谈城市固体废弃物处置方式及利用措施

我国城市化进程加快的同时,城市固体废弃物的产量也在增加,大量的堆积破坏了我们赖以生存的生活环境,给居民的人身健康造成巨大的威胁,阻碍城市经济发展的可持续性。本文首先介绍了固体废弃物处理状况,其次分析了目前城市固体废弃物处置方式,最后提出城市固体废弃物处置利用措施,以供参考。

灰色系统理论在水文地质实践中的应用探讨

随着经济的发展与社会的进步,灰色系统理论被有效的提出,受到了专家和学者的广泛重视与好评,并且被广泛的应用在农业种植、地质勘察及气候预测等一些科学领域中。灰色系统理论对水文地质参数的确定、地质环境因子影响评价及水文地质数值模型的有效性分析,都能提供科学的理论支撑和有效的技术手段,从而能够保证水文地质工作的顺利进行。