基于资源感知的大数据处理任务调度方法

随着大数据的广泛应用,大数据用户的数量也在大幅度增长,大规模的大数据处理任务调度问题也日益凸显。在保证负载平衡的前提下,把不同使用者、不同粒度和不同完成质量要求的大数据处理任务调度请求通过集群节点计算分配出去,是学术界研究的难点。为此,笔者首先分析大数据处理任务的特点,然后就当前任务调度方法的问题提出区分数据有效价值、动态任务插槽的基于资源感知的大数据处理任务调度方法,希望为任务调度研究提供参考。

大数据与数据工程学

大数据的冲击并非是对以样本数据为对象的统计学的颠覆,而是对现代统计学的扩展。本文结合大数据的相关特征,以数据经济价值的扩展为切入点,从数据价值挖掘的角度论证了数据挖掘与大数据分析的关系,探讨了大数据背景下数据衍生品的创造与数据工程学创建的必要性。在此基础上,参照"金融工程学"的概念及学科体系,对"数据工程学"的概念进行了界定,并对数据工程学学科体系构建的相关理论基础、主要研究内容与分析技术进行了归纳与说明。