An Improvement of Data Cleaning Method for Grain Big Data Processing Using Task Merging

Data quality has exerted important influence over the application of grain big data, so data cleaning is a necessary and important work. In MapReduce frame, parallel technique is often used to execute data cleaning in high scalability mode, but due to the lack of effective design, there are amounts of computing redundancy in the process of data cleaning, which results in lower performance. In this research, we found that some tasks often are carried out multiple times on same input files, or require same operation results in the process of data cleaning. For this problem, we proposed a new optimization technique that is based on task merge. By merging simple or redundancy computations on same input files, the number of the loop computation in MapReduce can be reduced greatly. The experiment shows, by this means, the overall system runtime is significantly reduced, which proves that the process of data cleaning is optimized. In this paper, we optimized several modules of data cleaning such as entity identification, inconsistent data restoration, and missing value filling. Experimental results show that the proposed method in this paper can increase efficiency for grain big data cleaning.

高职院校大数据驱动下的精细化教学研究

随着人工智能和大数据等新兴技术的发展,作为一种基于学生个体差异的教学方式,基于大数据驱动的精细化教学在高职院校中逐渐成为推进教育改革和提高教学质量的重要手段。文章首先介绍教育大数据的内涵及其对教学精细化的推动作用。然后阐述教育大数据驱动教学精细化的实现过程。并从提高教学质量、优化学习过程等方面探讨教育大数据驱动教学精细化的意义。最后指出在推进教育大数据驱动教学精细化过程中面临的问题和挑战。

大数据与粮食质量安全监管的融合及应用研究

随着信息技术的迅猛发展,大数据技术在各个领域的应用日益广泛,尤其是在提高粮食质量安全监管的效率和准确性方面发挥了重要作用。基于此,本文通过探讨大数据与粮食质量安全监管的融合,分析其在提高监管效率、加强风险预警能力、增强透明度和可追溯性等方面的作用,揭示大数据技术与粮食质量安全监管融合时面临的挑战,并提出相应的对策和未来发展趋势,以期为提升粮食质量安全监管水平和促进粮食产业高质量发展提供参考。

大数据背景下粮食产业高质量发展路径研究综述和探讨

本文从大数据视角探讨粮食产业高质量发展的路径选择。研究发现,大数据技术在粮食产业发展的应用降低了粮食生产和交易成本,提高了粮食产品质量,提升了粮食产业价值链和延伸了粮食产业链,具有重要的现实意义。但是中国粮食产业仍面临产业链体系不完善、粮食安全隐忧、农业大数据基础设施不足等诸多困境,严重制约大数据技术的发挥。为此,需要从产业布局、制度建设、基础设施建设、人才培养、农民培训等方面探寻粮食产业高质量发展的路径。

细粒沉积物及其古地理研究进展与展望

细粒沉积物特征及其古地理研究对含油气细粒沉积物的勘探开发、评价预测、工程技术设计等意义重大。近年来,细粒沉积物,尤其是含油气细粒沉积物研究的快速发展,带来了一系列新的研究领域。在讨论细粒沉积物的定义、分类与特征的基础上,通过分析细粒沉积的文献知识群,获取细粒沉积物、页岩研究等结构、热点与发展方向。国际上细粒沉积物研究主要关注微结构和成因机制,近年来主要在具有油气意义的特殊细粒沉积物——页岩研究方面取得关键进展,对页岩的研究过程可以分为以页岩表征为代表的主知识网络和以页岩气赋存、运移等构成的延伸知识网络。细粒沉积物古地理恢复方法丰富,适用性存在差异,但量化、多因素综合、数据集成与深度挖掘、人工智能化将是细粒沉积古地理恢复方法的方向。在含油气细粒沉积物的优选评价方面,需要对沉积物本身特征与控制影响因素展开精细研究,进而延伸出"更宏观"与"更微观"2个主要发展方向。

大数据在粮库粮情预测中的应用

针对大数据在其他行业产生的聚合增值效应,立足粮情预测问题,分析大数据在我国粮情预测领域缺乏应用的现状。通过建立各级储粮公司数据共享的云服务平台,借助基于部分约束信息的大规模数据集EM概率聚类算法对粮库粮情大数据进行挖掘。围绕粮食储藏安全给出几点指导性意见,为未来粮情预测提供更好的理论技术支撑。指出大数据的应用必将成为提升粮食安全系数的重要手段和途径,同时实现降成本、增效益的目标,与此同时展望未来的发展趋势。

基于增量式分区策略的MapReduce数据均衡方法

MapReduce以其简洁的编程模型,被广泛应用于大规模和高维度数据集的处理,如日志分析、文档聚类和其他数据分析.开源系统Hadoop很好地实现了MapReduce模型,但由于自身采用一次分区机制,即通过Hash/Range分区函数对数据进行一次划分,导致在处理密集数据时,Reduce端常会出现数据倾斜的问题.虽然系统为用户提供了自定义分区函数方法,但不幸的是在不清楚输入数据分布的情况下,数据倾斜问题很难被避免.为解决数据划分的不均衡,该文提出一种将分区向Reducer指派时按照多轮分配的分区策略.该方法首先在Map端产生多于Reducer个数的细粒度分区,同时在Mapper运行过程中实时统计各细粒度分区的数据量;然后由JobTracker根据全局的分区分布信息筛选出部分未分配的细粒度分区,并用代价评估模型将选中的细粒度分区分配到各Reducer上;依照此方法,经过多轮的筛选、分配,最终在执行Reduce()函数前,将所有细粒度分区分配到Reduce端,以此解决分区后各Reducer接收数据总量均衡的问题.最后在Zipf分布数据集和真实数据集上与现有的分区切分方法Closer进行了对比,增量式分区策略更好地解决了数据划分后的均衡问题.

中国饲料营养大数据分析平台研制

饲料粮缺口的逐渐加大,导致中国饲料粮安全问题逐步转化为粮食安全问题。因此,全面整合饲料营养基础数据资源,提高一切可利用饲料资源的营养价值,成为中国今后长期保障国家粮食安全的技术措施之一。本研究依据16类中国饲料原料描述规范和属性数据标准,全面用数字化模式收集整理了自“六五”至“十三五”期间累积的50万条以上已有饲料资源的种类、空间分布、饲料成分含量及营养价值特性数据,利用MySQL网络数据库及PHP程序语言,开发了新一代饲料营养大数据分析平台(http://www.chinafeeddata.org.cn/)并提供Web数据共享功能。首先,平台提供所有入库数据的可视化分析,可实现单个或多个饲料多种养分和多种图形模式的直观比对。通过二维码技术提供所有饲料营养属性数据及饲料实体样本溯源数据的移动端实时分享与下载服务。其次,平台构建了通过已知饲料概略养分在线预测其他有效养分的回归模型,为饲料原料养分变异提供动态分析。最后,平台基于地理信息系统技术,将饲料概略养分和主要矿物元素含量数据与其所处的地理位置分布相结合,实现了饲料营养数据地理信息图谱的分布查询及对比分析,同时提供各种数据的下载方式,为已有饲料数据的全面应用带来便利。研究表明,拓展饲料资源数据并提供饲料养分的预测分析模型,可最大化利用已有饲料养分数据的价值,进一步嵌入各类饲料配方的网络计算模块,可以达到饲料营养数据的一站式服务及数据的最大化升值服务。

云存储中基于用户授权的大数据完整性审计方案

云存储具有存储量大、可扩展和成本低等优点,越来越多的用户选择把数据存储在云存储服务器端。云存储的可用性、高可靠性及数据共享服务等在给用户带来便利的同时,也会导致诸多安全问题,其中数据的完整性研究成为近期研究的热点。目前已有很多数据审计方案,但它们不能高效实现数据的细粒度更新操作。为了解决这一问题,文章提出一种支持细粒度更新的大数据完整性审计方案。首先,设计了一种支持细粒度更新的认证数据结构——动态索引表。在数据插入和删除操作过程中,动态索引表中的元素不需要进行移动,提高了数据更新的效率。其次,为了避免恶意攻击者对云存储服务器发起拒绝服务攻击,文章提出了一种基于用户授权的大数据完整性审计方案,即只有用户合法授权的第三方审计者才能发起完整性审计挑战,提高了系统的安全性。最后,模拟实验证明,文章提出的方案具有较高的数据审计运算效率。

一种大数据环境下的数据隐私保护策略及其实践

随着大数据技术研究的进展,大数据治理问题中的隐私保护也成为一个重点研究领域,对大数据环境下的数据隐私保护进行了分析,给出了基于数据项的访问控制模型,并结合大数据的特点兼顾系统性能和细粒度访问控制之间矛盾,给出了实践的建议,对大数据环境下信息系统的隐私保护和改造有一定的借鉴作用。

大数据背景下灾害年份粮情信息模型仿真

对灾害年份粮食产量进行准确预测,对于保障粮食安全具有重要的意义。由于粮情具有随机性,传统算法过于依赖人工经验,不能克服灾害年份粮食产量的无序性变化,从而降低了预测结果的可信度。提出一种采用马尔科夫灰度模型的灾害年份粮食产量预测模型。将灰度模型和马尔科夫模型相结合,建立灾害年份粮食产量的预测模型,对灾害年份影响因素状态变化的趋势进行准确估计,并消除灰度模型波动性较大年份的粮食预测情况,获得准确的预测结果。仿真结果表明,利用改进算法进行灾害年份粮食产量预测,可为提高预测结果准确度提供科学依据。

物流大数据中支持属性撤销的访问控制机制

物流大数据中包括顾客信息、物流状态等信息,对物流公司、制造商、经销商等企业都有着重要的作用.然而,物流大数据的泄露会给用户和物流公司带来严重的安全隐患.为了有效、安全地将这些数据分发给制造商、营销商等企业用户使用,本文基于可信审计中心和密文策略基于属性的加密技术,提出了一种支持属性撤销的细粒度访问控制方案.安全分析表明,所提方案可以实现细粒度访问控制、隐私保护和安全属性撤销.

异构大数据网络的多维关联细粒度数据挖掘算法

为了解决具有密度高、关联复杂的异构大数据网络的数据挖掘效率低下问题,基于多维关联架构,结合细粒度控制提出了数据挖掘算法.首先,在异构大数据网络存储与转发、处理的数据个性特征和差异化的基础上,给出了异构大数据网络数据定义和多维关联模型.接着,基于大数据网络多维关联初始化进程,通过大数据单位重构、维度置换、细粒度化和粒度均衡等,提出了多维关联细粒度数据挖掘算法.最后,通过与粗粒度算法、线性化结构数据挖掘算法对比了在不同网络规模和数据规模下的执行效率.实验结果表明,所提算法具有更佳的执行效率.

一种面向大数据集的粗粒度并行聚类算法研究

随着大数据时代的到来,面对数据量剧增,传统的聚类算法将面临极大的挑战.为了提高聚类算法的效率,本文基于Hadoop平台设计与实现了并行化的Partitioning Around Medoid聚类算法,并从优化聚类单元和聚类中心的角度,结合视觉聚类的核心思想提出了粗粒度聚类单元策略(Coarse-Grained Clustering Unit Strategy).通过多组实验比较,结果表明,在粗粒度聚类单元策略的优化下算法在运行效率,计算能力等方面提高6%以上,所实现的并行算法具有良好的加速比,扩展比和伸缩率.研究结果为以后的大数据集下的聚类分析奠定了基础.

基于拟态计算的大数据高效能平台设计方法

针对当前大数据应用主要以通用处理器为计算核心,且系统结构单一、能效比低,无法充分满足大数据的计算需求,基于拟态计算模型,提出了一种大数据高效能平台的设计方法。以算粒为基本研究对象,深入剖析大数据应用算法的特征,合理划分各计算子任务;其次,构造体系结构匹配矩阵,将子任务分配到合理的处理部件上;最后,利用动态电压/频率调节技术和数据布局算法实现非关键任务的电压控制,并优化关键任务的结构布局。实验结果表明,拟态计算能深度融合各异构计算部件,建立具有灵活、可拓展的体系结构,充分发挥系统整体执行效率,降低功耗,提高能效比。

大数据环境下细粒度的访问控制与审计管理

大数据技术越来越被重视,应用也越来越广,同时也引发了大家对大数据安全的关注.在众多安全问题中,重点讨论大数据环境下细粒度的访问控制与审计管理的问题,从大数据的4V和分布式应用的特征入手,分析了以往访问控制方式无法适应大数据的安全需求,从而提出利用4A和安全探针技术,以及ABAC的访问控制机制,以内外相结合的方式,实现了在大数据环境中基于行为的全过程细粒度的访问控制与审计管理的解决方案.

大数据在粮库信息化中的应用

针对粮情数据冗杂、互不联通、缺乏分析的现状,将大数据分析技术应用于粮情检测,利用Hadoop等数据分析平台实现对大数据的存储管理,借助聚类算法对粮情进行数据挖掘。实验中对小麦在同一时间不同位置测得的粮堆温度数据采用K⁃means聚类算法,得出不同分群之间温度特征有很大不同,依此建立粮食分析预警模型。通过聚类思想将粮食温度数据分群分析,为粮情检测提供了新思路。为了粮情大数据分析的准确性,建议对粮情数据进行多渠道、多来源收集,建立统一的粮情数据标准,让粮食大数据往更加精细化、全面化发展,能够使大数据技术应用在粮库信息化中为粮食安全提供有利的支持。

基于共享单车时空大数据的细粒度聚类

针对传统上单独采用K-means或DBSCAN等方法对共享单车位置数据聚类时造成的聚类结果与真实的聚类结构不符的问题,本文提出了一种基于共享单车时空大数据的细粒度聚类方法(FGCM)。该方法通过DBSCAN进行初始聚类,并在此基础上采用GMM-EM算法进行细部聚类,以提取细粒度层级的热点区域。试验表明,该方法可根据密度阈值排除噪声和离群值,无需指定细部聚类簇数,簇的形状和大小比较灵活。在对共享单车大数据位置特征进行聚类时,与传统的单独采用K-means或DBSCAN的方法相比,FGCM具备更高的精细程度,能够充分展现共享单车的实际聚集特征,可用于规划共享单车电子围栏等设施,在不降低通勤效率的基础上规范共享单车的停放问题。

Hadoop生态体系安全框架综述

Hadoop项目已经成为最流行的开源云计算和大数据分析框架,同时其安全机制也受到越来越多的重视,从设计原则、系统架构、主要威胁、安全机制、设计挑战等方面对Hadoop的安全框架进行综述,其中包括Hadoop开源项目的安全机制及企业级安全解决方案.学术界对Hadoop安全机制的研究也很活跃,提出了可信平台、加密演算法、混合加密算法、三重数据加密算法、并行加密等多种方案.Hadoop生态系统涉及很多组件,不同组件有不同的安全策略,当前的研究热点是在提升细粒度、高度模块化、可扩展等目标的同时,兼顾考虑性能、开销、易用性等问题.

基于大数据风控的融资租赁业征信体系建设研究——以粮油加工业为例

目前,我国“政府+市场”双轮驱动的征信体系为融资租赁行业提升内部管理水平和风险管控能力提供了有力保障。基于行业协同发展要求,对国内融资租赁业征信发展情况及相关政策法规进行梳理,探究融资租赁业征信体系发展瓶颈。以粮油加工业融资租赁业务为例提出基于大数据风控的融资租赁业征信体系建设对策,并提出加快融资租赁业征信领域立法进程、加快技术创新、加快服务创新、补齐监管短板等建议。