基于Solr的农田数据索引方法与大数据平台构建

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题,研究了负载均衡大规模集群数据处理技术,优化了多条件检索时Hbase农田数据库,提出了基于Solr的二级非主键索引方法,搭建了基于Hadoop的农田大数据平台,采用农机深松、植保、保护性耕作等8种作业生成的100 TB数据对平台进行了检索实验和压力测试实验。实验结果表明,多条件检索时,优化后的技术模型在数据规模达到5×10^7条时,系统的响应时间小于1 s,优化的性能与原生Hbase相比提高了3倍;在模拟用户达到5×10^5次时,系统的QPS及TPS提高了1倍左右、RT提高了2.5倍,系统的平均响应时间为183 ms。本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题,提高了海量农田数据实时处理的计算能力。

农业机械作业大数据清洗方法与试验优化

针对农业机械大数据平台中,已有数据清洗算法不适用于大规模、多源异构、高维度和强时空相关实时数据的问题,分析了复杂田间环境下农机作业数据异常来源及特征,研究了异常数据检测及修正技术,提出一种基于滑动窗口机制的农机作业数据在线清洗方法。该方法基于方差约束原则识别异常数据,基于最小变动原则生成候选修正数据,基于数据时间相关性通过AR、ARX模型迭代优化得到最终修复值,依托Flink分布式计算平台,从而适应农机数据吞吐量大、并发度高的特点。基于某省农机作业数据对算法进行了有效性验证,结果表明,在数据规模达到1×10^(5)条、数据异常率为5%的情况下,算法异常识别率达到0.94,且与已有清洗算法相比均方根误差更小。基于BoxBehnken方法设计试验,通过响应面分析得到回归模型,分析算法参数对均方根误差和运行时间的影响。基于二进制编码的混合遗传算法对参数进行优化,优化后的参数组合可使算法均方根误差达到0.16、运行时间达到0.13 s。该数据清洗方法能够为农机大数据平台的实时处理提供高质量数据支撑。

农机作业大数据处理关键技术研究现状与发展趋势

农机作业的方式随着信息化的发展正在逐步发生变化,农机作业过程数据的采集、传输和管理也成为了其中的关键环节。由于我国农业生产模式不一、田间环境差、生产环节繁杂、影响因素多样。农机作业信息种类繁多、结构复杂、来源广泛、时效性强,所以为了实现高效的存储和信息共享,必须建立统一的农机作业大数据平台。建立新型农机作业数据模型、建设新的农机作业数据平台将成为我国农业从机械化迈向信息化、智能化的重要一步。