MapReduce在线抽样分区负载均衡研究

数据倾斜一直是影响MapReduce性能的关键问题之一.为缓解数据倾斜问题,提出一种基于抽样分区的MapReduce在线负载均衡机制:MR-LSP(MapReduce on-line Load balancing mechanism based on Sample Partition).MR-LSP在作业执行之前,通过对源数据抽样分析,预测数据的分布特征,动态采取相应的负载均衡数据分区策略;在作业运行期间实时监控节点负载,进一步动态优化数据分区策略.实验结果表明:MR-LSP能够提高系统3.2%的负载均衡,降低4.3%的作业执行时间,有效缓解了MapReduce的数据倾斜问题.

空间抽样对东北地区逻辑火险建模的影响

为分析不同空间抽样方式对逻辑火险建模的影响,以我国东北为研究区,设计3种全局抽样方案和1种分区抽样方案,分别取得训练样本并开发了逻辑火险模型,对模型的因子和因子相对重要性做比较分析。基于4种抽样方案的模拟结果,利用内部检验子集和独立检验子集,从可靠性和区分能力检验模型性能并进行比较。结果表明:①全局模型间差异较小,表明不同的全局抽样方式对建模的影响有限,总体来看,空间平衡抽样略优于空间系统抽样,空间系统抽样略优于空间随机抽样;②分区模型间差异显著,表明不同子区的火灾事件与火环境因子间关系明显不同;③分区建模的性能总体上优于全局建模,但分区建模仍受限于逻辑模型自身的非空间、全局特征;④NDVI是全局尺度分析结果中最重要的火环境因子,高程因子的影响不显著。本研究可为东北地区的火险研究和采用逻辑模型的相关研究提供参考。

房屋拆迁补偿价格评估方法构想——以广州市的现状分析为例

房屋拆迁补偿估价关系到政府、拆迁人、被拆迁人的切身利益,关系到房屋拆迁管理工作的健康发展及社会的安定。现行的有关规定对房屋拆迁补偿估价也未给出具体、统一、规范的估价操作程序。在分析房屋拆迁补偿价格评估的价值论基础上,作者提出以分区抽样的方法确立评估的基准价。确立基准价的方法有:市场比较法、成本法、假设开发法、收益还原法。