新型农村集体经济对农户收入差距的影响研究

基于2020年中国乡村振兴综合调查数据库(CRRS)的数据,在采用再中心化影响函数(RIF)测算农户收入差距的基础上,运用精确断点回归(RDD)方法检验新型农村集体经济对农户收入差距的影响。结果表明:发展新型农村集体经济有助于缩小农户收入差距,这种影响有赖于新型农村集体经济整体实力水平,具体体现为发展实力较强的新型农村集体经济有助于缩小农户收入差距,而实力较弱的新型农村集体经济对农户收入差距不具有稳健影响。机制分析与异质性分析发现,促进公共资源分配公平与农户发展机会公平是新型农村集体经济缩小农户收入差距的重要途径;在脱贫地区与数字治理水平较高的地区,新型农村集体经济更有助于缩小农户收入差距。据此,建议持续推进农村集体产权制度改革,培育“有能集体”,构建巩固拓展脱贫攻坚成果同乡村振兴有效衔接机制,提升新型农村集体经济数字治理水平。

基于Python的Spark RDD案例研究

人工智能需要通过大数据训练生成模型,因此人工智能离不开大数据的数据支撑,而大数据也离不开人工智能机器学习算法等的高级分析.Python语言作为人工智能、机器学习算法等的主流语言,Spark以RDD作为大数据的主要数据抽象模型,文中将Python与Spark RDD相结合来进行应用案例研究分析,使Python既可以应用于机器学习算法研究也可以应用于大数据分析,通过这种方式可以给企业、研发人员提供更加方便、简单、高效的解决方案.

Spark平台下的RDD研究与应用

大数据时代下,计算海量数据的需求日益加剧,Spark是专门用于计算大规模数据量的并行计算框架,但在实际应用中使用较少。首先对Spark平台下RDD(Resilient Distributed Dataset)的基本概念进行介绍;其次对Spark与RDD的关系进行描述:Spark的核心是建立在抽象的弹性分布数据集RDD之上的,Spark可以将数据处理成为弹性分布数据集RDD,再通过RDD的转换接口和动作操作得到最终数据;最后在Spark平台实现电商用户页面单跳转化率统计实验和电商热门品类中Top10活跃Session统计实验,实现在实际生活中的应用,达到更快处理大规模数据的目的。

Spark内存管理及缓存策略研究

Spark系统是基于Map-Reduce模型的大数据处理框架。Spark能够充分利用集群的内存,从而加快数据的处理速度。Spark按照功能把内存分成不同的区域:Shuffle Memory和Storage Memory,Unroll Memory,不同的区域有不同的使用特点。首先,测试并分析了Shuffle Memory和Storage Memory的使用特点。RDD是Spark系统最重要的抽象,能够缓存在集群的内存中;在内存不足时,需要淘汰部分RDD分区。接着,提出了一种新的RDD分布式权值缓存策略,通过RDD分区的存储时间、大小、使用次数等来分析RDD分区的权值,并根据RDD的分布式特征对需要淘汰的RDD分区进行选择。最后,测试和分析了多种缓存策略的性能。

基于Spark的大规模文本k-means并行聚类算法

互联网文本数据量的激增使得对其作聚类运算的处理时间显著加长,虽有研究者利用Hadoop架构进行了k-means并行化研究,但由于很难有效满足k-means需要频繁迭代的特点,因此执行效率仍然不能让人满意。该文研究提出了基于新一代并行计算系统Spark的k-means文本聚类并行化算法,利用RDD编程模型充分满足了kmeans频繁迭代运算的需求。实验结果表明,针对同一聚类文本大数据集和同样的计算环境,基于Spark的kmeans文本聚类并行算法在加速比、扩展性等主要性能指标上明显优于基于Hadoop的实现,因此能更好地满足大规模文本数据挖掘算法的需求。

基于Spark的极限学习机算法并行化研究

极限学习机算法虽然训练速度较快,但包含了大量矩阵运算,因此其在面对大数据量时,处理效率依然缓慢。在充分研究Spark分布式数据集并行计算机制的基础上,设计了核心环节矩阵乘法的并行计算方案,并对基于Spark的极限学习机并行化算法进行了设计与实现。为方便性能比较,同时实现了基于Hadoop MapReduce的极限学习机并行化算法。实验结果表明,基于Spark的极限学习机并行化算法相比于Hadoop MapReduce版本的运行时间明显缩短,而且若处理数据量越大,Spark在效率方面的优势就越明显。

云环境下的大规模线性有限元并行实现

针对Hadoop MapReduce框架实现迭代算法效率不高的问题,提出了基于Spark RDDs(Resilient Distributed Datasets)的大规模线性有限元并行算法,探索在云平台上有效地实现迭代算法。在Hadoop+Spark实验室集群上,通过空间桁架进行算例验证,并与基于Hadoop MapReduce的线性有限元并行算法进行性能比较。结果表明,在本文搭建的集群上,基于RDDs的并行算法能求解15000000个自由度的空间桁架问题,远大于Hadoop平台上的3000000个自由度;对于小模型,Spark可获得200倍以上的加速比,对于大模型,获得7~8倍加速比。

断点回归设计方法应用的研究综述

近年来,国内经济学界颇为关注断点回归设计(RDD)方法,运用RDD的文章日益增多。首先概述Lee和Lemieux (2010)提出的运用RDD的规范,然后基于2011-2017年五大英文顶级经济学期刊发表的RDD应用研究论文,归纳出运用RDD的三个新动作:新的最优带宽确定方法、甜甜圈RDD和参数估计中最高只能使用二次多项式。以国外的RDD用法为参照,我们发现,国内熟悉Lee和Lemieux (2010)提出的规范,也在吸收国外文献中出现的新动作,但运用RDD时存在如下几个突出问题:不做适用性检验、不重视描述统计图和不交代清楚非参数估计的关键细节。建议国内运用RDD时需要增加如下动作:非参数估计应该同时尝试CV、IK和CCT三种带宽确定方法;在配置变量存在堆积现象或被操纵的可能时,使用甜甜圈RDD;尝试到四次多项式。

可燃物必需洒水密度测试系统的研制及应用

为确定扑救典型场所火灾所需要的洒水密度,完善自动喷水灭火系统、优化设计及灭火效能评价的方法,搭建可燃物必需洒水密度(RDD)测试系统。系统采用整体化可拆卸结构,由布水系统、机架和控制系统组成。利用RDD测试系统,以非发泡塑料制品生产车间为研究对象,选取中危险II级工业建筑火灾试验模型最小单元,开展RDD试验研究,观察洒水密度对火灾热释放速率(HRR)的影响。结果表明,在规定的试验条件下,中危险II级工业建筑火灾试验模型的RDD值约为10.0 mm/min。

Spark计算引擎的数据对象缓存优化研究

研究了Spark并行计算集群对于内存的使用行为,认为其主要工作是通过对内存行为进行建模与分析,并对内存的使用进行决策自动化,使调度器自动识别出有价值的弹性分布式数据集(RDD)并放入缓存。另外,也对缓存替换策略进行优化,代替了原有的近期最少使用(LRU)算法。通过改进缓存方法,提高了任务在资源有限情况下的运行效率,以及在不同集群环境下任务效率的稳定性。

并行计算框架Spark的自动检查点策略

针对现有的Spark检查点机制需要编程人员根据经验选择检查点,具有一定的风险和随机性,可能导致恢复开销较大的问题,通过对RDD属性的分析,提出了自动检查点策略,包括权重生成(WG)算法和检查点自动选择(CAS)算法.首先,WG算法分析作业的DAG结构,获取RDD的血统长度和操作复杂度等属性,计算RDD权重;然后,CAS算法选择权重大的RDD作为检查点进行异步备份,来实现数据的快速恢复.结果表明:在使用CAS算法时,不同数据集执行时间和检查点容量大小都有所增加,其中Wiki-Talk由于其计算量较大,增幅明显;使用CAS算法设置检查点后,在单点失效恢复的情况下,数据集的恢复时间较短.因此,自动检查点策略在略微增加执行时间开销的基础上,能够有效地降低作业的恢复开销.

我国P2P网贷平台成交量的政策效应研究——基于平台类型与地区的差异

基于99个P2P网络借贷平台的日度面板数据,采用RDD方法和中介效应模型分析2018年4月开展的整改验收工作对P2P平台成交量的作用机理,并考虑因平台类型与地区不同对该政策作用所产生的差异。结果表明,P2P平台成交量受多个因素影响,整改验收政策的实施并未直接作用于平台成交量,而是通过影响已有投资者的信心,促使投资者选择短期借贷标的或者离场,最终减少平台成交量,平台类型与地区的不同使得政策及其他影响因素对平台成交量的作用效果均存在一定差异。基于此,分别针对平台、投资者及监管方提出了相应的建议。

Spark框架下地震属性处理方法研究

为解决单机环境下地震属性计算处理效率低下问题,提出基于分布式并行框架Spark的地震属性迭代处理方法,构建满足并行计算需求的地震属性文件结构,然后将存储于HDFS上的地震属性数据以分布式弹性数据集(RDD)的形式读入内存,使用Spark将涉及多次迭代的地震属性计算过程转化为数据转移DAG图并分步执行,整个计算过程在内存中完成多次迭代后再将结果持久化到磁盘,相比于Hadoop Map Reduce和传统的单机处理过程避免了每次迭代时中间结果的磁盘IO,极大地提高了处理效率。将此方法应用于曲率属性的二维高斯迭代滤波处理过程,有效提升了地震属性处理效率。实验表明随着数据量和迭代次数增加,同样的处理过程在Spark下比Hadoop Map Reduce下的计算效率能够提升10倍左右。

K-means聚类算法在Spark平台上的应用

随着人类产生的数据量呈指数级增长,数据的海量、多样化等特征使传统的聚类算法无法处理这些数据,而近来较为流行的Hadoop平台在处理数据的速度上也达到瓶颈。因此,专家们想要研究一种更为适合的处理平台来处理遇到的海量数据,Spark平台应运而生。首先介绍了聚类算法定义与分类,随后提出了Spark平台,包括Spark核心技术(RDD)、Spark和Hadoop的对比,并介绍了K-means在Spark平台上的实现,最后总结了Spark的应用现状并对其未来发展进行了展望。

软组织Rosai-Dorfman病(附1例报告及文献复习)

目的:探讨1例原发性软组织Rosai-Dorfman病(RDD)的临床病理特征及MRI表现,强调在评估软组织恶性肿瘤时应将该病纳入鉴别诊断,以减少误诊率。方法:回顾性分析经手术和病理证实的1例软组织RDD的临床病理特征及MRI表现,并复习相关文献。结果:患者临床表现为左上臂肿物10余年明显增大3月余。MRI示左上臂皮下软组织肿块大小约7.5cm×4.5cm×12cm,T1WI呈稍低信号,T2WI呈稍高信号,DWI(弥散加权成像)呈高信号,显著强化,内见多发线状分隔,肿块外侧边界毛糙、深入皮肤深层。CE-MRA显示肿块内及周边有明显增多血管网,MRI拟诊软组织肉瘤。术前穿刺活检提示炎性病变,完整切除术后病理证实为软组织RosaiDorfman病。结论:单纯性结外型软组织RDD罕见,临床和影像学表现往往类似恶性肿瘤,确诊难度较大,需结合临床、影像以及病理,MRI有助于帮助排除其它可能的诊断以及有效地评估本病的进展程度。

多序列星比对算法的改进及其在Spark中的并行化研究

多序列星比对算法在确定中心序列时需要计算任意两个输入序列的距离及分数,其较高的时间复杂度耗费了大量时间,因此提出了通过综合计算每个序列产生的k-mers及各个k-mer在各序列中出现的次数来确定k-mers的拼接选择,由k-mers进行拼接从而得到中心序列。进而,在双序列比对过程中采用搜索两个序列最大相似子串的思想,改进的星比对算法的精度在一定程度上得到了明显提升。接着,将改进的星比对算法在Spark中进行并行化设计与实现。采用Spark的Yarn-Client运行模式,对正常人线粒体的多组数据进行实验,分析了算法性能上的不足及改进方向。

两阶段RDD方法无回答的影响及其改进

计算机辅助电话调查应用日益普遍,在住户调查中为了提高住户的比例,发展了Mitofsky-Waks-berg两阶段RDD方法。文章分析了在无回答率较高,且初级单元间无回答率差异较大时引起的偏倚,分析偏倚的特点,并且提出一种基于随机组方法的抽样设计,旨在解决计算机辅助调查中的无回答问题及地区间无回答率差异,并且能够得到性能良好的估计量。

基于RDD关键度的Spark检查点管理策略

Spark默认容错机制由程序员设置检查点,并利用弹性分布式数据集(resilient distributed dataset,RDD)的血统(lineage)进行计算.在应用程序复杂度高、迭代次数多以及数据量较大时,恢复过程需要耗费大量的计算开销.同时,在执行恢复任务时,仅考虑数据本地性选择节点,并未考虑节点的计算能力,这都会导致恢复时间增加,无法最大化发挥集群的性能.因此,在建立Spark执行模型、检查点模型和RDD关键度模型的基础上,提出一种基于关键度的检查点管理(criticality checkpoint management,CCM)策略,其中包括检查点设置算法、失效恢复算法和清理算法.其中检查点设置算法通过分析作业中RDD的属性以及对作业恢复时间的影响,选择关键度大的RDD作为检查点存储;恢复算法根据各节点的计算能力做出决策,选择合适的节点执行恢复任务;清理算法在磁盘空间不足时,清除关键度较低的检查点.实验结果表明:该策略在略增加执行时间的情况下,能够选择有备份价值的RDD作为检查点,在节点失效时能够有效地降低恢复开销,提高节点的磁盘有效利用率.

爆炸烟云运动的试验与数值模拟研究初探

通过高速CCD摄影机和高性能摄像机对一定量的TNT炸药爆炸产生的火球和烟云的运动过程进行了记录,按照实时记录结果,将爆炸分为火球发展阶段和烟云上升阶段来研究;利用高速CCD拍摄结果对爆炸火球进行分析,在分析爆炸烟云运动机理的基础上,将试验火球最大尺寸作为初始条件建立了数值求解模型,采用2维变密度投影法对试验烟团的发展过程进行了数值模拟,并与高性能摄像机所拍试验烟云进行比较,发现两者变化趋势相似。该试验研究方法和数值计算模型可为爆炸烟云运动的研究提供一定的参考。