大数据时代的统计分析新方法在饲料物流中的应用——评《大数据探索性分析》

统计学是收集、分析、展示和解释数据方法性质的科学。大数据拓展了统计学的研究对象,大数据技术成为统计分析的重要工具,从不同方向改变统计工作模式。许多统计指标获取需要依靠大型软件程序协助,数据采集方式不断更新和提高,通过数据挖掘找到数据之间的关联,统计结果从宏观向中观和微观转变,通过统计分析大数据了解各方面的信息。

基于深度强化学习的数据探索性会话自动生成

探索性数据分析(EDA)是一种数据分析方法,旨在通过对数据集进行可视化和摘要统计等方式揭示数据的结构、模式和关系。数据分析人员可通过操作交互式地探索不熟悉的数据集,并为用户提供先导性见解。深度强化学习(DRL)已被证明可以用来解决众多难以解决的人工智能挑战,可尝试将EDA与DRL进行结合,提出了一个名为AEDAS的系统。该系统将EDA建模为一个控制决策问题,从而结合一个新颖的DRL架构来自动生成有说服力的探索性会话,并以EDA笔记本的形式呈现。实验表明,该系统生成的EDA笔记本,可以使用户获得切实有效的先导性见解。

基于探索性空间数据分析和地统计分析的湾区生态安全空间分异及差异化管理——以浙江大湾区为例

湾区是世界一流滨海城市的显著标志,生态安全是湾区可持续发展的基本保障。以浙江大湾区为研究区域,基于生态安全评价,采用探索性空间数据分析(ESDA)和地统计分析(GA)方法揭示生态安全的空间相关性与异质性。结合大湾区生态安全空间特征、未来土地利用管理和行政单元的空间分布提出生态保护的差异化管理策略,为大湾区经济社会发展及生态安全保障提供理论支撑。结果表明:(1)生态安全呈现出“北低南高”的分布格局,生态安全区占比71.7%,生态系统整体较安全。(2)生态安全莫兰指数Moran′I值达0.878,“热点”区域占比50.65%,空间正相关性显著。结构性变异在生态安全空间分布中占据主导,宁波、绍兴受结构性变异和随机性变异的综合影响,人口密度、产业布局是影响生态安全空间异质性的主要随机因素。(3)城市发展类型分为优先发展区、综合开发区和生态保护区,其中优先发展区和综合开发区是大湾区经济发展重点区域,生态保护区是保障大湾区生态安全的关键区域,未来城市管理者应对生态环境分区管理,落实差异化管控措施。

四川省县域人均GDP空间关联性探索性空间数据分析

为了探寻四川省县域人均GDP在空间上的关联性,借助地理空间分析方法,运用探索性空间数据分析(ESDA)和GeoDa软件得到四川省县域人均GDP在空间上的关联特征。结果显示,四川省县域人均GDP在空间上呈正相关,全局Moran’sI为0.203,在空间上呈集聚特征。总体上,通过全局趋势分析中的空间投影分布,发现四川省东部县域的经济水平明显高于西部地区,人均GDP水平两极差异化明显。在乡村振兴战略和成渝双城经济圈政策的不断推进下,局部自相关LISA聚类图反映出经济热点区域集中在以成都市为核心的周边县域和以宜宾市为核心的川南地区周边县域,经济落后县域集中在川西高原的甘孜藏族自治州地区以及川西南的凉山彝族自治州大部分区域。四川省各县域常住人口与人均GDP的双变量空间自相关分析验证了上述结果。

数据耕耘:一种基于协同的探索性仿真分析方法

战争系统是一个典型的复杂系统,信息化战争的研究需要复杂性理论的指导,需要新型的战争模拟手段。数据耕耘是一种有效的探索分析战争复杂系统的方法。介绍了数据耕耘的产生原因、基本概念、研究方法。描述了数据耕耘的基于多领域专家的协同工作环—想定创建环和参数空间执行环。分析了支撑数据耕耘的基于问题建模、提炼、可视化多维数据分析以及高性能计算等关键技术,讨论了探索性仿真分析方法与数据耕耘的关系。

基于探索性分析的时序数据研究

探索性分析是从不同的角度进行建模,找出较优模型的一种方法。提出了基于探索性分析的时序数据挖掘方法,采用线性回归技术建立了数学模型。并给出了1978年到2002年间的中国交通产值变化的实例,建立两种预测模型,采用探索性分析方法对预测模型进行探索性的仿真分析,达到较好的效果。

基于探索性数据分析的柑橘部位颜色模型分析与识别

针对成熟柑橘各部位特点、光照与环境的不确定性及多变性,对柑橘各部位的图像数据进行了探索性数据分析并进行了识别。分析了探索性数据分析方法的特点和基于色彩分通道的柑橘识别原理,给出了柑橘图像数据的探索性数据分析流程图。对采集的柑橘图像分成顺光、正常光、逆光3种不同光照情况,并分别采集其中的柑橘果实与果梗、叶子图像数据,根据这些图像数据生成柑橘果实与果梗、叶子在6种颜色模型下的颜色分量分布箱线图,通过图形启示的数据分析与探索,给出了基于I1I2I3颜色模型的I2分量的柑橘各部位分类识别的视觉模型,分析表明I2分量值为0.3能去除树枝、叶子和草地等复杂背景,实现柑橘果实与背景的分割。以300幅野外环境下采集的、不同光照下的柑橘图像为试验对象,成熟柑橘果实总体识别率达到了98.4%,同时证实果梗与叶子由于颜色的相似性,仅靠颜色特征无法对其进行区分。

探索性数据分析在选矿中的应用

介绍了统计分析方法中新兴起的探索性数据分析方法的箱线图法 ,并对选矿数据进行分析 ,进而找到最优精矿品位和回收率的最佳药剂用量。

中国2013年城市大气污染现状及探索性空间数据分析

为了了解中国城市大气污染现状和污染特征,根据中华人民共和国环境保护部数据中心监测资料,采用环境空气质量综合指数、探索性空间数据分析方法（ESDA）研究了2013年74个重点城市空气质量时空分布及影响因素。结果表明：1）首要污染物以PM2.5、PM10、O3为主,我国空气质量综合指数为2～8,呈第三季度、第二季度、第四季度、第一季度依次增大的现象;2）空间上空气质量综合指数由南向北逐渐升高,三大经济圈按珠三角地区、长三角地区、京津冀地区的顺序依次增大,综合指数正相似值间空间集聚显著,南方沿海地区空气质量优于北方地区;3）温度、风速和降水与空气质量综合指数呈负相关关系。改善地表条件、防风固沙以减少沙尘暴,污染源综合治理,使用能源清洁等措施可对改善环境空气质量起关键作用。

中国SARS疫情的探索性空间数据分析

运用空间统计学手段对中国省级SARS疫情的空间分布格局做了探索性的空间数据分析(exploratoryspatialdataanalysis)。Moran I统计分析表明SARS疫情的分布具有很强的空间自相关,MoranScatterplot进一步揭示了这一空间关系的地域差异及其各区位SARS疫情分布对总体趋势的偏移,Gi*统计则确定了疫情分布的空间集聚模式及其随时空转移轨迹。分析表明中国省级SARS疫情的发展并非一个相互独立的过程,而是存在着统计学意义上可测度的空间关系,且这种关系在空间相邻时最为显著。

中国区域人均GDP增长速度的探索性空间数据分析

本文运用空间统计方法——探索性空间数据分析方法,考察了1990-2004年中国341个区域单位人均GDP增长速度的空间相关性和空间异质性,揭示了中国区域经济增长的空间模式及其变动特征。分析结果表明,为了更加深入地理解中国区域经济增长,应强调空间因素的重要性。最后,基于分析结果提出协调区域经济发展的政策建议。

基于数据耕耘的探索性仿真分析框架设计

基于数据耕耘的相关理论,设计了一个基于数据耕耘的探索性仿真分析框架,可以作为探索性仿真分析的支撑系统。探索性仿真分析框架是由探索空间定义,多想定运行,仿真结果分析等三个模块构成。其中探索空间定义主要完成待探索参数空间的设置,多想定运行主要完成探索空间运行计算任务,仿真结果分析主要完成对探索计算结果进行综合分析,为分析人员提供决策支持。

人力资本与欧盟区域创新活动研究——基于探索性空间数据分析和地理加权回归模型

运用探索性空间数据分析和地理加权回归方法,实证分析2008—2015年欧盟28个成员国人力资本要素的空间相关性及其对欧盟区域创新产出的影响。研究发现:第一,虽然人力资本要素存在空间相关性,但是正呈现扩散趋势;第二,不同国家的人力资本要素存在不同空间集聚模式;第三,欧盟多数国家的人力资本对专利申请量有正向作用,25~34岁博士毕业生数/千人对欧盟区域创新产出的正向作用最为突出,其次是非欧洲籍博士生比重和30~34岁受过高等教育人口比重,而20~24岁高中以上学历人口比重的推动作用有限,甚至会产生抑制作用。

用“探索性数据”分析优选预测模型的研究

为了从三峡工程大量安全监测数据中 ,找出内在变化规律 ,建立一个能客观预测关键建筑部位变形及应力、应变情况的数学模型 ,采用“探索性数据”分析法即类比优选法对预测模型的构建进行了研究。以三峡二期上游围堰第一道防渗墙为例 ,用多元回归、灰色模型、时间序列统计方法构造了 3种预测模型 ,通过对预测模型的计算值及实测值进行对比分析 ,可以看出 :多元非线性回归模型的残差较小 ,计算结果的拟合程度及模型反映的规律性均较好 ;时间序列模型次之 ;灰色模型的拟合程度及残差均偏离较大。实测数据检验表明 ,回归模型预测效果较好 ,其测值在预报范围内的可能性为 95 % ,为此 ,选定多元非线性回归模型为预测模型。

基于探索性数据分析的桥梁模态识别数据处理方法

桥梁健康监测系统以传感器测得的结构响应识别桥梁结构的模态参数,从而对损伤进行预警。然而,由于测试环境的限制,传感器老旧、损坏等情况时常发生,使得测试结果受到影响。结合探索性数据分析(Exploratory Data Analysis,EDA)方法,采用箱形图和QQ图对测试结果进行了跟踪,对分析结果异常的数据对应的传感器进行了修复,并对比了修复前后的模态参数识别结果。结果表明,经过本文所提方法处理后的测试结果能提供更为准确的模态参数识别结果,提高桥梁健康监测的准确度和效率。

探索性数据分析在西藏气候变化趋势研究中的应用

为了减少小样本时间序列资料中个别异常值对气候变化趋势分析的破坏性影响,采用探索性数据分析方法之一的三组耐抗线对西藏近30年气温、云量资料进行线性趋势分析,研究了西藏地区气温和云量的变化趋势及其区域分布,并讨论了二者的相关特征。通过与传统的最小二乘法相比,表明三组耐抗线用于西藏气候变化趋势分析具有明显优势,而用最小二乘法得到的西藏气候变暖估计偏高。分析认为,西藏气候变暖主要由最低气温增高显著所致,最低气温变暖趋势在春、夏季较明显,冬季相对不明显;西藏各地增温幅度在空间分布上不一致,中、西部地区呈较强的增温趋势,东部相对较弱;西藏高原总云量和低云量总体呈减少趋势,总云量和低云量变少分别与西部和中部地区的升温之间存在显著负相关关系。

旅游公共服务水平的空间差异与探索性空间数据分析——以江苏省为例

以江苏省为例,运用主成分分析、探索性空间数据分析(ESDA)等方法,综合分析江苏省旅游公共服务水平及其空间差异与空间关联特征。结果表明,江苏省旅游公共服务水平空间差异显著,存在空间正相关性并表现出空间集聚趋势。苏南地区各城市旅游公共服务水平显著高于苏北地区,呈现出"高—高"、"低—低"空间关联特征,发展水平相近的城市趋于空间集聚,表现出明显的"核心—边缘"空间结构特征和空间非均衡"俱乐部效应"。

探索性空间数据分析模型研究

探索性空间数据分析是空间经济计量学的一个重要领域,解释与空间位置相关的空间依赖、空间关联或空间自相关现象,目前在国内外的应用也越来越广泛。本文就探索性空间数据分析模型进行了综合介绍,并分析了其在未来的应用前景。

探索性仿真数据预处理需求分析

探索性仿真是一种研究复杂系统的科学手段,而数据挖掘是处理探索性仿真所产生的海量数据,而在实施数据挖掘前如何进行有效的数据预处理成为当前仿真领域面临的难题。为解决目前在探索性仿真中数据预处理工作存在的目标不够明确、重点不够突出等问题,提出了探索性仿真数据预处理需求分析,结合探索性仿真数据的特点,首先分析了通用数据预处理需求,之后对决策树挖掘、关联规则挖掘、聚类分析三种典型数据挖掘算法的数据预处理需求进行了分析。研究成果较好地满足了探索性仿真数据预处理工作的需求。

广东省区域创新活动空间差异分析——基于探索性空间数据分析(ESDA)

在对广东省21个地级市区域创新活动进行探索性空间数据分析(ESDA)中,以新产品产值作为创新活动的代理变量,计算2000-2008年各年的人均新产品产值Moran′sI统计值表明,分布存在显著的正向空间自相关关系,即空间集聚现象。结合Moran散点图与LISA研究分析得出,广东省区域创新活动不仅存在空间自相关现象,还存在空间差异现象,同时,广东省区域之间存在明显的区域创新活动知识溢出。