基于Python的油气行业ArcGIS数据库空值运算方法及应用

ArcGIS软件Geodatabase数据库已成为世界知名石油公司必用分析工具和制图平台,但其中大量存在着一些不完全信息数据(或缺失数据),并以空值形式存在,解决其导致的数据处理中“空值数据运算出错”问题,对各类油气储量统计分析与编图等科研和生产意义重大。在调研分析和对比常见的五种空值处理方法基础上,结合GDB关系数据库中属性所代表的实际意义和空值转换思想,提出了油气领域GDB数据库空值运算的四步流程和一种新的面向ArcGIS10.0以上的Python编程脚本。基于ArcGIS软件二次开发语言,开展了VB语句、Shapefile格式VB语句、Python语句三种方法的部分数据空值运算实验,结果展示了Python脚本的可行性,进而评价选定了较为适用的Python语句空值运算方法。将其应用于全球32799个油气田数据的运算结果表明,Python语句空值运算方法可行,运算结果正确,并可应用至其他类型、领域和行业有空值的数据运算之中,提高了工作效率,保证了分析数据的正确与完整。

模糊空值环境下关系数据库的几种数据依赖

介绍了模糊空值环境下的嵌入多值依赖、广义连接依赖、子集依赖,及其相应的公理系统。

Python语言处理各类空值的方法研究

在各类编程语言中的空值表述都有所不同。对于数据分析而言,筛选出当前表内的空值并对其进行有效填充或进行其他操作,是数据清洗过程中的重要一环。该文对各类编程语言中可能出现的空值表述方法进行了梳理汇总,然后通过Python中的pandas扩展库相关函数操作阐述了Python语言处理这些不同语境中空值的常用方法。

模糊空值环境下的关系数据库的连接依赖

给出模糊空值连接依赖的两个概念,一个是基于无损连接得出的,另一个是类似模糊空值多值依赖给出的,并证明了两个概念的等价性。定义了模糊空值嵌入连接依赖。给出模糊空值连接依赖的公理系统,并且进行了有效性证明。

中国区域SRTM90m数字高程数据空值区域的填补方法比较

本文对中国地区SRTM90m分辨率的数字高程数据的空值区域做了提取和分析,在此基础上尝试了4种内插填补的方法。并对各种处理方法的过程及结果做了比较,从而确定先从SRTM90m数据中直接提取等高线．再内插生成DEM,用内插出来的值填补原始数据的方法在目前较为适用。此外本文还提出了一些后期处理方法以完善数据。

基于粗糙集的不完备信息系统空值估算方法

针对基于相似关系模型的空值估算方法存在的不足,从群体决策的角度提出了一种改进方法。通过定义属性的向域和对象的简单多数规则率,将其结合用于空值估算,从而无需原方法的投票策略就能实现不完备信息系统的完备化,并消除了原方法可能出现的对象无相容类问题和投票策略潜在的多众数、无众数问题,得到的估算结果在覆盖率和准确率两方面均优于原方法。通过算例及应用示例表明了本文方法的有效性。

多波束海底地形数据空值区域的插值填补方法分析

由于边界误差剔除、测线布设过于稀疏等因素影响,利用多波束数据生成高分辨率DEM时,常常会存在一些水深空值单元或区域。为了对这些数据空值区域进行可靠填补,在考虑地形特征及空值单元大小的情况下,利用IDW、Spline、Kriging、TIN四种插值方法对某区域多波束海底DEM空值区域进行直接内插填补试验,结果表明插值算法的选取不仅受地形类型限制,而且与空值区域的大小也密切相关。

基于广义朴素贝叶斯分类器的空值处理方法

给出了基于广义朴素贝叶斯分类器的空值处理方法,该方法利用广义朴素贝叶斯分类器的较强预测能力及灵活的效率选择方式,有效地解决了数据中的空值处理问题.利用模拟数据进行了对比实验,结果显示,其预测准确性明显提高.

基于信息粒度的不完备信息系统空值补齐算法

在现实世界中,不完备信息系统大量存在的,信息系统中空值的存在大大增加了信息表的不确定性,信息表无法产生更多潜在的有价值规则.处理不完备信息表的一种做法是先将空值补齐再提取规则,常用的空值补齐算法通常都是根据同属性其他值出现的频率高低估计空值,但是此方法不一定能保证规则的一致性.本文提出一种基于信息粒度的空值补齐方法GRCC,首先根据定义的信息粒度选择信息粒度最大的列,然后由相容类产生空值的属性值范围,最后利用MDL准则确定遗漏项的属性值,如此逐列进行填充直到完成全部信息表的补齐.经过实验,GRCC算法补齐的信息表比其它补齐方法产生的信息表产生更多高可信度和高支持度的规则,降低了信息表的不确定性.

空值环境下关系数据库的更新 Ⅰ：扩展关系模型及基本运算

本文从空值语义及更新操作的关系出发，提出了一种新的扩展关系模型，用以组织更新操作下的含有空值的关系数据库中的信息．同时，定义了这种模型下的基本关系代数运算．为实现空值环境下关系数据库的数据更新奠定了基础．

模糊空值环境下的关系模型与关系操作

本文讨论了引入模糊空值对关系数据库模型的影响。

空值环境下基于粗集理论的知识表达研究

讨论了空值的有关问题 ,并在基于粗集理论的知识表达系统中引入空值 ,提出了知识表达系统中空值的分类处理 ,并给出了分类处理的算法 ,从而为在表示知识的元组信息不完整的情况下 ,充分利用空值的有用信息 。

含有空值关系数据库的查询处理

本文在深刻理解空值语义的基础上，给出一种处理占位型空值的方法。讨论了空值环境下关系数据库的查询策略，定义了含三种查询操作的关系代数最小完备集中的关系代数运算，并对查询计算的有效性和完备性进行了分析。

空值环境下关系数据库的更新 Ⅱ：更新处理的插入、删除和修改操作算法

本文的这部分是以扩展模型为基础，以五种运算为工具，对空值环境下关系数据库的更新处理策略做了深入研究，并给出了相应的算法及算法分析．

模糊空值环境下扩展关系模型的冗余处理

本文将模糊空值环境下的关系模型扩展为扩展关系模型，并借用模糊语义距离给出清除扩展模型上冗余信息的基本方法。

含空值关系数据库中函数与多值依赖的研究

讨论了含空值关系数据库中函数与多值依赖 ,并给出了有关的定义、规则与定理 .

关系数据库中的空值与数据依赖规则的完备性

讨论了关系数据库中的空值与数据依赖规则的完备性问题，给出了两个定理．

关系数据库中的空值与数据依赖

论证了关系数据库中的空值与数据依赖及其满足性的问题．

空值环境下的数据依赖保持条件

本文提出了空值环境下的函数依赖强保持、中间保持,弱保持条件。研究了它们之间的关系。 根据空值环境下的含空值关系的非空化结果关系的数据依赖是函数依赖的充要条件这一结论,提出了新的空值环境下的多值依赖的强、弱保持条件。给出了多值依赖下强、弱保持的相应定理。

空值环境下关系模式分解问题的研究

本文在文[1][2][3]的基础上讨论了不完全关系模式的有关分解问题。由于不完全关系含有多种函数依赖保持,使得不完全关系中各属性间的依赖关系变得复杂并具有动态特性。因此,在模式分解中应给出一种新的分解理论和方法,以解决空值带来的问题。为此,本文讨论了空值环境下的候选关键字、投影、连接等问题,提出了把含有确定候选关键字的不完全关系模式无损连接分解成含有空值的2NF 及判定算法。