浅谈机理模型模拟下的响应数据缺失处理方法

由于经济发展的不平衡,诸多流域存在着响应数据缺失的现象,给非点源污染模拟带来了较大的困难。本文基于响应数据缺失下的机理模型模拟现状,综合分析了多种缺失处理方法,为响应数据缺失下的水文水质模拟提供了有效参考。

大规模空气质量监测数据缺失处理方法实证研究

基于2016年1月至2021年7月的全国1654个国控监测点小时级的6种污染物空气质量监测数据,研究缺失值处理方法、效果及其影响.模拟实验表明交替最小二乘下的低秩矩阵插补算法相比于其他缺失值处理方法拥有更小的均方根误差、平均百分比误差,更高的相关系数和更快的运算速度,在大规模数据集上性能更优.实证分析表明应用文本方法得到的插补值是有效且合理的,缺失值插补前后污染物浓度评估值会有±10%以内的变化,插补后的数据集更加准确和完备.本文建议在基于空气质量监测数据研究时应先采用本文中的缺失数据处理方法,对监测数据中存在的缺失数据进行插补,提高研究所使用监测数据的完整性,保证相关计算结果的准确性和有效性.

基于组合优化LOWESS的电能量数据缺失处理方法

针对实际电能量数据的统计分布特性,考虑到均值替代等通常方法对电能量数据缺失的处理效果欠佳,LOWESS模型的估计偏差受限于其给定的窗宽和拟合阶数,提出一种基于预测误差最小化的参数组合优化LOWESS回归模型的电能量数据缺失自动处理方法,通过对比固定窗口和阶数在非平稳的电能量数据上的预测效果,研究参数组合优化LOWESS模型的准确性、适应性以及相对优势性。通过实际数据验证,此模型能适应电能量数据不同数据分布、不同缺失比例等情况,预测准确率高,具有一定的实用参考价值。

面向销售数据的多项缺失值关联性的增量填补

数据缺失会影响数据的质量,可能导致分析结果的不准确和降低模型的可靠性,缺失值填补能减低偏差方便后续分析.大多数的缺失值填补算法,都是假设多项缺失值之间是弱相关甚至无相关,很少考虑缺失值之间的相关性以及填补顺序.在销售领域中对缺失值进行独立填补,会减少缺失值信息的利用,从而对缺失值填补的准确度造成较大的影响.针对以上问题,本文以销售领域为研究目标,根据销售行为的多维度特征,利用不同模型输出值的空间分布特征特性,探索多项缺失值的填补更新机制,研究面向销售数据多项缺失值增量填补方法,根据特征相关性,对缺失特征排序并用已填补的数据作为信息要素融合对后面的缺失值进行增量填补.该算法同时考虑了模型的泛化性和缺失数据之间的信息相关问题,并结合多模型融合,对多项缺失值进行有效填补.最后基于真实连锁药店销售数据集通过大量实验对比验证了所提算法的有效性.

基于改进随机森林的哮喘病缺失值填充方法

哮喘病数据中包含大量缺失值使得哮喘病难以精确预测。将现有的随机森林算法应用于填补哮喘病缺失数据时,在预填充环节忽略了医疗特征之间的相关性,在数据填充过程中未能及时更新数据,使得数据无法到最新状态。针对上述问题,提出一种改进的随机森林算法,预填充阶段,利用Pearson相关性分析构造填充更准确的回归方程,改变随机森林算法中的预填充方法,构造预填充矩阵提高算法填充效率,填充阶段,利用随机森林算法逐列填充特性,加入基于局部数据的循环更新机制,一列填充完成时便更新回归方程参数,进一步更新预填充矩阵中所有参数,保证数据的同步性。实验表明,改进的随机森林算法相比其他算法填充效果更好,能有效地提高哮喘病诊断精度。

基于Monte Carlo模拟的完全随机缺失数据处理方法效果比较

目的探讨不同缺失比率下几种缺失处理方法的优劣,为缺失数据的处理提供参考。方法以慢性心力衰竭的部分患者电子病历资料为数据基础,运用R软件,采用Monte Carlo模拟完全随机、任意缺失的数据集,并采用成组删除法、均值填补法、期望最大化填补法、缺失森林填补法和多重填补法分别对模拟的不同缺失比率数据集进行缺失处理,并对所得"完整数据集"拟合多元线性回归模型,得到的参数估计结果与完整数据集参数估计进行比较。结果在不同的缺失比率下不同缺失处理的效果存在差别,在5%和10%缺失比率下,链式方程填补法(multivariate imputation by chained equations,MICE)和期望最大化法(expectation maximization,EM)最优,缺失森林填补法(miss forest,MF)、均值填补法(mean completer,MC)和成组删除法(complete case method,CCM)效果接近;在20%缺失比率下,MICE最优,EM次之,CCM和MF近似,MC最差;在30%缺失比率下,MICE和MF最优,EM和CCM次之,MC最差;在50%缺失比率下,MICE最优,EM和CCM次之,CCM和MF最差。结论对于不同缺失比率的数据,研究人员应综合考虑缺失处理方法的准确度和精确度以及操作难易程度,必须根据实际数据加以调整,采用不同的方法进行处理。

追踪研究中缺失数据处理方法及应用现状分析

追踪研究中普遍存在缺失数据,缺失数据处理方法的选择影响统计推断的精度及研究结果的有效性。首先,阐述缺失机制及判断方法,比较追踪研究中主要的缺失数据处理方法的特点、及实际应用中的缺失处理方法的选择和软件实现。其次,对国内心理学中92篇追踪研究文献进行分析,发现有59篇(64.13%)报告不同程度缺失,其中仅39篇报告了处理方法且均为删除法。未来研究应深入探讨现有缺失数据处理方法的有效性,进一步规范应用研究中缺失数据的处理。

缺失数据比率和处理方法对非随机缺失数据能力参数估计准确性的影响

探讨了IRT背景下非随机缺失数据的合适处理方法.采用IRTLAB模拟产生50批500个被试在20个0-1记分项目上的反应数据,产生了不同比率的MNAR;再用IN、NP、FR、CM、MI和EM共6种方法分别处理MNAR,使用BILOG-MG软件估计被试的能力参数,并计算在不同条件下各种方法的BIAS、BIAS_(abs)、R(θ,■)和RMSE.研究发现:随着缺失比率的增加,参数误差越来越大;FR会导致IRT参数估计产生较大的误差,且不稳定,而MI与EM算法则相对稳定;综合BIAS和RMAE等几个指标,NP在处理MNAR时产生的误差较小也更稳定.因此,在IRT背景下估计被试能力参数时,应选择NP、MI或EM方法处理缺失数据.

缺失数据处理方法的研究及其在软测量技术中的应用

结合工业过程中相应的缺失数据为主要的研究背景,针对性地提出了相应的解决措施,确保在实际工作过程中,可以形成完整的数据集,为后续工作的顺利进行打下良好的基础。

社会网络分析中缺失数据的处理方法

社会网络分析是对社会关系进行量化分析的技术。社会网络分析应用中常遇到缺失数据,缺失数据处理不当会影响测量误差、降低统计功效,甚至扭曲研究结果。在阐述社会网络分析中缺失数据的原因和缺失机制的基础上,梳理了社会网络分析的四种缺失数据处理方法的原理,分析比较了四种方法在实际应用中的优缺点。社会网络分析方法在心理学中的研究应用应在考虑缺失概率和缺失机制的前提下,恰当选择缺失数据的处理方法。

论翻译中的文化缺失与处理对策

各国文化的差异在翻译一些具有独特文化特征的词、句时,在某种意义上会出现文化的缺失。现针对这一情况举例说明,并提出处理办法,以探寻处理文化缺失的有效途径和办法。促使交流与翻译的顺利进行。

基于模板匹配的人体运动捕捉数据处理方法

在光学式运动捕捉系统中,标记点往往会出现近似或对称的分布结构,这使得在对标记点进行识别时容易引起混淆。基于模板匹配的人体运动捕捉数据处理方法根据人体局部刚性结构把人体模板分割为多个子模板,使用空间仿射变换从运动捕捉数据中搜索与相应子模板误差最小的匹配点集作为最优匹配,并通过标记点跟踪实现对散乱数据的识别,解决了因标记点分布结构近似或对称而引起的混淆。对标记点缺失情况进行了重构。当出现错误匹配时系统能够自动检测并更正,整个过程无需人工干预。实验结果表明该方法能够正确识别标记点,标记点缺失情况重构效果比较理想,能够满足实时处理要求,证明了该方法的有效性。

运用Gibbs抽样解决数据缺失

在数据仓库中,传统的缺失值处理方法均存在一定程度缺陷。文章主要论述将统计中的Gibbs抽样仿真概念应用到数据仓库中的缺失值处理中,在满足原有数据条件分布充足的条件下,能够解决传统数据仓库缺失值处理工作量大、数据偏置等问题,并且该方法能够使用excel完成仿真过程,简单易行,可操作性强,能够更为直接和有效的解决现实中的数据仓库中缺失值处理问题。

关于农经云农产品价格数据清洗的研究

以农经云数据中心100个农产品市场价格数据为实验数据,分析研究数据清洗的流程和方法,重点研究数据缺失值的处理方法,异常值的查找算法和填充方法,通过去重、缺失值、异常值处理和数据的标准化处理等数据清洗工作,得到100个品种连续、可用和标准化的农产品市场价格数据。

基于长短时记忆网络的洞庭湖水位预测以及三峡工程对洞庭湖水位的影响研究

地理学研究人类赖以生存的地理环境,包括大气、水等自然资源。多年来,地理学家们致力于研究自然系统随时间的波动情况,分析自然过程和格局随时间的变化规律,以期预测地理过程的变化结果,分析人类活动对自然环境的影响。基于数据特征的方法有很多,但不乏非线性数据处理效果差和难以驾驭大数据量等问题,本文引入了深度学习方法,使用长短时记忆网络构建了洞庭湖水位预测模型,对日均洞庭湖水位预测取得了优异的效果,并应用此模型研究了三峡工程对洞庭湖水位的影响。主要创新点如下:(1)对于有连续缺失的周期性时间序列数据(连续缺失数据个数在5个以上),使用之前学者提出的多点三次样条插值法和周期性填补法进行数据插补时发现:多点三次样条插值法会使插值数据剧烈波动,从而导致不切实际的插值结果,而周期性填补法没有考虑插补区段端点的连续性,从而导致悬崖式突变。将这两种方法的思想融合,提出了基于周期性的骨架点三次样条插补法,同时引入了时间序列相似性的比较,并对加权平均计算插补值的权重确定方法做出改进,改进后的方法既充分利用了时间序列的周期性特征,又保证了插补数据的连续性,提高了插补结果的置信度。(2)将深度学习方法应用于洞庭湖水位预测,基于长短时记忆网络构建了洞庭湖水位预测模型。该模型创新性地融合了多元变量回归与时间序列的思想,既建立了洞庭湖水位与其相关影响因素的关系,又保证了水位变量在不同时刻之间传递的连续性,更蕴含了未来时刻的水位变化对历史水情状况的依赖性,因此具有更好的水位预测效果。更进一步,该模型可灵活改变输入与输出模式,从而可对洞庭湖水位进行连续任意多天的预测,突破了传统回归预测模型只能有一个输出值的局限。另外,在对多日水位预测的研究中,还将自然语言处理中常用的encoder-decoder框架引入模型构建并取得了良好的预测效果。(3)提出的基于长短时记忆网络的洞庭湖水位预测模型建立了长江来水与洞庭湖水位的关系,借助此模型可定量研究三峡工程的运行对洞庭湖水位的影响。通过此模型模拟三峡工程不存在时的洞庭湖水位,与真实水位相对比,明确了三峡工程所带来的影响及其程度。用此模型研究了不同时间尺度下三峡工程对洞庭湖水位的影响。利用此模型定量探究了洞庭湖水位对三峡水库出库流量变化的敏感度,可为三峡工程对洞庭湖的调控提供参考。

基于不完整数据的异常信号检测方法

针对异常电磁信号检测中常见的输入数据存在参数缺失的问题,提出一种基于不完整数据的异常信号检测方法。该方法借鉴几何数学的思想,通过将缺失数据与正常数据进行比对,分析出缺失数据异常的可能性,给出该数据的异常概率计算方法。通过该异常概率能直接检测出部分异常信号,并给出剩余不完整数据的异常可能性的排序,从而有利于在资源有限时优先处理异常概率高的信号,达到处理资源优化配置的目的。实验结果表明,该方法能给出缺失数据点的异常概率。

基于FGM(1,1)的航段油耗预测模型

为精确预测给定外界条件下固定机型航段飞机燃油消耗,基于足够规模真实航班QAR(quick access recorder)数据,提出一种基于单调函数弱化缓冲算子和偏差调节的FGM(first-entry GM)灰色预测模型。该模型可以有效抑制传统FGM(1,1)模型背景值构造不精确以及原始数据序列波动较大对预测精度带来的不利影响。实验采用考虑部分航班数据缺失情况下的给定巡航高度和起飞重量的固定机型航段油耗面板数据,实验结果表明,该模型预测精度优于FGM模型。

基于粗糙集的装备故障诊断系统的算法研究

通过设计基于粗糙集的装备故障诊断系统框架,以大屏幕投影系统的设备故障记录作为样本集,研究了粗糙集在装备故障诊断系统中的应用。针对数据预处理中缺失数据的填补问题,采用粗糙集理论和统计学理论相结合的方式,最大限度的保留了原始信息、产生规则的数量和可靠性;针对知识约简中规则生成速度慢等问题,采用了基于粒计算的粗糙集知识发现算法,将决策表中的属性集转换为二进制的矩阵对象,把复杂的知识约简转化为矩阵运算,降低了知识约简的时间复杂度,提高了生成规则运算效率,实现了故障诊断知识的快速自动获取。

儿童早期投入对人类健康的贡献及其他——2014年《科学》杂志关于早期投入之研究报告读后感

2014年《科学》杂志刊载的研究报告“儿童早期投入能够极大地促进成年期健康”对美国卡罗莱纳州启蒙计划20余年的纵向数据进行分析，研究揭示：在儿童早期阶段经历过高质量干预计划的贫困儿童，在成年时会比那些没有得到高质量干预计划的贫困儿童有更好的身体健康结果。同时。该研究报告的跨学科研究取向以及采用自助法、置换检验和非随机缺失的处理方法。对我国早期和学前教育研究也有很大启示。

中国制造业企业全要素生产率测度研究

2008年之后中国工业企业数据库关键指标的缺失导致学术界对该数据库的使用局限在1999-2007年。本文吸收和借鉴现有处理方法,采用五种插补方法对数据库进行完善扩展到2013年,重新测度了中国制造业的全要素生产率,研究表明:(1)1999-2013年,中国制造业TFP呈稳定增长态势,从1.75增长到3.10,增长了77.1%,平均年度TFP水平为2.51,且随着时间的推移,增长速度呈现明显降低趋势。(2)在制造业企业TFP的分类比较上,大多数行业的TFP还处在较低水平,生产要素的产出效率还有很大提升空间。(3)在不同要素类型行业上,技术密集型行业TFP增长幅度最大,整体波动最小,在风险对抗上更具有韧性;在地域上,东部地区平均年度TFP水平最高,但西部地区增长幅度最大,已经呈现对中部乃至东部地区的赶超。