基于EDA统计图量化的桥梁动态监测数据质量评估

探索性数据分析统计图在桥梁健康监测动态数据质量评估中已有广泛应用。为了减少人工观察统计图的主观性,通过近似度量方法实现统计图的量化分析,得到多个指标对监测数据进行快速质量评估。在运营环境激励作用下,桥梁结构动力响应具有短时线性平稳性,近似服从正态分布。以某大跨斜拉桥振动数据为研究对象,首先,绘制样本数据直方图和Q-Q图,通过观察数据分布特征预先判断数据质量,确定优、良和差3个等级。然后,分别通过KL散度和余弦相似度2种近似度量方法对样本数据直方图和Q-Q图进行量化,得到数据服从正态分布程度的指标;通过箱线图检测样本数据全局异常点,得到正常数据占比;统计分析得到量化值和先验质量等级的对应关系,确定以直方图KL散度和余弦相似度为主、以箱线图正常数据占比为辅的数据质量评估标准。最后,取部分数据为验证集,进一步验证所提方法各个指标的合理性,并给出该方法在实际工程上的应用结果。

基于组合赋权法和模糊综合评价的电力设备状态数据质量评估

随着电力网络的扩大以及工业信息化的迅速发展,在电力领域中采集和待处理的数据量呈现爆发式增长,数据的丢失、冗余、异常、冲突等问题也日益突出,影响数据的质量。数据质量评估作为保证数据质量的关键一环,发挥着重要作用。针对电力设备的状态数据提出一种数据质量评估方法,选择完整性、准确性、唯一性、一致性、及时性5个评估指标构建数据质量评估体系,设置了定量计算的评估规则;组合运用模糊层次分析法和熵权法来确定各评估维度的权重,以提高数据质量评估的科学性;再运用模糊综合评价法,依据隶属函数来确定数据质量的所属等级。最后运用上述方法,对某地的油色谱数据质量进行评估,该方法计算得到数据质量的评分为77.15,处于“中等”等级。评估结果与实际应用场景相符,表明该文提出的方法适用于电力设备状态数据质量评估。

工业多元时序数据质量评估方法

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

动态调查的自适应设计及数据质量评估

网络调查数据的海量涌入使得传统抽样调查的响应率显著下降,但网络样本的数据质量及可推断性受到质疑,而自适应抽样调查设计作为一种提高数据质量的有效手段,在网络调查实践中逐渐兴起。因此,在回顾和比较现有文献的基础上,系统介绍R统计量和偏R统计量的构建原理和估计方法,深入探讨它们在自适应调查设计中的关键作用,并设计数值模拟展示R统计量和偏R统计量的应用过程,验证其在提高数据采集效率和质量控制方面的实际效果。研究结果表明,在目标样本的辅助变量信息可用时,利用R统计量和偏R统计量指导自适应调查的数据收集过程,可以显著提升响应样本的代表性和估计的准确性,大幅度提升网络样本的可推断性和未来样本融合的效率。

甘肃省区域自动气象站数据质量评估应用程序研究

文章利用python编程语言开发了一款对甘肃省区域自动气象站质控疑误数据自动统计分析应用程序,能够自动链接甘肃省气象资料业务系统(MDOS)区域自动站后台数据库,对全年各月质控出的全省区域自动站疑误数据进行分站点、分要素、分疑误类型的筛选、分析,快速自动生成EXCEL统计图形和表格,自动生成WORD格式的甘肃省区域站逐月数据质量分析报告模板;程序的业务应用对提高区域站设备运行的可靠性和数据可用性具有重要意义。

基于深度学习的文本大数据质量评估与提升方法探究

大数据质量是实现大数据治理的基础和前提,可在一定程度上影响大数据的价值和效益。如何评估和提升大数据质量,避免错误、缺失、噪声等质量问题是一个亟待解决的重要问题。基于此,文章提出了一种基于深度学习的大数据质量评估与提升方法。该方法可利用深度神经网络对大数据进行特征提取、异常检测、缺失值填充、噪声消除和质量评分等操作,从而有效提高大数据的质量水平和可用性。此外,文章通过基准方法或最新方法对该方法进行了比较和分析。

基于信息化技术的统计数据质量评估体系构建研究

随着现阶段信息技术的飞速发展,信息技术的应用为统计工作提供了更多的便利,但立足于信息时代背景下,受海量数据的冲击,统计数据质量问题也逐渐凸显。保证统计数据的完整性、一致性、时效性、可靠性,已经成为现阶段统计工作所要考量的重要问题。因此,利用数据挖掘、人工智能、大数据分析技术,保证统计工作中数据的全面性,以此发现数据中可能存在的诸多问题和漏洞,从而及时解决问题,不仅可以构建较为完善的数据质量评估体系,还可以满足新时期数据统计工作的本质要求。本文基于信息化技术的统计数据质量评估体系的构建展开分析和论述。

电子病历数据质量评估指标体系构建研究

目的/意义 采用科学系统的方法构建电子病历数据质量指标体系,助力提升电子病历数据质量,为相关政策改进提供借鉴。方法/过程 借助批判性评价技能方案的系统检查清单进行文献综述分析,结合专家意见构建数据质量评估指标体系,使用问卷调查和统计分析验证,采用熵权法和模糊模型相结合的方法综合评价。结果/结论 构建一套包含16项指标的电子病历数据质量评估指标体系,对问卷调查结果采用模糊综合评价得到该指标体系综合得分90.445分,隶属度等级为“非常重要”(隶属度为62.5%),说明本研究所采用的数据质量指标符合电子病历使用者的关注重点。

南极考察航线大气微、痕量气体观测:数据质量评估/控制与分析

在远洋航船上开展大气成分观测易受到来自航船燃油发动机排放污染。基于2020年1-4月“北京”号考察船南极考察航线微量(CO_(2))和痕量(CO、O_(3)、CH_(4)和N_(2)O)气体浓度(体积混合比)观测分钟级数据,提出根据CO、CO_(2)测量值开展数据质量评估与控制(QA/QC),并给出了南极考察航线上大气微、痕量气体分布特征。结果表明,以CO或CO_(2)单独示踪均能标识出数据的部分局地污染时段,但CO/CO_(2)比值对确定高污染时段的CO或CO_(2)本底浓度更有效,CO和CO_(2)同步示踪(即CO+CO_(2))是标识局地污染时段的最优方法,可使南大洋和南极地区的CO、CO_(2)浓度测量值分别降低(5-11)×10^(-9)(10%-18%)和(3-7)×10^(-9)(1%-2%),O3上升(3-5)×10^(-9)(20%-25%),测量值更具有全球本底特征的代表性。航船测量数据与同纬度陆地站点观测值接近,南大洋和南极地区CO、CO_(2)、CH_(4)和N_(2)O浓度差分别在2×10^(-9)、0.7×10^(-6)、1.4×10^(-9)和0.5×10^(-9)以内。航线的微、痕量气体测量值均呈北(南)半球高(低)、南大洋以南及南极地区浓度稳定的基本特征;O3在不同纬度分布特点清晰,热带辐合带(ITCZ)的极低浓度(<5×10^(-9))和春季中国东海地区出现的中尺度污染现象均很明显。

基于Jason-3的海洋二号C卫星IGDR数据质量评估

为了评估国产第3颗海洋动力环境卫星海洋二号C卫星(HY-2C)高度计产品质量,选择HY-2C卫星15~56周期的IGDR数据进行统计分析与质量评估。首先分析了HY-2C卫星IGDR数据的完整性和有效性;然后以同期Jason-3卫星GDR数据为参考,利用标准差、均方根误差(RMSE)、皮尔逊相关系数等方法分析了两卫星之间的后向散射系数、有效波高、海况偏差、电离层延迟改正和湿对流层延迟改正等地球物理参数的日均值情况;最后统计了HY-2C卫星地面轨迹自交叉点海平面异常(SLA)不符值以及HY-2C和Jason-3之间的互交叉点SLA差值。结果显示:HY-2C数据完整性较高,有效性较好;与Jason-3对应的地球物理参数日均值一致性较好;地面轨迹自交叉点SLA不符值的RMSE为5.80 cm,平均值为0 cm;互交叉点SLA差值的RMSE为5.46 cm,平均值为1.84 cm。因此,HY-2C卫星整体运行稳定,精度与Jason-3接近,达到了设计要求。

基于无监督学习的定位数据质量评估及异常检测

WSN定位中的每个节点提供的数据会对其他节点的位置估计产生重要影响,然而在坐标真值未知的情况下难以对其进行有效度量。为此,基于无监督机器学习方法,在真实值未知的前提下设置评估基准,对节点的数据质量评估问题进行合理建模;同时,结合节点的历史行为,设计基于阈值判断的异常检测方案,剔除不合格的定位数据。仿真证明,所提方案能够有效评估节点的定位数据质量,结合异常节点检测方案,能够极大程度地提高网络的定位精度。

面向智能交通的数据质量评估框架研究与实践

高质量的交通数据是智能交通系统发挥效益的重要基础。在现实环境中,交通数据采集受检测器故障、网络延迟等内外部因素影响,可能产生数据质量问题,继而影响数据二次应用。为了客观评价智能交通数据质量,建立了一套基于应用场景的多层级数据质量评估框架,并选取某市高速公路环市域卡口过车数据,以OD实时分析为场景,对卡口过车数据进行质量评估和改进。

数据质量评估方法研究

数据质量管理已经成为当今数据管理的关键问题,并得到了广泛的研究和应用。数据质量评估作为数据质量管理中的必要过程和基础部分,目前缺乏一种定量的系统的方法。针对数据质量评估中的这一问题,该文介绍了一些基本的数据质量评估指标,提出了一种数据质量评估模型,并阐述了该模型的构造技术和计算方法。

电导率加和性质及其在酸雨观测数据质量评估中的应用

大气降水中离子成分的电导率具有可加和性,国际上已经普遍应用该原理对大气降水离子成分观测的数据质量进行分析和评估,即所谓的相对电导率差(conductance percent difference,CPD)方法。该文应用CPD方法对我国4个大气本底观测站的电导率和降水离子成分数据进行了数据质量分析,针对我国的降水电导率范围偏高等特点,对国外推荐的CPD统计检验指标的适用性进行了讨论,指出在我国应用CPD方法时宜采取pH值分组的方式,并根据这种分组方式的统计分析,估计4个大气本底观测站的部分pH值观测数据可能存在-0.05左右的测量误差。该文还依据降水中离子成分电导率的可加和性原理,提出K-pH不等式方法,可以用于中国气象局酸雨观测站网的pH值和电导率数据的现场校验和数据质量的分析评估。应用K-pH不等式方法对观测数据进行现场质量检验时,对pH值小于5.0范围的酸性降水效果尤其显著。应用K-pH不等式方法对1992—2005年间全国酸雨观测站观测数据的统计分析显示,部分酸雨观测站的pH值测量数据可能存在-0.1^-0.3左右的系统性负偏差。

元数据驱动的数据质量评估体系架构研究

到目前为止,国际上既没有形成系统化的数据质量评估标准,也没有建立完整的数据质量评估体系。通过对国际和国内数据质量相关内容的研究,分析了大型企业对数据质量的需求,提出了一个数据质量元模型框架结构,构建了数据质量评估体系。该体系包括数据质量的分类和定义、数据质量评估指标算法和数据质量评估体系及流程,为企业对数据质量进行评估提供了可靠的依据。

云南宾川地震信号发射台的流动观测数据服务系统及数据质量评估

对2011年以来云南宾川地震信号发射台的实验数据进行规范化处理,整理原始Reftek数据库,构建为统一的G1数据库(Mini SEED格式),并提供SAC等数据格式的截取服务。对台站分布及数据连续性、各台站仪器类型及经纬度位置变更情况、气枪激发时刻与集中加密实验、台站背景噪声水平等进行数据质量评估,并对宾川附近天然地震分布进行了统计分析。结果表明:G1数据库是对历史数据的检验,格式与信息均可达到统一,也可作为新疆、甘肃等地主动源数据整理的模板。

关联数据质量评估研究综述

[目的/意义]梳理关联数据质量评估理论和工具的发展情况,了解其发展特征,阐明质量评估对提高关联数据质量的重要性,为关联数据质量的改善与应用提供借鉴和新的思路。[方法/过程]通过文献调研,揭示关联数据当前存在较为严重的质量问题。另外,从评估体系、评估方法以及评估工具三个方面介绍国外关联数据质量评估领域的发展现状。[结果/结论]关联数据质量评估领域理论发展较快,而应用评估工具需要加速发展,并在此基础上提出了"开源众筹插件"的建议开发模式。

机载C3I系统试飞数据质量评估方法

针对机载C3I系统的试飞中数据质量评估指标多、数据量大等问题,建立了数据质量评估模型,并阐述了该模型的构造方法,将数据中复杂的指标体系进行了量化处理。将粗糙集和神经网络相结合,提出了一种试飞数据综合质量的计算方法。实现了对数据的实时监控。该模型简捷、准确、工程应用效果好。

通用数据质量评估模型及本体实现

随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千秋.试图将这些模型与数据质量维度以一种通用的形式来定义,旨在成为企业研发数据质量评估系统的标准.通过分析国内外学者在该研究领域取得的成果并结合常年研发数据质量检测与评估系统的经验,首先,提出了一个通用的数据质量检测与评估的数学模型;接着,以此模型为基础,采用本体技术定义了从该通用的数据质量评估数学模型到本体模型映射的转换规则;随后,考虑到多数数据存储在关系数据库中,因此以关系数据模型为例,依据所提出的数学模型和转换规则实现了对数据质量评估本体的抽取与构建,该模型实现了复杂质量规则的定义,具有规范性,实现了对不同来源、不同格式的数据质量进行检测与评估;最后,结合中国石油的油田开发数据质量评估项目进行了系统的实现,验证所提出模型的正确性、科学性、合理性以及可扩充性等.由于所提出的数据质量检测与评估模型与领域无关,所以它具有通用性.

欧盟数据质量评估框架及其对我国的启示

欧洲统计系统建立的数据质量评估框架从统计机构环境、统计程序和统计产出三个方面对统计数据质量展开评估,开发了数据质量报告标准、质量报告手册和自我评估检查单等系列数据质量管理工具。借鉴欧盟的经验,我国应建立数据质量评估框架,主要措施包括成立数据质量评估机构、制定国家数据质量保证框架模板、设定数据质量评估方法和完善数据质量评估报告等。