数据质量管理实施策略及平台构建研究

数据作为数据经济时代的新型生产要素,是企业重要的资产,但目前企业在数据流通、数据质量等方面问题频现,从根源上看是对数据的潜在价值认识不到位,未能建立科学系统的数据质量管理平台与规则秩序,难以有序且高效地支撑数据资源的开发与利用,使得对数据资源的利用能力匹配不上其对数据价值的期待。本文以数据的价值释放为最终目标,以建立体系化的数据质量全生命周期平台为核心内容,以源头治理、问责管理和闭环管理为核心原则,探讨了数据质量管理的价值和常见的误区及误区产生的原因,阐述了数据质量管理的核心原则,提出了数据质量管理的实施策略和数据质量全生命周期的技术平台思路,为应对数据质量危机提供思路,也为数据质量管理工作的规划和落地提供参考。

关于大坝监测数据质量评价因子及算法研究

大坝监测数据是判断大坝运行安全的主要依据,为了鉴别数据优劣并选择出可信度较高的数据,文中构建一个大坝监测数据质量评价框架。针对测点之间的相关性、监测项目及仪器的特点,利用Kshape算法找出具有强相关性的测点,再通过相对偏移率、相对平滑率、周期波动程度和精度修正率等评价因子对大坝监测数据进行评价;其次,结合混合蝙蝠算法优化后的长短期记忆网络对大坝监测数据进行分类,构建了大坝监测数据质量评价算法流程。以新疆某大坝监测数据为研究对象进行试验,结果表明所提出的大坝监测数据质量评价算法的准确率为94.33%,可为评价大坝监测数据质量提供有效的解决方法。

数据质量测量框架研究及领域测量框架构建

为激活数据质量潜能,构建兼顾信息环境与技术实现的数据质量测量框架,以提升数据挖掘和指挥决策的效用,文中从宏观层面和微观层面对现有的通用型、行业型数据质量测量框架进行梳理、研究,对数据质量维度进行“聚类”,得到数据质量维度类簇,提取了数据质量维度的两类特性,提出面向具体领域的数据质量测量框架构建准则。基于管理领域工作对数据质量的测量需求,结合构建准则构建了面向管理领域的数据质量测量框架,并明确了框架的数据质量维度、测量指标、测量方法等。

提升统计数据质量以驱动经济高质量发展研究

文章从准确性、及时性、完整性、一致性和可比性五个方面详细探讨了统计数据质量的标准,并分析了数据采集、处理、发布和管理等环节中存在的问题。文章提出了提升统计数据质量的策略与路径,以期提高统计数据的科学性、可靠性和应用价值,促进经济高质量发展。研究结果有助于为统计数据质量的提升提供重要的指导,从而更好地推动经济实现高质量发展。

医疗大数据质量评价及管理研究综述

目的/意义归纳数据质量评价常用维度,概述医疗大数据质量评价和管理方法的类型及特点,为医疗大数据质量评价和管理提供参考。方法/过程梳理国内外医疗大数据质量相关文献,重点分析质量评价的维度、方法及管理。结果/结论数据质量标准有助于医疗大数据规范管理,应尽快建立和完善科学合理且符合我国国情的医疗大数据质量评价体系及全流程数据质量管理体系,促进我国医疗大数据的发展和应用。

基于PDCA管理循环法的高校教育统计数据质量保障体系——以河南省某高职院校为例

目前高校教育统计工作已经成为一项重要的行政工作,关系到学校高质量发展和我国教育现代化发展,本文通过分析目前高校教育统计工作质量的影响因素,探究借助管理学中的PDCA循环法,构建出一个基于PDCA管理循环法的高校教育统计质量保障体系。校领导的重视为成败的关键;健全稳定统计队伍、出台统计管理制度、培训、数据校验、统计专业人员发展保障、监控与评估为基础保障;逐步院校内部质量检测系统为教育统计工作提供数据保障;数据分析为学校高质量发展提供建议。

以数据治理精细化规范化提升数据质量

本文以浙江“千万工程”经验作为主题教育学习案例,结合农发行广东省分行数据治理发展阶段和实际,以“精细化、规范化”为主线,介绍广东分行在数据治理工作中,扭转数据治理落后局面的主要做法,对破解难题推进高质量发展形成实践经验。

健康医疗数据质量检测系统建设与应用

目的:为解决健康医疗数据质量低下的问题,建设健康医疗数据质量检测系统。方法:该系统基于完整性、准确性、数据范围和及时性四大类的11项评价指标构建,使用MySQL 5.7数据库,采用浏览器/服务器(Browser/Server,B/S)架构,使用Python、Java、Vue语言并基于vscode neovim开发工具开发。整个系统包括系统设置、数据管理、质量管理、质量分析4个功能模块。结果:采用该系统后,数据质量检测规则管理更加灵活和规范,同时可定期分析数据质量问题,且能够更便捷、全面地查看数据检测结果,提升了数据质量检测和处理数据质量问题的效率。结论:该系统能提高数据质量,为医院提供了有价值的数据支撑。

工业多元时序数据质量评估方法

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

一种基于规则的数据质量评价模型

在对国际与国内关于数据质量定义及评价方面研究成果的分析发现,到目前为止,对这些问题的研究仍然存在许多缺陷,如数据质量的定义不统一,数据质量的评价指标描述不全面,数据质量评价体系不系统等。针对这些问题,提出了以七项指标为基础的全面的数据质量定义,并定义了基于七项指标的十五类数据质量约束规则,给出了它们之间的关系。定义了五元组来形式化描述数据质量评价指标算法,并以完整性评价指标为例详细描述了该算法及其实现过程。为使这些指标与约束规则精准描述及存储,最后基于元数据构建了系列支撑元模型。上述研究成果已在大型企业数据中心数据质量检测与评价中得到了初步应用,并且效果良好。

毒理学数据质量评价现状与展望

毒理学数据的质量对于毒性评价和风险预测的科学性至关重要。整合多种证据流和提高毒理学数据的质量对于更有效、更准确地开展健康风险评估必不可少。目前,国际上常用的毒理学数据质量评价体系包括Klimisch评级系统和ToxRTool评价工具及近年来发展起来的SciRAP评价工具和综合风险信息系统工具。我国针对食品安全风险评估中的毒理学数据开发了TRAM可靠性评价工具。上述评价工具具有不同的应用背景和评价标准的适用性,各有优点和不足。

基于深度学习的文本大数据质量评估与提升方法探究

大数据质量是实现大数据治理的基础和前提,可在一定程度上影响大数据的价值和效益。如何评估和提升大数据质量,避免错误、缺失、噪声等质量问题是一个亟待解决的重要问题。基于此,文章提出了一种基于深度学习的大数据质量评估与提升方法。该方法可利用深度神经网络对大数据进行特征提取、异常检测、缺失值填充、噪声消除和质量评分等操作,从而有效提高大数据的质量水平和可用性。此外,文章通过基准方法或最新方法对该方法进行了比较和分析。

军事数据质量管理研究

数据质量管理是确保数据准确能用的关键环节,是数据建设的重要内容.从数据质量的概念和度量入手,梳理了数据质量管理的发展历程,总结了全面数据质量管理的现状和核心模型,最后对军事大数据质量问题进行了分析,并提出了加强数据质量管理的建议.

内蒙古地区强震动台站背景噪声与数据质量分析

计算了内蒙古地区193个强震动台站2022年连续观测数据的加速度功率谱密度,通过绘制不同时空、不同加速度计、不同频段的功率谱密度和功率谱概率密度函数图及背景噪声速度均方根值分布图,评估了该区强震动台站的背景噪声变化特征,对出现的功率谱密度异常进行了具体分析,并针对强震动台站数据异常检测及处理提出了相应的建议。研究结果显示:不同加速度计、不同时空强震动台站的背景噪声功率谱密度昼夜差异主要体现在1 Hz以上频段,且不同区域的昼夜差异变化较大;QA-2g型、JS-A2型和TDA-33M型三种加速度计在2 s频点的背景噪声功率谱密度随区域和三分向变化较小;从强震动台站2 s频点背景噪声的监控能得到可靠的观测数据异常,数据异常主要由加速度计零点漂移大、加速度计故障、脉冲干扰、系统参数有误造成,建议优化站点观测环境,进一步规范仪器安装、调试及JOPENS系统的参数配置和审核。

通用数据质量评估模型及本体实现

随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千秋.试图将这些模型与数据质量维度以一种通用的形式来定义,旨在成为企业研发数据质量评估系统的标准.通过分析国内外学者在该研究领域取得的成果并结合常年研发数据质量检测与评估系统的经验,首先,提出了一个通用的数据质量检测与评估的数学模型;接着,以此模型为基础,采用本体技术定义了从该通用的数据质量评估数学模型到本体模型映射的转换规则;随后,考虑到多数数据存储在关系数据库中,因此以关系数据模型为例,依据所提出的数学模型和转换规则实现了对数据质量评估本体的抽取与构建,该模型实现了复杂质量规则的定义,具有规范性,实现了对不同来源、不同格式的数据质量进行检测与评估;最后,结合中国石油的油田开发数据质量评估项目进行了系统的实现,验证所提出模型的正确性、科学性、合理性以及可扩充性等.由于所提出的数据质量检测与评估模型与领域无关,所以它具有通用性.

国内外大数据质量研究述评

作为前沿性研究领域,大数据质量研究是大数据研究的核心内容之一,也是各界关注的焦点问题。本文以国内外大数据质量研究文献为对象,从基本内涵、质量管理、质量评价、应用实践等角度对相关研究进行梳理与综述,分析国内外相关研究进展。研究发现,大数据质量诸方面研究均是以大数据特征为基础,以大数据质量基本属性为核心,与其应用目标及适用情境相结合,形成有别于常规数据质量理论的、具有复杂性和多维度的理论体系。同时发现,大数据质量本质研究、与技术环境和人文环境相结合研究、基于宏观视角的国家层面和战略层面研究等将是大数据质量研究领域未来的研究趋势与研究重点。

数据质量特征视角下的地球科学数据重用影响因素研究——三个科学数据平台的比较分析

开放科学时代,科学数据的开放共享成为必然要求,而数据重用是其主要目标。尽管国内外已建设了多种科学数据开放共享平台,但对于这些平台的数据重用效果与数据开放特征之间的关系仍缺乏深入的研究。本文立足地球科学领域,对3个国内外的开放数据平台(国家青藏高原科学数据中心、NCAR研究数据档案和Figshare)进行了定量分析,旨在探讨影响科学数据重用的关键因素。研究发现:数据质量对科学数据的重用有显著影响。据此,本文从数据平台、科研人员、图书馆和期刊出版商4个维度提出了促进科学数据重用的策略建议。

基于测量不确定度评定理论的波浪能发电装置实验数据质量评价研究

通过采用测量不确定度评定理论提出波浪能发电装置实验室俘获宽度比测试的数据质量评价模型并进行验证,可为后续建立波浪能发电装置实验数据的量值溯源链,完善波浪能发电数据评估技术提供研究基础。研究表明,在同一工况下实验结果的测量不确定度与样本量有关,在采用测量不确定度评价不同装置的实验数据质量时应在相同或相近的样本量条件下进行,避免由于样本量的不同造成实验结果的评价差异。

嫦娥4/5号月球探测器VLBI观测数据质量分析

在中国探月工程(China’s Lunar Exploration Program,CLEP)中,甚长基线干涉测量技术(very long baseline interferometry,VLBI)具有重要作用。为获得月球探测器的准确定位、实现精确的测定轨功能并以此在探测器飞行过程中完成轨道修正,需要利用VLBI测站对月球探测器进行实时观测。首先以均值(arithmetic mean,AM)以及标准差(standard deviation,STD)作为主要的精度指标,对来源于上海天文台的嫦娥4号探测器、中继星以及嫦娥5号探测器的VLBI实测数据进行总观测时段的数据稳定性分析,并基于嫦娥4号探测器同时段S、X双频段观测,着重进行该探测器不同频率各项数据的质量分析;然后对探测器各工作时段分别进行时延、时延率测量形式误差以及残差分析,了解各时段探测器运动情况与数据变化的相关性。结果表明,3类探测器中,嫦娥4号的实测精度最高,达到1 ns量级;嫦娥5号的观测稳定性优于其他两类探测器;不同地面站对探测器的观测精度有所差异,并且在探测器不同的工作时段,实测数据表现出不同特征。

智能手机GNSS数据质量分析与随机模型建立

为提高移动智能终端定位精度,利用小米8和华为Mate20手机采集多个卫星系统的观测数据并进行质量分析,通过不同卫星系统的伪距残差分别对信噪比模型参数进行估计,最后进行静态伪距单点定位实验。结果表明,手机端观测的BDS和GPS伪距精度接近,且高于GLONASS;相较于高度角,伪距残差与信噪比的相关性更强;在信噪比模型参数估计中,小米8拟合效果优于华为Mate20,BDS拟合效果差于其他卫星系统;参数拟合后的信噪比模型在水平和高程方向的定位精度分别为2.37 m和8.38 m,相较于高度角模型,定位精度提升约10%。