数据质量测量框架研究及领域测量框架构建

为激活数据质量潜能,构建兼顾信息环境与技术实现的数据质量测量框架,以提升数据挖掘和指挥决策的效用,文中从宏观层面和微观层面对现有的通用型、行业型数据质量测量框架进行梳理、研究,对数据质量维度进行“聚类”,得到数据质量维度类簇,提取了数据质量维度的两类特性,提出面向具体领域的数据质量测量框架构建准则。基于管理领域工作对数据质量的测量需求,结合构建准则构建了面向管理领域的数据质量测量框架,并明确了框架的数据质量维度、测量指标、测量方法等。

健康医疗数据质量检测系统建设与应用

目的:为解决健康医疗数据质量低下的问题,建设健康医疗数据质量检测系统。方法:该系统基于完整性、准确性、数据范围和及时性四大类的11项评价指标构建,使用MySQL 5.7数据库,采用浏览器/服务器(Browser/Server,B/S)架构,使用Python、Java、Vue语言并基于vscode neovim开发工具开发。整个系统包括系统设置、数据管理、质量管理、质量分析4个功能模块。结果:采用该系统后,数据质量检测规则管理更加灵活和规范,同时可定期分析数据质量问题,且能够更便捷、全面地查看数据检测结果,提升了数据质量检测和处理数据质量问题的效率。结论:该系统能提高数据质量,为医院提供了有价值的数据支撑。

工业多元时序数据质量评估方法

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

医疗大数据质量评价及管理研究综述

目的/意义归纳数据质量评价常用维度,概述医疗大数据质量评价和管理方法的类型及特点,为医疗大数据质量评价和管理提供参考。方法/过程梳理国内外医疗大数据质量相关文献,重点分析质量评价的维度、方法及管理。结果/结论数据质量标准有助于医疗大数据规范管理,应尽快建立和完善科学合理且符合我国国情的医疗大数据质量评价体系及全流程数据质量管理体系,促进我国医疗大数据的发展和应用。

毒理学数据质量评价现状与展望

毒理学数据的质量对于毒性评价和风险预测的科学性至关重要。整合多种证据流和提高毒理学数据的质量对于更有效、更准确地开展健康风险评估必不可少。目前,国际上常用的毒理学数据质量评价体系包括Klimisch评级系统和ToxRTool评价工具及近年来发展起来的SciRAP评价工具和综合风险信息系统工具。我国针对食品安全风险评估中的毒理学数据开发了TRAM可靠性评价工具。上述评价工具具有不同的应用背景和评价标准的适用性,各有优点和不足。

基于深度学习的文本大数据质量评估与提升方法探究

大数据质量是实现大数据治理的基础和前提,可在一定程度上影响大数据的价值和效益。如何评估和提升大数据质量,避免错误、缺失、噪声等质量问题是一个亟待解决的重要问题。基于此,文章提出了一种基于深度学习的大数据质量评估与提升方法。该方法可利用深度神经网络对大数据进行特征提取、异常检测、缺失值填充、噪声消除和质量评分等操作,从而有效提高大数据的质量水平和可用性。此外,文章通过基准方法或最新方法对该方法进行了比较和分析。

内蒙古地区强震动台站背景噪声与数据质量分析

计算了内蒙古地区193个强震动台站2022年连续观测数据的加速度功率谱密度,通过绘制不同时空、不同加速度计、不同频段的功率谱密度和功率谱概率密度函数图及背景噪声速度均方根值分布图,评估了该区强震动台站的背景噪声变化特征,对出现的功率谱密度异常进行了具体分析,并针对强震动台站数据异常检测及处理提出了相应的建议。研究结果显示:不同加速度计、不同时空强震动台站的背景噪声功率谱密度昼夜差异主要体现在1 Hz以上频段,且不同区域的昼夜差异变化较大;QA-2g型、JS-A2型和TDA-33M型三种加速度计在2 s频点的背景噪声功率谱密度随区域和三分向变化较小;从强震动台站2 s频点背景噪声的监控能得到可靠的观测数据异常,数据异常主要由加速度计零点漂移大、加速度计故障、脉冲干扰、系统参数有误造成,建议优化站点观测环境,进一步规范仪器安装、调试及JOPENS系统的参数配置和审核。

基于测量不确定度评定理论的波浪能发电装置实验数据质量评价研究

通过采用测量不确定度评定理论提出波浪能发电装置实验室俘获宽度比测试的数据质量评价模型并进行验证,可为后续建立波浪能发电装置实验数据的量值溯源链,完善波浪能发电数据评估技术提供研究基础。研究表明,在同一工况下实验结果的测量不确定度与样本量有关,在采用测量不确定度评价不同装置的实验数据质量时应在相同或相近的样本量条件下进行,避免由于样本量的不同造成实验结果的评价差异。

嫦娥4/5号月球探测器VLBI观测数据质量分析

在中国探月工程(China’s Lunar Exploration Program,CLEP)中,甚长基线干涉测量技术(very long baseline interferometry,VLBI)具有重要作用。为获得月球探测器的准确定位、实现精确的测定轨功能并以此在探测器飞行过程中完成轨道修正,需要利用VLBI测站对月球探测器进行实时观测。首先以均值(arithmetic mean,AM)以及标准差(standard deviation,STD)作为主要的精度指标,对来源于上海天文台的嫦娥4号探测器、中继星以及嫦娥5号探测器的VLBI实测数据进行总观测时段的数据稳定性分析,并基于嫦娥4号探测器同时段S、X双频段观测,着重进行该探测器不同频率各项数据的质量分析;然后对探测器各工作时段分别进行时延、时延率测量形式误差以及残差分析,了解各时段探测器运动情况与数据变化的相关性。结果表明,3类探测器中,嫦娥4号的实测精度最高,达到1 ns量级;嫦娥5号的观测稳定性优于其他两类探测器;不同地面站对探测器的观测精度有所差异,并且在探测器不同的工作时段,实测数据表现出不同特征。

智能手机GNSS数据质量分析与随机模型建立

为提高移动智能终端定位精度,利用小米8和华为Mate20手机采集多个卫星系统的观测数据并进行质量分析,通过不同卫星系统的伪距残差分别对信噪比模型参数进行估计,最后进行静态伪距单点定位实验。结果表明,手机端观测的BDS和GPS伪距精度接近,且高于GLONASS;相较于高度角,伪距残差与信噪比的相关性更强;在信噪比模型参数估计中,小米8拟合效果优于华为Mate20,BDS拟合效果差于其他卫星系统;参数拟合后的信噪比模型在水平和高程方向的定位精度分别为2.37 m和8.38 m,相较于高度角模型,定位精度提升约10%。

不同观测环境中的多模GNSS数据质量自动化检测方法

受到GNSS轨道位置变化及其多模环境变化等多因素的共同影响,传统GNSS数据质量检测方法出现数据钟差偏差较大,局部GNSS数据实际检测结果与观测结果之间差距较大,无法为使用者提供准确的科学依据。为了解决偏差问题,提出3种优化方法。首先对多模GNSS数据实时轨道及钟差进行计算;然后对不同观测环境中的多模GNSS数据质量进行针对性分析;最后完成数据质量自动化评价输出。通过设计的实验表明,经过提出方法优化后的各项检测指标优化效果明显,检测准确度大幅度提升,稳定性明显改善,整体性能可满足当前不同观测环境下多模GNSS数据之间自动化检测任务,文中方法具有较高的研究价值与市场推广价值。

基于EDA统计图量化的桥梁动态监测数据质量评估

探索性数据分析统计图在桥梁健康监测动态数据质量评估中已有广泛应用。为了减少人工观察统计图的主观性,通过近似度量方法实现统计图的量化分析,得到多个指标对监测数据进行快速质量评估。在运营环境激励作用下,桥梁结构动力响应具有短时线性平稳性,近似服从正态分布。以某大跨斜拉桥振动数据为研究对象,首先,绘制样本数据直方图和Q-Q图,通过观察数据分布特征预先判断数据质量,确定优、良和差3个等级。然后,分别通过KL散度和余弦相似度2种近似度量方法对样本数据直方图和Q-Q图进行量化,得到数据服从正态分布程度的指标;通过箱线图检测样本数据全局异常点,得到正常数据占比;统计分析得到量化值和先验质量等级的对应关系,确定以直方图KL散度和余弦相似度为主、以箱线图正常数据占比为辅的数据质量评估标准。最后,取部分数据为验证集,进一步验证所提方法各个指标的合理性,并给出该方法在实际工程上的应用结果。

数据质量特征视角下的地球科学数据重用影响因素研究——三个科学数据平台的比较分析

开放科学时代,科学数据的开放共享成为必然要求,而数据重用是其主要目标。尽管国内外已建设了多种科学数据开放共享平台,但对于这些平台的数据重用效果与数据开放特征之间的关系仍缺乏深入的研究。本文立足地球科学领域,对3个国内外的开放数据平台(国家青藏高原科学数据中心、NCAR研究数据档案和Figshare)进行了定量分析,旨在探讨影响科学数据重用的关键因素。研究发现:数据质量对科学数据的重用有显著影响。据此,本文从数据平台、科研人员、图书馆和期刊出版商4个维度提出了促进科学数据重用的策略建议。

省域不动产登记数据质量提升技术方法研究与实践

不动产登记数据质量问题是不动产统一登记制度实施以来影响不动产登记公共服务和部门间信息共享应用成效的关键因素,由于客观原因,数据问题难以被全部发现和解决。本文以建立一种持续常态的数据质量提升机制为目的,在分析全省不动产登记数据问题的基础上,有针对性地加强增量数据在业务办理过程中的事中数据监管;针对汇交上报成功的全量数据,建立问题数据的协同治理机制,提供问题数据的在线更新办法。同时,应用区块链技术构建不动产登记区块链可信库及其应用,实现以用促治。广东省对上述技术方法进行了组合应用,建立了持续常态化的不动产登记数据质量提升机制,有效提升了不动产登记数据质量。

马陵山站硐室改造前后VS型垂直摆倾斜仪数据质量分析

利用潮汐分析法,分析和评价了马陵山站VS型垂直摆倾斜仪硐室改造前后数据质量的变化情况,结果表明:(1)历年数据观测精度m_γ均小于0.02,仪器搬迁至改造后硐室又有显著提升,数据质量优于搬迁前,超越全国形变优秀台的标准;(2)搬迁后仪器观测噪声水平M_l始终在0.005″左右,稳定性更好;(3)校正后发现搬迁前仪器安装方位角存在较大偏差,影响M_(2)波相位滞后。硐室环境优化改造是有效改善观测数据精度,提高数据质量的重要保证。

基于组合赋权法和模糊综合评价的电力设备状态数据质量评估

随着电力网络的扩大以及工业信息化的迅速发展,在电力领域中采集和待处理的数据量呈现爆发式增长,数据的丢失、冗余、异常、冲突等问题也日益突出,影响数据的质量。数据质量评估作为保证数据质量的关键一环,发挥着重要作用。针对电力设备的状态数据提出一种数据质量评估方法,选择完整性、准确性、唯一性、一致性、及时性5个评估指标构建数据质量评估体系,设置了定量计算的评估规则;组合运用模糊层次分析法和熵权法来确定各评估维度的权重,以提高数据质量评估的科学性;再运用模糊综合评价法,依据隶属函数来确定数据质量的所属等级。最后运用上述方法,对某地的油色谱数据质量进行评估,该方法计算得到数据质量的评分为77.15,处于“中等”等级。评估结果与实际应用场景相符,表明该文提出的方法适用于电力设备状态数据质量评估。

基于改进随机森林的大坝监测数据质量评价算法

针对大坝安全监测数据质量评价效率低下、智慧化不足等难题,为了满足大坝高频率自动化采集的实时数据质量评价需要,从准确性、完整性、时效性和连续性4个方面出发提出了6项评价因子及由相关评价规范构成的安全监测历史数据质量评价标准,通过基于AUC值改进的随机森林算法建立了大坝安全监测历史数据质量评价算法,并将该算法应用于新疆柳树沟面板堆石坝多年安全监测历史数据评价。结果表明:通过AUC值改进的随机森林算法优于原始算法,在特征属性数量取3时效果最好,测试集的泛化误差最小仅为0.0195,平均准确率稳定在96.97%附近,10折交叉验证平均准确率达到97.77%,证明了该算法的可行性。

大数据下的数据质量评价指标体系研究

大数据时代下,数字经济进入一个发展的黄金时代,与此同时数据质量也成为日益突出的问题。文章借鉴信息技术的生命周期管理理论,从数据生产者、数据管理者和数据消费者的视角,进一步构建大数据的数据质量评价指标体系评价数据质量,包括数据源质量、数据内在质量、数据外在质量和数据价值质量四个维度。最后,基于研究结果,得出结论并提出建议。

多波束测深声呐自主数据质量监测及门限控制

为满足水面无人艇等海洋无人平台的需求,确保多波束测深声呐系统在无人监控和参数调节下具备可靠自主工作能力,本文提出一种数据质量在线监测及门限参数控制方法。通过建立基于质量和异常因子的监测模型,结合粒子滤波技术,提高海底地形跟踪门限控制抗差性。仿真和湖上试验显示该方法能判定数据有效性、适应地形变化,并提供合理深度门限,适用于多波束测深声呐系统的在线数据质量监测和无人自主控制。

TEQC与Anubis的数据质量检核性能分析

作为主流的数据质量分析软件,TEQC和Anubis(转换、编辑和质量检查软件)具备对不同格式版本的观测数据进行质量分析的功能。本研究利用这一功能,对RINEX(与接收机无关的交换格式)2.11版本的观测数据进行了数据完整率、周跳比、多路径效应和信噪比四项指标的分析。在此基础上,还利用Anubis对多样化内容的RINEX3.04格式数据进行了多系统多频点的分析。研究结果显示:Anubis和TEQC的数据完整率在观测数据未缺失时差异小于0.3%,而在多路径效应、周跳比和信噪比方面,由于其计算方法和软件特性的影响,其指标存在较大差异。Anubis在完整率、多路径效应和周跳比指标方面相比TEQC其数据质量分析性能更优,而信噪比在2个软件中均未统计出弱信号强度,其软件间的差异性影响较小,分析性能相当。此外,Anubis能够对多样化数据进行多系统多频点的分析,且通过其内置的可视化功能进行更直观和全面的数据质量分析。这对于实现高精度GNSS定位具有重要意义。