工业多元时序数据质量评估方法

现有的数据质量评估(DQA)方法通常只从特定数据质量维度(DQD)的基本概念分析,忽略了能够反映数据质量(DQ)关键信息的细粒度的子维度对评估结果的影响。针对上述问题,提出一种工业多元时序数据质量评估(IMTSDQA)方法。首先,对于待评估的DQD,如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分,考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量;其次,对完整性的属性完整性、记录完整性、数值完整性,规范性的类型规范性、精度规范性,一致性的顺序一致性、逻辑一致性,唯一性的属性唯一性、记录唯一性,准确性的范围准确性、数值准确性等子维度进行权重分配,进而充分挖掘DQD的深层次信息,从而获得反映DQ详情的评估结果。实验结果表明,与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比,IMTSDQA能更详细、更全面地评估DQ,且不同DQD的评估结果更能客观准确地反映DQ问题。

On Detecting and Enforcing the Non-Relational Constraints Associated to Dyadic Relations in MatBase

MatBase is a prototype data and knowledge base management expert intelligent system based on the Relational,Entity-Relationship,and(Elementary)Mathematical Data Models.Dyadic relationships are quite common in data modeling.Besides their relational-type constraints,they often exhibit mathematical properties that are not covered by the Relational Data Model.This paper presents and discusses the MatBase algorithm that assists database designers in discovering all non-relational constraints associated to them,as well as its algorithm for enforcing them,thus providing a significantly higher degree of data quality.

水文数据库数据质量控制与管理应用研究

数据质量问题已经成为水文信息化过程成败的重要影响因素。本文以水文数据库为背景,分析了水文数据质量评估关键指标维度、数据质量问题的来源及其分类,建立了水文数据库数据质量评估模型和控制模型,并从实践角度探讨了数据质量控制和改进的若干方法。

通用数据质量评估模型及本体实现

随着数据科学技术在各个领域的深度应用,作为企业重要资产的数据越发表现出它的价值性与重要性.绝大多数企业结合行业特点开发了数据质量检测系统来解决自身数据质量问题.这些系统的评估模型各有特点,对于数据质量维度的定义也是各有千秋.试图将这些模型与数据质量维度以一种通用的形式来定义,旨在成为企业研发数据质量评估系统的标准.通过分析国内外学者在该研究领域取得的成果并结合常年研发数据质量检测与评估系统的经验,首先,提出了一个通用的数据质量检测与评估的数学模型;接着,以此模型为基础,采用本体技术定义了从该通用的数据质量评估数学模型到本体模型映射的转换规则;随后,考虑到多数数据存储在关系数据库中,因此以关系数据模型为例,依据所提出的数学模型和转换规则实现了对数据质量评估本体的抽取与构建,该模型实现了复杂质量规则的定义,具有规范性,实现了对不同来源、不同格式的数据质量进行检测与评估;最后,结合中国石油的油田开发数据质量评估项目进行了系统的实现,验证所提出模型的正确性、科学性、合理性以及可扩充性等.由于所提出的数据质量检测与评估模型与领域无关,所以它具有通用性.

一种基于规则的数据质量评价模型

在对国际与国内关于数据质量定义及评价方面研究成果的分析发现,到目前为止,对这些问题的研究仍然存在许多缺陷,如数据质量的定义不统一,数据质量的评价指标描述不全面,数据质量评价体系不系统等。针对这些问题,提出了以七项指标为基础的全面的数据质量定义,并定义了基于七项指标的十五类数据质量约束规则,给出了它们之间的关系。定义了五元组来形式化描述数据质量评价指标算法,并以完整性评价指标为例详细描述了该算法及其实现过程。为使这些指标与约束规则精准描述及存储,最后基于元数据构建了系列支撑元模型。上述研究成果已在大型企业数据中心数据质量检测与评价中得到了初步应用,并且效果良好。

统计数据质量评估方法研究述评

数据质量评估是统计数据质量管理的重要环节。统计数据质量的评估方法有逻辑关系检验法、计量模型分析法、核算数据重估法、统计分布检验法、调查误差评估法以及多维评估法六个类别,在详细讨论其各自的评估过程、适用性及其优缺点的基础上,按照评估维度和评估方式对各种统计数据质量的评估方法进行再归类,指出评估方法的进一步研究应该围绕计量模型分析法、核算数据重估法中的物量指数重估法、调查误差评估法和多维评估法等方向展开。

多传感器数据融合技术在室内环境品质监控系统中的应用

为解决室内环境监控系统在信息处理中的误差和不确定性问题,提出一种多传感器自适应加权数据融合算法及基于模糊集理论融合算法的室内环境品质综合指数判定原则。该算法和判定原则以室内环境监测数据为研究对象,对室内环境品质因素进行综合等级评估,并根据评估结果控制驱动设备动作。实验表明:这种数据融合算法和判定原则是正确的,以此构造的室内环境品质监控系统具有较高的精度。

不确定性空间数据挖掘算法模型

在分析空间数据和空间数据挖掘的不确定性基础上,针对传统空间数据挖掘的局限性,将空间数据的不确定性和空间数据挖掘的不确定性有机结合,以EM算法和Apriori算法为基础,建立了不确定性空间数据挖掘算法模型,包括不确定性空间数据聚类算法(UNEM)和不确定性空间数据关联规则挖掘模型(USAR).并以中国37个有代表性的大中城市的地理空间经济数据为例,进行实验验证,结果表明:采用不确定性空间数据挖掘算法模型比传统的空间数据挖掘方法得到的知识更为真实客观.

面向企业信息化的数据质量评估研究

数据质量问题是企业信息化过程中面临的一项重要挑战,但针对数据质量评估的研究还缺乏足够的重视。文中从数据质量定义出发,阐述了数据质量的各个不同维度及其评估指标的确定,在对比分析已有成果的基础上给出了主观、客观两种评估方法,通过引入SOA上下文的可重用服务思想,设计了一种数据质量评估的服务框架,基于该框架对输入输出、流程管理、自动化评估等服务进行了阐述,并使用Web Services服务组件的形式实现了所有的功能需求。

基于约束的数据质量评估算法研究

随着信息技术快速的发展与信息系统应用的加深,企业积累了大量的历史数据,支撑企业正常运营与决策。为了使决策更加正确、有效,需要对历史数据进行有效的数据质量评估,并基于评估结果进行数据清洗。重点研究了基于数据维度下数据质量约束的数据质量评估方法,确定数据质量评估维度,并定义了各维度下的数据质量约束,并基于约束给出数据质量评估算法。方法在大庆油田生产数据库数据质量评估项目与河北汉光重工有限责任公司财务系统数据库数据质量评估项目中得到了应用。

一种支持数据质量评价的方法与应用研究

为提升数据质量,实现数据有重点的清洁,通过提出一种面向多维度数据质量的模糊综合评价方法,可有效辅助企业明确数据质量的等级分布,有助于企业对数据质量的改进。通过文献调研,基于现有数据质量评价指标体系研究成果构建适合的数据质量指标体系,确定评价指标集并建立四级评语集。采用德尔菲法和层次分析法确定权重集,确定隶属度函数和特征向量,并进行模糊转换和模糊计算,最终根据最大隶属度原则得到质量评级。以某项目中真实数据为例进行实例验证,基于本方法实现的系统得到的数据质量评价结果与市面上某主流数据质量管理软件评估结果一致性达90%以上,验证了本方法可以为数据质量的评估提供更为全面的评价维度,并保证一定的准确性和可靠性。

临床数据质量评估指标研究

基于质量评估相关文献和临床数据应用中的数据问题报告,对现有评估知识进行分解、合并和归纳,构建对临床评估问题进行唯一表述的临床数据评估指标,对每项指标所适用的评估手段进行描述。对比以往研究并与国家相关标准进行验证,结果表明本研究提出的指标能更清晰、准确地对应实际需求,有利于促进临床数据质量评估标准化。

影响全国自动土壤水分站运行能力因素分析

文章以综合气象观测系统运行监控平台(ASOM 2.0)自动土壤水分站点为基础,介绍了自动土壤水分站运行能力评估算法,并从影响运行能力的观测数据质量等方面分析了影响运行能力的主要因素和原因。分析发现,影响自动土壤水分站运行能力的主要因素是观测数据质量,其次是数据传输能力。而影响数据质量的主要原因是由人工订正参数不合适、传感器故障、土壤环境维护不到位、文件格式错误等引起。

基于线性超混沌评估机制的云网络大数据稳定评测算法

针对当前云网络中大数据稳定评测算法存在数据冗余度高、传输颗粒度不明显、传输性能较差等难题,提出了一种基于线性超混沌评估机制的云网络大数据稳定评测算法。首先,基于传输成本具有的维度特性进行稳定建模,设计了多维资源片的方式进行传输质量评测;其次,将数据传输中的质量维度,如传输带宽、包冗余度等纳入传输评测口径,且采取拉普拉斯质量评测算法对传输过程中的维度耗费进行特征指数建模,实现了云网络中大数据传输中的稳定评测,且评估效率较高。仿真实验表明,线性超混沌评估机制能够有效改善大数据传输中的拥塞现象,网络传输性能稳定。所提算法可以准确、稳定地评测云网络运行质量,且成本代价较低,实现过程较为便捷。

Web多媒体数据源质量模型

文中分析了多媒体数据源质量评估的多个关键因素,提出了一种针对于多媒体数据源的质量估计模型.模型从合时性、资源数量、使用数量、信息丰富度等四个维度对数据源质量进行了质量评估,并对源质量计算中的规范化方法进行了改进.实验证明,利用该模型对数据源质量进行估计具有很好的准确性和可操作性.

一种多信道的分簇式短波令牌协议

传统的短波令牌协议(HFTP)调度方式单一,在没有数据传送时,信道资源会被各节点间的令牌传递所占用,且令牌在通信质量较差时易丢失。基于此,提出一种多信道的分簇式短波令牌协议(CHFTP),通过以通信质量评估为标准的分簇算法和基于预约的动态令牌调度,减小了令牌丢失的概率和令牌传递、处理的开销,并给出了仿真分析。仿真结果表明,该协议的端到端平均时延和网络吞吐量明显优于短波令牌协议,CHFTP的平均时延最多可减少75%,网络吞吐量最多可增加66.7%,适合在短波通信网络中使用。

一种改进ID3算法及其在高校党员发展中的应用

在数据挖掘的相关问题和算法中,分类算法是重要的组成部分,而决策树归纳算法又是分类算法中重要的部分,ID3算法就是其中典型的一个基于分类函数逼近的算法。文章讨论ID3算法的实践应用并针对其表现出来的不足进行分析改进,运用改进的算法研究大学生自身素质与入党积极性、入党动机之间是否存在一定的联系,为高校党员发展的评判体系、考核标准提供一种新思路,实验结果表明,改进后的算法表现更佳。

基于视频内容关联密钥加密算法

随着计算技术以及视频、显示技术的不断发展,学术以及产业界对新的视频加密算法不断有着更高的要求.通过对现有视频版权保护技术中加密算法不足之处的分析,提出内容关联密钥的概念,并将其运用于视频加密.基于宏块运动矢量预测残差的抽取算法,将视频中敏感数据抽取为密钥,可在10%以内抽取比例下,有效对视频质量进行破坏.为了有效验证该加密算法效果,通过视频质量评估方法峰值信噪比(PSNR)与结构相似度(SSIM)对内容关联密钥算法加密后不同视频内容、不同参数视频进行视频质量评估,证明算法的有效性与一致性,并通过性能分析以及效果对比说明了抽取算法的效果.

我国地方政府开放数据的数据质量评价研究——以北京、广州和哈尔滨为例

[目的/意义]随着我国政府开放数据的发展,质量问题日益凸现。而对数据质量的微观评价,不仅是用户选择数据集的依据,也是提供者质量管理的基础。[方法/过程]通过对北京、广州和哈尔滨三地1900多个数据集的调查分析,归纳出影响数据可用性的16类质量问题,进而构建7个质量维度和度量指标,计算数据平台中全部数据集各个质量指标的平均值和标准差。[结果/结论]各地在完整性、准确性和一致性等维度上总体得分偏低,且不同数据集之间的质量差异较大,用户在使用数据之前应进行质量检查,政府部门更要采取措施提升数据质量。

决策树挖掘算法在教评体系中的应用研究

对高校教学质量评估体系中学生的大量评教数据和教师的档案数据进行数据挖掘,重点研究决策树方法中的ID3算法在教学质量评估体系中的应用。利用决策树挖掘算法挖掘影响教学质量的关键因素,找出数据的内在规律,并对挖掘结果进行分析,从中提取有用信息,才能更好地为管理决策分析提供科学依据。