数据挖掘中基于可辨识矩阵的连续属性离散化方法

连续属性的离散化在数据挖掘中有着非常重要的作用。本文基于可辨识矩阵提出一种连续属性离散化的方法,并利用平均互信息量对离散化结果进行修正。该方法通过统计模拟取得了良好的效果。

数据挖掘中并行离散化数据准备优化

在海量数据挖掘中,针对元数据的离散化数据准备处理能有效提高数据挖掘效率.本文提出了一种并行比较并获得最优离散化的数据准备算法(AOA),针对不同数据集,先进行数据集的特性检测以获得数据集分布特性,按照分布特性进行数据集的异常值检测和剔除,并行完成与分布特性适配的离散化方法处理,通过比较不同离散化方法的熵、方差指数、稳定性参数的最小欧氏距离,根据三个参数自动化比选,获得最优离散化的预处理成果.仿真表明,对不同样本数据库进行关联规则挖掘结果中,比较四种固定的离散化数据预处理方法,在使用AOA数据准备算法并行比选出最优的离散化来数据预处理后,在不同最小支持度阈值情况下,挖掘得到关联规则数都更少,因此效率得到提高.

数据挖掘中基于似然比假设检验的连续属性离散化方法

连续属性的离散化在数据挖掘中有着非常重要的作用。本文从独立性角度考虑,提出一种基于似然比假设检验的连续属性离散化方法,有效避免了chi2算法中的局限性并在统计模拟中取得了良好的效果。

流动分析中离散数据的可视化处理

为了完成流动分析中可视化技术最一般描述问题，对其控制方程、插值方法、积分方法以及积分精度进行了相应的阐述；并对该控制方程的求解作了详细的讨论，得到了由离散数据进行流动可视化处理的一套算法，经由某定常系统验证了该算法具有一定的可靠性．

会计信息化体系建设助推数据价值挖掘

文章主要探讨会计信息化体系建设助推数据价值挖掘的相关问题。首先,介绍会计信息化体系的概念、组成要素、功能和特点;其次,阐述数据价值挖掘的基本理论和方法,并探讨数据价值挖掘在会计领域的应用场景;再次,分析会计信息化体系建设与数据价值挖掘的关联,包括会计信息化体系建设对数据价值挖掘的促进作用和数据价值挖掘对会计信息化体系建设的推动作用;最后,通过实践案例分析,展示数据价值挖掘在会计信息化体系中的实际应用,并提出会计信息化体系建设助推数据价值挖掘的策略建议。

污染源自动监控数据智能处理与应用研究

随着工业化不断的发展,环境污染问题也越来越严重,对污染源的有效监控与管理显得尤为重要。本文在研究污染源自动监控数据的智能处理与应用,通过对数据采集与传输、预处理、分析、挖掘及可视化等关键技术,构建一套高效、智能的污染源自动监控数据处理系统。该系统可应用于工业污染源、城市环境质量、农业面源污染以及交通污染源等多个监控领域,为环境保护和污染治理提供有力支持。

一种面向生产调度规则挖掘的数据离散化方法

针对车间生产数据的特点及数据挖掘技术对离散处理的客观需求,建立一种基于动态聚类的连续值离散化方法,并利用决策系统的相容性原则建立目标函数。对基于密度的聚类算法进行改进,提出一种单维度多半径聚类算法。将该聚类算法应用于离散处理,阐述了基于动态聚类离散算法的整体过程。实验数据表明,该离散算法可以保持决策系统原有的相容度,具有速度快、内存占用率低和自动化程度高等优点,且具有良好的通用性,适用于生产数据的离散处理。

基于预处理的决策树在化学数据挖掘中的应用

化学数据挖掘可从海量数据中提取蕴含的知识,决策树方法是一种重要的挖掘工具。鉴于决策树在处理连续数据上的局限性,本研究提出先进行预处理,将连续属性离散化,通过特征选择删除其冗余量,以此为基础构建决策树。该方法可防止决策树模型“过细”,使之具有良好的预报性能。将此方法应用于两个化学样品分类实例,效果良好。与贝叶斯分析和单一的决策树方法相比,其预报正确率有显著提高,且表达形式直观明确,易于理解和分析,适用于化学分类知识模式的挖掘。

装备质量数据离散化方法

数据挖掘技术已经成为一种利用装备数据资源获取知识的重要手段,数据预处理是装备质量信息分析的重要环节。为解决数据类型不适应数据挖掘方法的问题,提出了一种装备质量数据离散化方法。对经典类别属性最大相互依赖算法的原理和流程进行了介绍,分析了存在的问题,提出了改进方法;引入了粗糙集理论和属性分辨率,限制了过度离散化;提出了属性重要性评价方法,减少了信息损失。对比实验结果表明,所提出的方法具有优越性,能提高数据离散化效果。以某型装备为例,将所提方法应用于关联规则挖掘之前的数据预处理,获得了与装备寿命周期内质量变化规律相关的知识,验证了该方法的有效性。

基于自然语言处理的高校课程思政文本挖掘及可视化分析

为了准确分析课程思政的研究内容和研究热点,收集了中国知网(CNKI)数据库中17059条文献数据作为样本进行总结分析,采用自然语言处理技术对文献主题进行统计,利用知识图谱和数据可视化对课程思政研究现状和未来发展趋势进行展示。课程思政这一概念提出的时间虽然不长,但研究成果产出量巨大,且呈现出快速增长的发展趋势,为高校课程思政未来的研究和探索提供了强有力的数据支持。

一种支持可视化数据挖掘的图像后处理方法

可视化数据挖掘是当前数据挖掘的研究重点之一,国际上近几年发展起来的几类可视化数据挖掘技术,主要有基于计算机图形学的技术.本文提出了一种支持可视化数据挖掘方法的计算机图像处理技术,利用一种类邻域平均方法(Resemble Neighborhood Averaging Method)对数据挖掘结果图像进行后处理,可帮助用户准确把握数据的主要特征,进而从数据中发现有用的模式.实验表明,该方法具有很强的直观性、便利性、有效性,为可视化数据挖掘提供了一个新途径.

知识发现中的数据离散化处理

主要讨论了基于粗集的数据挖掘的连续数据离散化处理过程.

服务于粗糙集信息处理的数据离散化技术

粗糙集理论是处理不完备、不确定信息的有效数学工具,是目前数据挖掘、知识工程应用中关键技术之一。粗糙集一般针对离散数据进行处理,实际应用中,数据库中大量存在连续或分散型数据,因此离散化步骤在粗糙集信息系统分析过程中具有重要意义。文章简介粗糙集相关基础知识,从不同角度对现有离散化方法进行了分类,介绍了典型的离散化方法,给出了后续研究思考。

基于粗集理论的数据离散化新算法

连续属性值的离散化一直是机器学习领域中殛待解决的关键问题之一 ,他对于提高后继学习算法的运行速度、降低算法的实际空间要求和时间消耗、提高学习结果的聚类能力等都具有极其重要的意义。本文首先分析了基于粗集模型的数据离散化方法的特点和基本思路 ,研究了候选断点重要性的衡量方式 ,在此基础上提出两种新的从候选集合中最终确定离散化断点的启发式算法。这两种算法考虑并体现了粗集理论的基本特点和优点 ,选择的断点都能够保证信息系统的分辨关系 ,并能够取得较理想的离散化结果。

基于改进χ2统计的数据离散化算法

在基于χ2统计独立性的离散化算法中,自由度与期望频数的选取直接影响χ2计算的准确性,从而影响离散化的性能.为此,提出了一种基于改进χ2统计的数据离散化算法,提高了基于统计独立性离散化算法的质量.首先,分析了χ2函数中自由度选取的不足,给出了自由度选取的修正方案;其次,根据数据类分布等特点,提出了期望频数的改进方案,克服了不同数据集赋予相同期望频数的缺陷,提高了χ2计算的准确性.实验结果表明,改进的方法显著提高了C4.5决策树与Naive贝叶斯分类器的学习精度.

数据挖掘库预处理技术在教学中的应用研究

阐述了数据挖掘预处理技术的原理,结合教学实践研究了预处理的各种方法与技术实现,探讨了空缺值、不一致数据的处理,以及属性删除与构造,聚类技术进行归约的方法。

沃尔什数据离散化方法及在油藏描述中的应用

在油藏描述中必须对具有时序特征的连续型测井数据进行数据离散化,以往的一些离散方法需要人为地规定划分维数,或者需要预先给定一个参数。针对此,提出了一种在沃尔什变换基础上的连续数据离散化方法。该方法不需要给定划分维数,将连续数据经过沃尔什低通滤波后划分成离散区间,再用整数和符号标示。在应用沃尔什变换实现测井数据的地层分层及离散化数据中,分层的精细度可以通过调整截止序率以及截止值来控制。实际应用结果证实,该方法简单,易于实现,计算效率高。

基于统计相关系数的数据离散化方法

很多数据挖掘方法只能处理离散值的属性,因此,连续属性必须进行离散化。提出一种统计相关系数的数据离散化方法,基于统计相关理论有效地捕获了类属性间的相互依赖,选取最佳断点。此外,将变精度粗糙集(VPRS)模型纳入离散化中,有效地控制数据的信息丢失。将所提方法在乳腺癌症诊断以及其他领域数据上进行了应用,实验结果表明,该方法显著地提高了See5决策树的分类学习精度。

基于任务分解模型的离散数据格网化并行优化

针对国产应用的性能提升,基于CPU\GPU多核技术,提出软硬件结合的并行优化策略及反距离权重(IDW)插值的并行优化算法(PIDW),优化离散数据网格化处理。针对并行处理中的线程任务分解共性难点,设计基于开放多核处理(OpenMP)与统一计算设备架构(CUDA)的线程任务分解模型(TTDM),具有线程访问安全(不越界)、计算无冗余(无重复)、计算完整(无遗漏)等特点,具有较好的计算均衡性(负载均衡)。通过国产及商用多环境实验,加速比分别是3.6和5.9,验证了PIDW算法的性能提升能力。

基于数据挖掘技术的企业信息化建设

数据挖掘是一种新的信息处理技术，其主要特点是对企业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，提取辅助经营决策的关键性数据，在企业信息化建设中应用前景广阔。