基于隐马尔可夫模型的多真值发现算法

数据量的增长加大了信息获取的难度,如何从大量数据中准确获得有效信息是当前的研究热点。借鉴隐马尔可夫模型的状态转移概率,构建了基于图模型的多真值发现算法GraphTD,借助各数据源中描述的可信度转移矩阵,计算出数据值为真的概率的收敛值。同时,提出改进的初始真值的确定算法CVote,可有效提高GraphTD的正确率,避免了投票法在多真值发现中存在的诸多不足。在书籍作者数据集上的实验结果表明,基于图模型的GraphTD真值发现算法能够提高真值识别的准确率,CVote算法通过对初始真值选择的改良,可以有效提高真值发现算法的正确率。

基于EM算法的多真值发现问题研究

大量的web应用需要融合来自不同数据源的真实信息,然而关于同一实体的同一属性,不同的数据源可能会提供多个不同甚至彼此冲突的数据.如何判断数据源的可靠性和甄别事实的真假,即真值发现问题,日益获得关注.针对web数据集成中的多真值发现问题,提出了一种基于贝叶斯分析和最大似然估计的迭代计算方法,将真值发现的每一步与数据源可靠性评估紧密结合.首先,根据提供更多真实信息的数据源具有更高可靠度和由可靠的数据源提供的事实数据更可能为真值的基本原则构建似然函数,将事实真值作为模型的隐变量,并将正确性和错误性两方面的数据源质量指标作为模型参数.然后,迭代执行E步(计算事实为真的概率)和M步(评估数据源的质量),直至参数收敛.最后,真实数据集上的实验结果表明我们的方法提高了真值发现的准确率,有效解决了数据融合过程中的多值冲突问题.