高效的一次性弱间隙序列模式挖掘算法

间隙约束序列模式挖掘作为序列模式挖掘的一个重要分支,可以发现模式在序列中的重复出现。然而,当前研究主要针对单项序列进行挖掘,并且序列中每一项都被认为具有相同意义。为解决该问题,提出一次性弱间隙序列模式挖掘(OWP)算法,该算法由准备阶段、支持度计算和候选模式生成3个步骤组成。在准备阶段,建立倒排索引,并对不频繁的项进行剪枝;在支持度计算方面,利用倒排索引结构记录出现位置,避免对原始数据集的重复扫描;在候选模式生成方面,采用模式连接策略,减少冗余候选模式的生成。在项集序列和单项序列共6个真实数据集上的实验结果表明,OWP算法相比OWP-p、Ows-OWP和OWP-e算法在运行时间上分别提升了2.653、1.348、3.592倍,在内存消耗上分别减少了3.51%、0.07%、5%,说明OWP算法可以更高效地挖掘出用户感兴趣的模式。此外,OWP算法在以D1数据集为基础的6倍大小的数据集上的运行时间比D1数据集增长了3.763倍,内存消耗增长了2.310倍,运行时间和内存消耗的增加倍数均小于数据集大小的增加倍数,说明OWP算法具有良好的可扩展性。

一次性条件下top-k高平均效用序列模式挖掘算法

针对传统序列模式挖掘(SPM)不考虑模式重复性且忽略各项的效用(单价或利润)与模式长度对用户兴趣度影响的问题,提出一次性条件下top-k高平均效用序列模式挖掘(TOUP)算法。TOUP算法主要包括两个核心步骤:平均效用计算和候选模式生成。首先,提出基于各项出现位置与项重复关系数组的CSP(Calculation Support of Pattern)算法计算模式支持度,从而实现模式平均效用的快速计算;其次,采用项集扩展和序列扩展生成候选模式,并提出了最大平均效用上界,基于该上界实现对候选模式的有效剪枝。在5个真实数据集和1个合成数据集上的实验结果表明,相较于TOUP-dfs和HAOP-ms算法,TOUP算法的候选模式数分别降低了38.5%~99.8%和0.9%~77.6%;运行时间分别降低了33.6%~97.1%和57.9%~97.2%。TOUP的算法性能更优,能更高效地挖掘用户感兴趣的模式。

一次性条件下的三支序列模式挖掘

一次性条件下的序列模式挖掘旨在从序列数据中挖掘出带有间隙约束的重复序列模式。然而,现有方法不考虑用户的兴趣度,将序列中的每个字符视作同等重要,导致许多用户不感兴趣的冗余模式被发现。为了解决这个问题,将三支决策思想引入序列模式挖掘领域,提出了一次性条件下的三支序列模式挖掘问题及其求解算法。在支持度计算方面,该算法基于深度优先搜索和回溯的策略,结合三支模式的特点以高效求解模式支持度。在候选模式生成方面,该算法采用模式连接策略缩减候选模式数量。此外,该算法还采用了并行化方案充分利用现代处理器的多核性能,提高算法的挖掘效率。最后,实验结果验证了研究一次性条件下的三支序列模式挖掘问题的意义和算法的高效性。

一种对比序列模式挖掘算法

对比序列模式挖掘作为序列模式挖掘领域的一个重要分支,可以有效识别不同类别间差异显著的模式,并被广泛应用在序列分类、特征提取等场景中.但传统的对比序列模式挖掘仅考虑了模式在序列中是否出现,忽略了模式在序列中的重复性;并且需要用户预先设置间隙约束值,导致算法的灵活性较差.为了解决上述问题,本文提出一次性条件下自适应对比序列模式挖掘算法OSCP,该算法采用逆向填充策略计算模式支持度,不仅关注了模式在序列中的具体出现情况,还提高了算法的计算效率;同时采用模式连接策略以减少候选模式数量.此外,本文采用自适应间隙,无需用户预先设置间隙约束,可基于序列的实际特征计算模式的支持度.实验结果表明,OSCP算法的挖掘性能和分类效果均优于其他对比算法.

一种共生保序模式挖掘算法

作为数据挖掘的一个新兴方向,研究人员在时间序列领域提出了用于挖掘相对次序相同的保序模式.尽管现有的保序模式挖掘算法可以有效地找出全部的频繁模式,但在当用户仅对某个特定的模式及其为前缀的模式较为感兴趣时,现有的挖掘算法效率过于低下.为了解决上述问题,本文提出了一种共生保序模式挖掘算法,用于挖掘出以给定模式为前缀的共生保序模式.该算法包括融合准备和计算超模式的支持度两个主要部分,其中,融合准备分为4个步骤:获取模式p的后缀保序模式,计算后缀保序模式的出现,前向验证模式p的出现,后向查找所有可融合模式的出现;在计算超模式的支持度时,提出一种剪枝策略,使得候选模式的个数进一步减少.在真实数据集上,实验结果验证了本文算法的高效性.

近似保序序列模式挖掘

保序序列模式挖掘旨在时间序列中挖掘保序模式完全相同(最精确)的子序列,其可以用来进行疾病发展趋势预测.但只挖掘最精确的保序模式往往会遗漏一些重要信息.有些保序模式虽然不完全相同,但它们之间仍具有很高的相似性.有鉴于此,本文提出了一种近似保序序列模式挖掘算法(Approximate Order Preserving Pattern Mining:AOPM),该算法能根据输入参数值的不同而挖掘出近似程度不同的保序模式.在候选模式生成方面,AOPM算法采用了基于前后缀拼接的模式融合策略,减少了无意义候选模式的数量.在模式支持度计算方面,AOPM算法首选获取候选模式的全部候选序列,然后在进行模式匹配.本文通过在真实数据集上进行对比实验,验证了AOPM算法的完备性和高效性.

基于双层链的个人隐私数据保护和授权框架

针对隐私泄露事件频繁发生且当前的保护方法无法避免恶意收集和恶意攻击的问题,提出了基于双层链的个人隐私数据保护和授权框架。该框架由验证链和授权链构成,通过跨链技术进行通信,不需要用户向服务商提供隐私数据就能获得服务。验证层负责验证数据并生成数据证明,授权层负责用户的授权,避免服务商得到用户隐私数据。此外,提出了基于顺序选举的RAFT改进算法和代理受益证明算法,分别应用在验证层和授权层,从而提高了共识速度和数据处理速度,解决了在没有激励机制的情况下如何维护公有链的问题。实验结果表明,所提框架保证了数据的真实性、安全性和可扩展性,平衡了隐私性和可追溯性。

一种求解MPMGOOC问题的启发式算法

具有间隙约束和一次性条件的最大模式匹配(Maximum Pattern Matching with Gaps and One-Off Condition,MPMGOOC)是一种具有通配符长度约束的模式匹配问题,其任务是寻找彼此互不相关的最多出现.文中基于一种新的非线性数据结构——网树,提出了一种解决MPMGOOC问题的启发式算法.与树结构不同之处在于,除根结点外,网树中任何结点可以多于1个双亲结点.文中给出了网树的定义及其相关的概念和性质.基于这些概念和性质,提出了一种选择较优出现(Selecting Better Occurrence,SBO)的启发式算法.该算法在搜索一个出现的循环中,采用了贪婪搜索双亲策略(Strategy of Greedy-Search Parent,SGSP)和最右双亲策略(Strategy of RightMostParent,SRMP)寻找相同叶子的两个出现并选择其中较好的出现作为SBO算法的结果.SGSP策略的核心思想是每一步都寻找当前结点的一个近似最优双亲(Approximately Optimimal Parent,AOP);SRMP策略的核心思想是每一步都寻找当前结点的最右双亲结点.实验结果表明,在多数情况下SBO算法可以获得更好的解且解的质量较其它算法有显著的提高.文中不但提供了一个解决MPMGOOC问题的启发式算法,更重要的是对于求解其它复杂问题具有一定的参考价值.

周期性一般间隙约束的序列模式挖掘

序列模式挖掘是从给定序列中发现出现频率高的模式的一种方法,目前已在诸多领域被广泛应用.假定子模式p_i和p_j(i<j)可以分别匹配事件A和事件B,传统的序列模式挖掘方法能够对事件B在事件A之后的序列进行检测,而不能对事件B发生在事件A之前的序列进行识别.为了解决此问题,文中提出了周期性一般间隙约束的序列模式挖掘问题,该问题具有如下5个特点:间隙约束的最小值可为负值的一般间隙约束;每个间隙约束都相同的周期性模式;在支持数统计方面无特殊约束,即允许序列中事件多次使用;该挖掘问题满足Apriori性质;挖掘支持率大于给定的频繁度阈值的频繁模式.为了进行有效地挖掘,采用深度优先的方式建立模式树.文中采用模式匹配技术,在一遍扫描序列数据库的情况下,建立其所有超模式的不完整网树森林(不完整网树是网树的最后一层结点,可以存储在一个数组中,可以有效地表示一个模式在一个序列中的支持数),并对这些超模式的支持率进行有效地计算,进而挖掘出所有频繁模式,有效地提高了序列模式挖掘速度.实验结果验证了文中算法的可行性和有效性.

子网树求解一般间隙和长度约束严格模式匹配

具有通配符间隙约束的模式匹配问题在信息检索、计算生物学和序列模式挖掘等研究领域有重要的应用.提出了更一般性的模式匹配问题,即一般间隙和长度约束的严格模式匹配(strict pattern matching with general gaps and length constraints,简称SPANGLO).该问题具有如下4个特点:它是一种严格的精确模式匹配;允许序列中任意位置的字符被多次使用;模式串中可以包含多个一般间隙;对出现的总体长度进行了约束.最坏情况下,一个SPANGLO实例将转换出指数个非负间隙的严格模式匹配实例.为了有效地解决该问题,提出了子网树及其相关概念和性质.在此基础上提出了求解算法SubnettreeSpanglo(SETS),并给出算法的正确性和完备性证明,同时指出该算法的空间复杂度与时间复杂度分别为O(m MaxLen W)和O(MaxLen W m2 n),其中,m,n,MaxLen和W分别是模式和序列的长度、出现的最大长度约束和模式的最大间距.实验结果既验证了SPANGLO问题转换方法的正确性,又验证了该算法的正确性和有效性.

基于优化算法的核函数参数选择的研究

尽管支持向量机在许多问题上有着良好的表现,但是其参数和核函数的参数选取问题依然亟待解决。以往多采用优化算法进行参数选取,但也需要预先经验地获得核函数的参数的选取范围。在介绍结构风险最小化原则及支持向量机算法的基础上,给出了基于优化算法的支持向量机参数选取的一般性算法。由于径向基核函数(RBF)的参数取值大小的不同,可导致其性质和作用不同,为此提出了一种分段函数对RBF的参数进行选择的方法,该方法使得RBF的参数取大值和小值的概率均等。由此可不必预先经验地指定RBF的参数的选取范围,依然可以优化获得最优的参数。通过对头部组织电导率估算问题进行对比研究,取得了良好的效果,验证了该方法的有效性。

属性权重聚类算法的研究

一个实际的聚类问题中,各维属性的贡献通常是不一样的,具有主次之分,但传统的聚类算法将所有属性赋予相同的权重.如果能够将其重要属性赋予较大属性权重,则可以提高聚类效果.采用改进粒子群优化算法为每一维属性求取相应权重,并将得到的权重应用到迭代自组织数据分析技术算法中,构建一种基于改进粒子群属性权重的迭代自组织数据分析技术算法.试验结果表明,合理的权重改善了聚类算法的性能,提高了聚类质量.

一种新的自适应数字滤波方法的研究

自适应数字滤波中理想信号通常难于确定。针对这一问题,根据均方误差和高频信号的特征,将二者结合起来考虑,提出一种新的自适应数字滤波的方法。应用该方法在252组真实实验数据中进行相应的自适应滤波测试,并对滤波结果分别采用BP神经网络和支持向量机两种分类方法进行分类测试。实验结果表明,新方法具备良好的滤波效果。

无重叠条件严格模式匹配的高效求解算法

无重叠条件序列模式挖掘是一种间隙约束序列模式挖掘方法,与同类挖掘方法相比,该方法更容易发现有价值的频繁模式,其核心问题是计算给定模式在序列中的支持度或出现数,进而判定该模式的频繁性.而计算模式支持度问题实质是无重叠条件模式匹配.当前研究采用迭代搜索无重叠出现,然后剪枝无用结点的方式计算模式的支持度,其计算时间复杂度为O(m×m×n×W),其中,m,n和W分别为模式长度、序列长度及最大间隙.为了进一步提高无重叠条件模式匹配计算速度,从而有效地降低无重叠条件序列模式挖掘时间,提出了一种高效的算法,该算法将模式匹配问题转换为一棵网树,然后从网树的最小树根结点出发,采用回溯策略迭代搜索最左孩子方式计算无重叠最小出现,在网树上剪枝该出现后,无需进一步查找并剪枝无效结点即可实现问题的求解.理论证明了该算法的完备性,并将该算法的时间复杂度降低为O(m×n×W).在此基础上,继续指明该问题还存在另外3种相似的求解策略,分别是从最左叶子出发迭代查找最左双亲方式、从最右树根出发迭代查找最右孩子方式和从最右叶子出发迭代查找最右双亲方式.实验结果验证了该算法的性能,特别是在序列模式挖掘中,应用该方法的挖掘算法可以降低挖掘时间.

一般间隙及一次性条件的严格模式匹配

具有间隙约束的模式匹配是序列模式挖掘的关键问题之一.一次性条件约束是要求序列中每个位置的字符最多只能使用一次,在序列模式挖掘中采用一次性条件约束更加合理.但是目前,间隙约束多为非负间隙,非负间隙对字符串中每个字符的出现顺序具有严格的约束,一定程度上限定了匹配的灵活性.为此,提出了一般间隙及一次性条件的严格模式匹配问题;之后,理论证明了该问题的计算复杂性为NP-Hard问题.为了对该问题进行有效求解,在网树结构上构建了动态更新结点信息的启发式求解算法(dynamically changing node property,简称DCNP).该算法动态地更新各个结点的树根路径数、叶子路径数和树根-叶子路径数等,进而每次可以获得一个较优的出现;之后,迭代这一过程.为了有效地提高DCNP算法速度,避免动态更新大量的结点信息,提出了Checking机制,使得DCNP算法仅在可能产生内部重复出现的时候才进行动态更新.理论分析了DCNP算法的时间复杂度和空间复杂度.大量实验结果验证了DCNP算法具有良好的求解性能.

网树求解有向无环图中具有长度约束的简单路径和最长路径问题

具有长度约束的简单路径(Simple Paths with Length Constraint,SPLC)问题是指求解图中任意两点间路径长度为m的简单路径数,是k-path问题的一种特殊情况.该文基于网树数据结构提出了在有向无环图中求解SPLC问题的算法(Nettree for SPLC in Directed Acyclic Graphs,NSPLCDAG).网树是一种多树根多双亲的数据结构.NSPLCDAG算法将该问题转化为一棵网树后,利用树根路径数这一性质对其进行求解.对NSPLCDAG算法进行改造,可以求解有向无环图中最长路径问题并形成网树求解最长路径算法(Nettree for the Longest Path inDAGs,NLPDAG),NLPDAG算法可找到所有最长路径,对NLPDAG算法做进一步改进形成改进的NLPDAG算法,改进的NLPDAG算法可在线性时间复杂度内给出有向无环图中的一条最长路径.实验结果验证了NSPLCDAG和改进的NLPDAG算法的正确性与有效性.

网树求解有向无环图中具有长度约束的最大不相交路径

对有向无环图中具有长度约束的最大不相交路径问题进行研究,该问题是求解图中两点间路径长度为k的最大不相交路径。为了对该问题进行求解,提出了贪婪搜索算法(GP,greedy path),该算法先将一个有向无环图转化为一棵深度为k+1的网树,然后计算每个网树节点的树根叶子路径数,并以此计算图中每个顶点的总路径数,之后从网树的第k+1层节点出发,在当前节点的双亲节点中选择未被使用且总路径数最小的双亲,以此形成一条优化的不相交路径,最后迭代这一过程,直到不再有新的不相交路径为止。GP算法的时间和空间复杂度分别为O(wkn(p+q))和O(kn(p+q)+n2)。为了测试GP算法的近似性,又建立了一种能够生成人工数据的算法,该算法能够准确地控制有向无环图中最大不相交路径的数量。通过该算法生成了大量测试用数据,实验结果表明GP算法较其他对比性算法具有良好的近似性且实际求解时间较短,验证了该方法的有效性和可行性。

改进的BPSO的特征基因选择方法及其在结肠癌检测中的应用研究

为了避免二进制粒子群算法(BPSO)容易陷入局部极值的缺陷,提出了一种改进的二进制粒子群算法(IBP-SO)。该算法在运行过程中引入遗传算法的交叉和变异策略,以便增加种群的多样性,避免粒子的早熟收敛;同时采用免疫算法的疫苗机制,通过合理的疫苗提取、疫苗接种、疫苗选择有效地抑制种群退化的可能。首先采用Wilcoxon秩和检验指标来获得对分类起较大作用的预选特征子集,然后利用IBPSO算法对基因的特征子集和支持向量机(SVM)的参数进行寻优,最后采用IBPSO算法对结肠癌检测问题进行了研究。实验结果表明,该方法可以在较少的特征基因下取得较高精度,且所选的特征基因与结肠癌密切相关,进一步验证了方法的可行性和有效性。

基于主成份分析和支持向量机的MRI图像多目标分割

在MRI图像中,颅内各组织的边界极其复杂且不规则,这对传统的分割算法提出严峻的挑战。主成份分析(PCA)可达到降维和消除冗余信息的目的,为使支持向量机(SVM)准备的样本空间更为紧凑、合理。本研究采用PCA将图像的57维特征向量处理后,研究多分类SVM对MRI图像进行多目标分割,成功提取颅内各组织不规则边界。理论和实验表明,基于PCA和SVM相结合的分割性能优于仅采用SVM的分割性能。

开放式考试系统的研究与实现

作者对开放式考试评价模式进行了深入的研究与大量的实践,设计了一个开放式的考试系统.文章首先给出了开放式考试系统的组成,并对各组成模块进行了介绍,然后对开放式考试系统的核心内容—开放模式自动评分的实现进行了论述,最后对开放式考试系统的优点进行了总结.