利用图模型存储算法依赖关系的方法

在大数据时代,用于数据处理的算法数量呈爆发式增长,当前对大量算法的管理方法通常是对算法分类、打标签或以任务为单位存储由算法构成的流程,对任务集合中的算法间拓扑关系未能给予足够的重视.随着领域知识与任务流程的积累,算法间的依赖关系愈发重要.本文基于巨量算法管理的需求,提出了拆分有分支依赖关系为无分支依赖关系的管理方法,通过免索引邻接图数据库的指针搜寻拓扑关系,避免Join操作,在管理算法依赖关系时具有先天优势.另外为突出算法模块复用能力,提出“连接点”的概念,在图模型中用节点表示依赖关系边,区分算法模块在不同任务流程的位置,使被多个任务复用的算法模块在图中只需用一个算法模块节点表示.最后,基于具体项目验证了本文提出的算法关系管理方法,证明本文算法关系管理方法在算法数量成规模且算法模块高复用的场景下具有明显优势.