海量异构科技文献信息资源的非结构化存储研究

在大数据环境下,科技文献信息资源具有分散、异构、动态、海量等特性,为解决传统关系型数据库存储这些数据时面临的不易扩展、性能较低等难题,进行了以非关系型数据库为核心的异构科技文献信息资源存储研究。形式化描述科技文献资源的结构;在此基础上研究非关系型数据库存储异构文献信息资源的可行性数据模式;结合科技文献信息资源的特点设计面向异构资源的No SQL(Not Only SQL)适配器来融合现有存量信息资源。实验验证了No SQL适配器的高效性以及非关系型数据库存储科技文献信息资源时的可行性、高性能以及高扩展性。

分布式检索在异构科技信息资源中的应用及优化

为解决使用传统集中式检索处理海量异构科技信息资源时存在单点故障、性能低、不易扩展等问题,提出一种在异构科技资源下应用的分布式高性能检索系统(DHRS),并对其核心技术进行重点研究和分析。针对检索结果资源访问开销大的问题,给出基于访问代价的评估算法。并结合实际应用场景对算法进行优化,优化后请求数减少了80%,实验环境下的性能平均提高了68%。同时通过真实数据集的测试,验证了DHRS检索海量科技资源的可行性,能够适用于对检索和扩展性能要求较高的场景。