FTP搜索引擎索引技术的研究

随着FTP网络资源分布结构的复杂化,传统的FTP搜索引擎已不能满足用户的需求,从FTP搜索引擎的核心技术索引部分出发进行讨论,提出一种改进的索引算法,该算法主要解决了传统双字母倒排索引算法对中文处理不当和检索速度较慢等问题.

一种基于DGKAD模型的FTP搜索引擎索引算法

为解决FTP资源快速定位问题,提出了基于双字母倒排索引和引入地理位置信息的Kademlia模型(DGKAD)。在Kademlia(KAD)网络中加入了地理位置信息,弥补了KAD网络的层叠网逻辑拓扑和物理拓扑不匹配的问题,提高了网络通信效率;同时,鉴于FTP搜索引擎的检索对象是文件名,使用双字母倒排索引可以避免分词,提高了检索精确率。模拟实验表明,与基于中文分词的标准KAD(CKAD)相比,该算法的资源定位时间减少了约50%,检索查全率提高了约30%。

分布式FTP并行搜索引擎的设计与实现

构建了搜索引擎系统结构,实现了在FTP文件服务器上所需资料的快速查找。设计和实现了搜索引擎的核心部分即数据搜索器、索引器、检索器、引擎控制台以及Web搜索界面五个模块。数据搜索器的分布并行多线程机制,实现了多台PC分布搜索服务策略;同时每台PC设置多线程搜索,多次尝试和断点续搜功能,保证了在网络不稳定的情况下也能够完成搜索、建库任务。索引器和检索器的双字母倒排索引机制对提高建库、索引和查找速度,效果非常明显。