基于Solr的分布式全文检索系统的研究与实现

随着当前网络信息资源的急剧膨胀,传统的检索系统已经难以在处理海量数据时提供高效的、可靠的服务。针对该情况,设计并实现一个基于Solr的分布式全文检索系统。系统通过网络爬虫抓取网页信息,将抓取的信息储存为文本文件;然后利用Solr索引处理模块,在多台计算机节点上并行创建索引,有效地提高系统建立索引的速度;系统通过Zoo-keeper管理集群,将搜索模块设计为分布式,有效地提高检索性能;最后设计了友好的用户界面。目前,系统可以在百万数据量的环境下稳定运行,具有较强的实用价值。

基于MongoDB的信息集成系统的设计与实现

数据量急剧增长的同时,数据的存放也愈发分散,传统系统无法完成多源异构数据的集中存储与处理。针对该情况,文中设计并实现了一个基于MongoDB的多源信息集成系统。该系统通过数据集成将存放在不同地点的数据进行数据采集与转化,利用MongoDB集群分布式存储海量数据并提供统一检索,实现了数据的共享。最后,对系统进行了索引优化与性能实验。实践表明,系统具有灵活度高,扩展性好,容错性强等特点,具有较强的实用价值。

基于MapReduce的网络舆情分析系统的设计与实现

设计并实现了一个基于MapReduce的网络舆情分析系统。系统采用HDFS和HBase双存储机制存储数据。通过实验分析与效果比对,选用MMSeg4j为系统进行中文分词。改进了Canopy-Kmeans算法实现文本自动聚类,提高了系统的聚类准确度及效率。目前,该系统已应用于某部队舆情分析系统中,能够实时发现热点话题、准确把握舆情趋势,为应对舆论危机、制定舆论政策提供了科学系统的信息支持。

数据增广求解贝叶斯Logistic回归模型的方法研究

贝叶斯Logistic回归模型是机器学习中一类被广泛应用的经典模型,然而由于其先验和似然间的非共轭性,Logistic回归模型的贝叶斯推理成为机器学习中的一个重要问题。数据增广方法是一种解决非共轭问题非常有效的方法,该方法通过引入增广变量来发掘模型中的隐藏结构,再通过采样的方法得到模型推理结果。本篇文章实现了两种不同的数据增广算法并通过在多个现实生活数据集上进行试验来对比算法的优越性。

基于邮箱活跃度的邮件社区划分研究

为深入挖掘互联网邮件通联关系,提出了一种基于邮箱活跃度的邮件社区划分算法(MAS),并研究了邮件社区的性质与特征。算法采用基于邮箱通联活跃频度的余弦相似度评估邮箱之间通联关系的相似性,并通过层次聚类的方法指导邮件社区聚类,然后对社区中心进行动态调整以完成划分。在有效模拟数据集上的实验表明,该算法有效、合理,可以应用于实际的挖掘应用。

数据增广求解贝叶斯Logistic回归模型的方法研究

贝叶斯Logistic回归模型是机器学习中一类被广泛应用的经典模型,然而由于其先验和似然间的非共轭性,Logistic回归模型的贝叶斯推理成为机器学习中的一个重要问题。数据增广方法是一种解决非共轭问题非常有效的方法,该方法通过引入增广变量来发掘模型中的隐藏结构,再通过采样的方法得到模型推理结果。本篇文章实现了两种不同的数据增广算法并通过在多个现实生活数据集上进行试验来对比算法的优越性。

基于图形数据结构的复杂对象建模设计

随着数据的爆炸式增长,给用户来带来越来越多的信息挖掘资源的同时,也给对象信息的查询带来了困扰。对于复杂的对象,往往拥有着庞大的子表,复杂对象信息的查询效率面临着相当大的挑战。针对该情况,本文设计了一种基于图形数据存储系统的规范约束,用来对复杂对象进行建模,用以增强复杂对象模型的表述能力;同时,在此基础上结合高效图论算法,避免了关系数据库中庞大的表连接过程,使复杂对象的信息查询效率得到了极大的提高。

基于改进模糊集聚类算法的运维态势模型

分析了现有运维系统中态势感知模型算法的不足,给出了算法改进的目标和方向,运用决策理论,将模糊集聚类算法进行改进,提出了改进模糊集聚类算法,并结合态势感知模型中部分经典理论,建立基于改进模糊集聚类算法的态势感知算法模型。

社交网络中个体价值分析

社交网络中个体价值分析,就是利用网络爬虫抓取社交网络中数据,对数据过滤分析,抽象成图结构,发现排名最高的节点(个体)。本文基于Page Rank算法模型,应用"黄金分割线"方法和"二八定律"对其进行改进,并用在社交网络中,定义以人为核心的个体价值,这样Page Rank模型就有了新的应用领域,同时也有了一个新的名字"People Rank"。本文将复杂的社交网络抽象成一种图结构,图中节点代表用户,图中边的链入链出代表了用户之间的"粉丝"和"关注"关系。利用"People Rank"模型,构建矩阵,对矩阵进行迭代计算,最后得到一个收敛的结果,根据结果的大小确定在社交网络中个体的重要性。

基于Rhino引擎的低侵入式JavaScript内置对象扩展方法

为了获取由JavaScript脚本生成的网页信息,更好地获取网页深层信息,提出基于低侵入式的Rhino解析引擎改进方法。通过对Rhino引擎解析JavaScript脚本过程进行深入研究分析,得出扩展Rhino引擎的关键环节。在此基础上提出低侵入式的设计方法,对Rhino引擎进行低耦合的扩展改进,从而完善Rhino引擎对客户端JavaScript脚本的解析。通过使用低侵入式的扩展方法,将Rhino引擎的扩展和使用完全分离,使开发人员不用了解Rhino引擎的实现细节,简化扩展开发。设计实验验证了Rhino引擎改进效果。