一种基于大数据技术的舆情监控系统

随着互联网的普及,社交网络已经成为人们生活中至关重要的一部分。这种新媒体时代的潮流促进了信息的流动和传播,同时也带来了海量的媒体内容与用户数据。社交媒体分析是舆情监控系统的主要内容,舆情数据的分析、处理与监控是新媒体时代带来的新的技术问题之一。近年来的大数据处理计算技术提供了处理海量数据的成熟解决方案。大数据处理平台有很多种,其中Hadoop具有成熟的社区,其架构稳定且易于使用。在文本分类方面,LDA统计模型方法给文本分类问题带来了新的处理办法。因此,文章提出了一个基于成熟开源架构的舆情监控系统,系统基于Hadoop平台,以Nutch作为爬虫,使用Solr实现核心的索引查找功能。整个平台在海量数据处理方面展现了较高的分析处理效率,在应对海量数据带来的问题的同时还提供了智能的分析与统计功能。

一个基于Java的DSM系统──JAD

介绍一种在 Java虚拟机上开发的 ,适于多种分布式环境的分布式共享存储 ( DSM)系统 .该系统可以隐蔽计算机体系结构的差异性 。

改进加密算法实现的性能

介绍了在实现加密算法时改进性能的方法 。

用于图像内容认证的半脆弱水印新算法

为了提升数字图像内容认证的准确性,提出一种新颖的半脆弱水印算法.引入相关块组的概念,并将相关块组进一步划分为子块组,轮流使用每个子块组内特定块生成水印,最终将水印嵌入到子块组内的其他块中.算法根据图像内容自适应选取量化步长,结合Slant变换高能量集中性及直流量化原理完成水印嵌入过程,认证过程中使用新的噪声过滤策略并通过投票方式确定篡改发生位置.实验表明:该算法能有效地提高含水印图像的质量及防止水印信息的未授权提取,在应对裁剪、替换等常规处理时定位精度提升明显.算法抵抗偶然攻击的能力强,新噪声策略有效地改善了针对篡改区域的识别效果.

基于用户兴趣集的在线垃圾邮件快速识别新方法

为在不显著降低垃圾邮件识别精度的同时有效提高邮件识别速度,提出了一种在线垃圾邮件快速识别新方法.首先引入用户正、负兴趣集的概念,结合用户兴趣集及支持向量机对邮件进行分类;然后根据主动学习理论,结合训练集样本密度及改进角度差异方法寻找分类最不确定的样本并推荐给用户进行类别标注;最后将标注后样本及分类最确定性样本加入训练集,并使用样本价值评价新函数淘汰冗余样本以生成新的训练集.实验表明,本文方法的用户标注负担小,垃圾邮件识别精度高、速度快,具有较高的在线应用价值.

基于广义朴素贝叶斯分类器的空值处理方法

给出了基于广义朴素贝叶斯分类器的空值处理方法,该方法利用广义朴素贝叶斯分类器的较强预测能力及灵活的效率选择方式,有效地解决了数据中的空值处理问题.利用模拟数据进行了对比实验,结果显示,其预测准确性明显提高.

使用二级索引的中文分词词典

中文分词是中文信息处理的基础,在诸如搜索引擎,自动翻译等多个领域都有着非常重要的地位。中文分词词典是中文机械式分词算法的基础,它将告诉算法什么是词,由于在算法执行过程中需要反复利用分词词典的内容进行字符串匹配,所以中文分词词典的存储结构从很大程度上决定将采用什么匹配算法以及匹配算法的好坏。在研究现存分词词典及匹配算法的基础上,吸取前人的经验经过改进,为词典加上了多级索引,并由此提出了一种新的中文分词词典存储机制——基于二级索引的中文分词词典,并在该词典的基础上提出了基于正向匹配的改进型匹配算法,大大降低了匹配过程的时间复杂度。从而提高了整个中文分词算法的分词速度。

基于社交网络的小说聚类

目前小说的受众群体越来越大,其中蕴含着巨大的商业价值。文本聚类的研究领域也在突飞猛进,但对于其中的现实领域:小说聚类,相关的研究却较少。本文研究了一种基于小说中的社交网络对其进行聚类的方法。该方法首先提取出小说中的社交网络,在得到网络的特征向量后,基于其进行聚类,并将结果与依据小说作者的划分进行对比。实验结果表明,该方法可以在一定程度上反映出不同作者写作风格的不同,效果可以接受,并拥有进一步提升的可能。

基于公共词集对长篇小说相似度的研究

传统的文本相似度计算基于向量空间模型(VSM),文本映射成独立的、互不关联的词构成的向量。由于长篇小说具有比普通文本更为复杂的构成元素,以及更加紧密的上下文联系,传统算法忽略词项的上下文联系,并且产生高维向量,因此算法的效率和精度不理想。为此,本文基于公共词集对长篇小说进行相似度计算,并对公共词集进行上下文约束检查,得到关联比较紧密的词集,作为小说的主要特征。实验结果表明,对于某些小说类型,效果有很大的提升。

曲面转换中的一个定理

Ｃｏｏｎｓ类曲面、Ｂ样条曲面和ＮＵＲＢＳ曲面是ＣＡＧＤ中主要的曲面表达形式。Ｃｏｏｎｓ构造曲面的思想对ＣＡＧＤ的发展起了巨大的推动作用。Ｂ样条曲线、曲面具有许多优点而且已成为ＣＡＧＤ中使用最为广泛的方法之一。文中应用Ｂ样条的递推公式，讨论了Ｃｏｏｎｓ类曲面向ＮＵＲＢＳ曲面转换过程中用到的一个重要定理。给出了这个定理的一种构造性证明。定理的证明过程同时也给出了转换方法。这个定理在Ｃｏｏｎｓ类曲面向ＮＵＲＢＳ曲面的转换过程中起到了重要的桥梁作用。