基于CAPTCHA和Winnow算法的垃圾短信过滤研究

为识别并过滤掉日益增多的垃圾短信,提出了基于全自动人机识别系统(CAPTCHA)和Winnow算法的过滤方法。在CAPTCHA方法中,根据用户能否正确辨认图片,人类和计算机能被辨别,该方法能有效地过滤计算机发送的组垃圾短信。改进的Winnow过滤器可以直接处理原始文本,节省了中文分词时间,而且利用了复合分类思想,提高了分类精度。实验结果表明,CAPTCHA和改进的Winnow算法相结合能较准确地过滤掉垃圾短信。

基于Winnow算法的垃圾邮件过滤器研究

实现了基本的Winnow算法、Balanced Winnow算法和带反馈学习功能的Winnow算法,并将其成功地应用于大规模垃圾邮件过滤,分别在SEWM2007和SEWM2008数据集上对上述三个算法进行了对比实验。实验结果表明,Winnow算法及其变体在分类效果和效率上都优于Logiistic算法。

基于改进的Winnow算法的剪接位点识别

DNA序列功能位点的识别是目前生物信息学领域的一个研究热点,剪接位点的识别就是其中之一.为了充分利用剪接位点的特征模式,从而更好地识别剪接位点,建立了一个基于改进Winnow算法的剪接位点识别系统.与其他方法相比较,改进的Winnow算法具有更好的鲁棒性,适用于高维特征空间,能够融合多种模式信息,即使在包含很多不相关特征的情况下,也能有很好的性能.同时在训练的时候,对特征集进行了剪枝,把一些对识别几乎没有贡献的特征去除,这样做对结果的影响可以忽略,而且提高了算法的效率.通过实验验证,改进的Winnow算法可以很好地识别剪接位点,其多个性能指标达到或超过目前国际上流行的剪接位点识别软件.

基于Winnow算法的反垃圾邮件引擎的设计与实现

电子邮件(e-mail)是人们日常生活中不可缺少的通信手段之一,但是垃圾邮件却给人们带来了很大的危害。文中主要是针对中文垃圾邮件,给出了一种基于Winnow算法的基于邮件内容的反垃圾邮件引擎原型的设计,对于未知邮件可以达到较好的区分效果。首先对邮件的内容进行解码、分词,采用信息增益选取特征项;然后采用Winnow算法构造分类器;最后采用部分邮件样本进行测试,测试结果可以进行反馈学习。最后的测试数据分析表明系统达到了比较好的效果。

Winnowing算法和动态规划算法在作业剽窃检测中的应用和比较

信息数字化后使抄袭、剽窃变得更加容易了,为了杜绝学生作业中出现的抄袭现象,急需高效的剽窃检测技术,帮助教师对学生作业的抄袭情况实施监督检测。本文分别用具有除噪和过滤功能的Winnowing算法和动态规划算法对学生作业进行剽窃检测。通过对文档间相似度的对比,实现了对作业剽窃程度的检测。实验结果表明,Winnowing算法更加有效、更加可靠。

Winnowing算法在作业剽窃检测中的应用

本文介绍了文档剽窃检测算法——Winnowing算法。该算法利用划分字符串,哈希每个字符串的值,最后通过一定的选取策略选出某些哈希值作为文档的指纹,通过对指纹的比较判断不同文本间的相似度,并判断文档之间是否存在剽窃现象。

基于纠错技术的量子密钥协商改进算法

结合了传统的协商算法和纠错码,提出了一种离散变量的量子密钥协商算法。该算法在相同的划分区间内对冗余部分进行进一步奇偶校验比较,从而提高了比特纠错能力,解决了传统协商算法效率低、纠错编码方法中冗余与纠错能力之间的矛盾,提高了量子密钥分发速率,适用于长距离量子密钥分发。

大数据挖掘分类算法在垃圾邮件过滤中的应用

大数据挖掘突破传统数据分析,在大数据领域占据重要位置。随着信息交流日益多样化,电子邮件成为日常交流重要工具之一,但是垃圾邮件的产生成为一大难题亟待解决。为给互联网用户提供一个绿色的信息交流环境,利用大数据挖掘中朴素贝叶斯算法、Winnow算法、Page Rank算法等对电子邮件中垃圾邮件进行过滤处理,从而彰显电子信息交流中数据的价值。

短信过滤系统设计分析

设计了一种手机终端上基于短信内容的垃圾短信过滤系统。系统采用了平衡Winnow算法,该算法具有分类速度快、性能好以及支持在线更新的优点,适用于手机终端资源有限、需要实时或者定期更新分类器的情况。通过一系列的实验分析,证明该方法的有效性,并给出了对该方法的全面评估。对于该算法将来在信息过滤领域的应用,提供了全面的分析依据。

基于上下文的真词错误检查及校对方法

英文文本中的真词错误即输入的错词是和原词相似的另一个有效词。该文主要研究了对该类错误的检测。通过从所要检测的单词的上下文中提取句法和语义两个方面的特征,运用文档频率和信息增益进行特征筛选,实现了对上下文特征的有效提取。最终把判断该单词使用的正确与否看作分类问题,使用Winnow分类算法进行训练和测试。通过5阶交叉验证,所收集的61组混淆集的平均正确率与召回率分别为96%,79.47%。

基于多种技术的混合式程序代码抄袭检测方法

在分析现有程序代码抄袭检测系统的特点及局限性的基础上,提出一种综合文本分析、结构度量和属性计数技术的混合式程序抄袭检测方法。应用文档指纹技术和Winnowing算法计算程序的文本相似度;将程序代码表示成动态控制结构树(Dynamic Control Structure tree,DCS),运用Winnowing算法计算DCS树相似度,从而得到结构相似度;收集并统计程序中的每个变量信息,应用变量相似度算法分析变量信息节点获取变量相似度;分别赋予文本相似度、结构相似度和变量相似度一个权值,计算得到总体的代码相似度。实验结果表明,所提出的方法能够有效检测出各种抄袭行为。针对不同的抄袭门槛值,使用该方法的检测结果准确度和查全率高于JPLAG系统。特别对于结构简单的程序组,此方法和JPLAG系统检测结果的平均准确度分别为82.5%和69.5%,说明所提的方法更加有效。

中文垃圾邮件过滤技术研究

介绍现在普遍采用的几种垃圾邮件过滤方法,对基于内容的过滤方法中的贝叶斯算法和Winnow算法进行详细的介绍。目前研究中文垃圾邮件的各类文献都基于不同的语料库,缺乏算法之间的效果比较分析。分别实现贝叶斯和Winnow的改进算法,并对CCERT的一个公开邮件语料库进行测试。测试结果表明,两种算法都达到较好的过滤效果。