基于改进的Porter Stemmer词干提取与核方法的垃圾邮件过滤算法

统计学习方法现已大量应用于垃圾邮件识别,其中表现突出的包括贝叶斯过滤器、支持向量机等。近年来,为应对日益严重的垃圾邮件问题,提出诸多改进算法或创新思路。通过改进Porter Stemmer并使之适用于垃圾邮件过滤,从而充分提取文本的有效特征,摒弃冗余信息,加强了过滤效果;将改进方法的Porter Stemmer与原方法分别应用于线性核、高斯核、多项式核支持向量机以及贝叶斯过滤器,对比实验结果可知,错误率分别下降了63.7%,63.1%,61.3%和11.4%,证明了改进方法的显著效果;另外,实验结果证明SVM过滤器显著优于贝叶斯过滤器,且能更大程度体现改进方法的优势;最后,给出多种定量评价和语义角度的分析,启发采用用户个性化定制的过滤器。

基于q-gram层次空间的机器翻译中句子相似度计算探析

机器翻译由于其简易性和速度快而成为一个热门的研究对象,然而其翻译质量低也是一个不争的事实。利用q-gram层次空间和Porter Stemming算法,设计了一种计算句子匹配率的方法,并利用算例进行了详细的阐释,从而给机器翻译及英文文本比较提供了一种思路。实验结果表明,该方法在目前基于规则与实例结合的句子相似度计算方法中是可行的。

中国建筑业1997～2007年竞争环境评价

针对现有产业竞争环境的研究主要是以定性分析为主,定量研究鲜有考虑产业相关者对竞争环境影响的现状,应用投影寻踪模型对中国建筑业的竞争环境进行评价。首先应用波特五力模型对中国建筑业的竞争环境状况进行分析,明确影响建筑业竞争环境的因素并以此建立相应的评价指标体系。在此基础上,运用基于实码加速遗传算法的投影寻踪模型对中国建筑业1997~2007年竞争环境进行评价。研究表明,影响中国建筑业竞争环境的主要因素是建筑业的供给及市场需求,中国建筑业的竞争环境总体呈现逐年恶化的趋势,研究结果与实际比较一致,能够为企业制定发展战略及相关部门制定政策提供理论依据。

Advantages of Using a Spell Checker in Text Mining Pre-Processes

The aim of this work was the behavior analysis when a spell checker was integrated as an extra pre-process during the first stage of the test mining. Different models were analyzed, choosing the most complete one considering the pre-processes as the initial part of the text mining process. Algorithms for the Spanish language were developed and adapted, as well as for the methodology testing through the analysis of 2363 words. A capable notation for removing special and unwanted characters was created. Execution times of each algorithm were analyzed to test the efficiency of the text mining pre-process with and without orthographic revision. The total time was shorter with the spell-checker than without it. The key difference of this work among the existing related studies is the first time that the spell checker is used in the text mining preprocesses.