基于N-gram算法的网络安全风险检测系统设计

随着网络技术的不断发展,网络安全问题日益突出。N-gram算法作为一种有效的文本处理技术,近年来在网络安全领域得到了广泛应用。文章介绍了基于N-gram算法的网络安全风险检测系统设计,旨在通过构建高效、准确的检测模型,对网络安全威胁进行有效的预防和应对。

基于N-Gram模型的蒙古语文本语种识别算法的研究

互联网上蒙古语文本正在不断地增加,如何让网络中的蒙古语内容为搜索引擎和舆情分析等应用提供服务引起了社会的高度关注。首先要解决如何采集网络中蒙古语文本数据,核心是准确识别网络中蒙古语文本的问题。该文提出了基于N-Gram模型的平均距离识别算法,建立了一个能够对目标语种识别的实验平台。实验结果表明,识别算法能够很好地从中文、英文、蒙古文以及混合语言文本中识别出蒙古语文本,准确率达到99.5%以上。

基于N-gram的Web用户浏览模式分类算法研究

Web站点用户浏览模式自动分类可以更好地组织站点上的内容信息来满足不同用户的访问需求。Web使用挖掘技术已经在这项研究中得到了广泛的应用,但是集成Web内容挖掘的成果还不多见。本文首先给出了结合Web内容和使用挖掘技术的用户浏览模式分类的原型系统框架。系统中主要的过程是：对数据集中原始的Web服务器日志进行清理,使用Web使用挖掘技术从用户浏览会话中挖掘出有代表性的用户浏览模式,根据模式中每一个相关的页面内容抽取出一个N-gram集合,构建基于N-gram的用户浏览模式简档。最后本文对用户浏览会话作了分类实验分析,实验结果表明这个方法在N-gram=6,df=10%的情况下取得了较高的分类精确度。

N-Gram模型下网络客户端病毒防御方法仿真

针对当前的客户端病毒防御方法无法获取病毒的特征向量,导致病毒防御不具有针对性等问题,提出一种基于N-Gram模型的网络客户端病毒防御方法。分析不同长度的N-Gram特征对网络客户端病毒检测的效果,并通过N-Gram模型获取病毒的特征向量,整合特征选择的详细操作步骤。将距离相似度检测技术和决策算法相结合检测网络客户端病毒,设计网络客户端病毒防御流程。当检测到病毒入侵后,评估病毒危险等级,制定病毒防御策略。仿真证明了所提方法能够有效防御网络客户端病毒。

基于词表和N-gram算法的新词识别实验

目前未登录词问题仍然很大程度上影响着自动标引和信息检索的效率。本文提出了一种选择期刊论文的题名和摘要作为训练语料,利用N-gram算法切分和停用词典等过滤筛选的非专名的新词识别方法。该方法主要分为两步:先进行N元切分,保存关键词候选集并统计词频;然后进行一系列的过滤,主要有词频阈值限定、前停后停词典过滤、相邻词比较、子父串比较、抽词词典和过滤词典的过滤,最后进行人工判别。对实验结果的测评表明这一方法是简便易行的。训练语料可以不用全文,只用题名和摘要;在新词识别上,摘要可以代替题名。

基于规则和N-Gram算法的新词识别研究

当前的分词工具分词后会出现很多单字碎片,分词之后意义与原意相差甚远。同时因为新词的构词规则具有自由度大的特点,当前分词方法不能有效识别网络中的新词。在ICTCLAS2016分词系统的基础上,结合新词结构制定规则构建碎片库,利用Bi-gram和Tri-gram模式提取碎片库中的候选字串,再采用左右邻接熵进行扩展及过滤,最后提出基于规则和N-Gram算法的新词识别方法。结果表明使用该方法的分词效果准确率、召回率和F值都有所提高。实验结果表明,该新词识别方法能有效构造候选新词集合,提高中文分词效果。

n-Gram/2L索引结构的存储与时间优化算法

对分词检索算法n-Gram/2L的索引结构作了改进,在第二级倒排表中加入对文章标识的索引,提出一种基于Zigzag的分词检索算法n-Gram/2LZ(n-Gram/2LonZigzagjoin)。在对数据量较大的文章进行检索和索引时,该算法在保留原有算法特性的基础上进一步减少了索引冗余,降低了索引的存储量,同时对查询算法的优化降低了查询时的系统开销,并且减少索引中记录访问次数,提高了查询效率。

基于N-gram语言模型的汉字识别后处理研究

为提高汉字文本的识别率,本文将基于统计的N-gram元语言模型和单字识别器概率模型结合起来,以充分利用单字识别器提供的信息。该方法把具有确定性边界的一个汉字序列(多数情况为一个句子)作为一个处理单元,利用统计获得的字字同现概率和距离值信息,采用Viterbi算法,对汉字识别文本进行自动后处理。经过实验证明,后处理将汉字识别准确率平均值从97.62%提高到98.71%。

基于情景感知的N-gram改进预测模型研究

情景感知服务(Context-Awareness Services)借助信息技术为用户提供自适应服务,卓著的个性化特性使其将成为下一代杀手级应用。本文综合分析移动用户的位置、时间和业务信息,通过改进N-gram模型有效地预测用户行为趋势,以期通过最优化的方式使用户需求与其所处的环境资源相匹配,既期望能从用户视角获得更加丰富的信息体验,又期望能对运营商有所帮助,对理论研究及商业实践均具有积极意义。

不同维度下维吾尔语N-gram语言模型性能分析

针对当前维吾尔语语言模型存在的语料库数据稀疏问题以及困惑度较高等问题,在SRILM和MITLM两种工具生成的2-gram,3-gram,…,9-gram语言模型做了对比实验,试图找出在一定规模的维吾尔语语料条件下使困惑度最低的N-gram语言模型。通过对比分析最终得出结论,对于基于维吾尔语句子的N-gram模型,维度N取在介于3～5之间较宜,困惑度和计算复杂度等因素考虑N=3为较优。这一结论将有助于维吾尔语自然语言处理的发展。

基于N-gram模型的中文分词前k优算法

本文首先从中文输入法应用的角度出发,在阐述了N-gram模型的基础上对中文输入法的分词进行了详细的剖析,进一步根据训练数据的稀疏问题,使用Back-off模型进行数据的平滑处理。针对系统词库数量受限的问题,在构建词图的前提下,使用基于A*的算法求解前k优路径。最后实验结果表明,本文所使用的基于A*的算法与改进Dijkstra算法、基于DP的算法等常用的求前k优路径的算法相比,具有较高的效率和准确率,为中文分词及求取k-best算法的研究开拓了新的思路。

基于N-Gram和动态滑动窗口的改进余弦相似度算法研究

为了解决余弦相似度算法进行数据清洗时重复与相似的数据会使计算量呈几何级增长的问题,提出了基于N-Gram和动态滑动窗口的改进余弦相似度算法.首先通过计算每条数据的N-Gram值,并对数据进行相似度排序,然后定义初始滑动窗口,其窗口值根据N-Gram值的方差动态调整,最后在每个窗口中根据相似度与阀值判断相似数据.实验结果表明,改进的余弦相似度算法在运行速度上有大幅度提高,数据清洗准确率也得到提升,且该算法适用于海量数据的情形.

基于N-gram的哈萨克语文本校对系统的设计与实现

在哈萨克语文本非词查错方面,归纳和总结查错方法,在一定规模的哈萨克语词库的支持下,利用哈萨克语的特点,用哈萨克语词干切分程序和哈萨克语的音节规则,从文本中找出非词错误,再用最小编辑距离算法提供最有可能的候选词。在哈萨克语文本真词查错部分,根据上下文信息,采用基于N-gram的语言模型,利用文本的局部连接同现概率三元语法模型来进行真词查错,再用基于编辑距离的模式匹配方法对真词错误提供纠错建议。实验结果表明,系统的查错与纠错效率较好,实验方案是可行的。

基于相似重复记录的N-Gram算法的改进与应用

通过研究相似重复记录的数据清洗算法,在对N-Gram算法进行深入分析与研究后,指出其不足之处,并在此基础上进行改进并加以应用。实验结论证明,改进后的N-Gram算法无论是在查全率、查准率,还是运行速率上都得以大幅度提升。

藏语N-gram语言模型中的平滑技术研究

文章在Linux环境下搭建Srilm建模平台,然后对语料进行分块处理,并用N-gram count和N-gram进行计数和语言模型的建立,利用几种平滑算法对其进行了困惑度的测试,最后对这几个困惑度的数值进行比较和数据分析,总结出一个适用于当前语料和语言环境下最优的平滑方法.

FAST DFT ALGORITHM WITH (N-1) / 2 MULTIPLICATIONS

A fast algorithm is proposed for recursively computing the DFTs of prime length. Only (N-1) / 2 real multiplications are required to compute all N frequency components in terms of permuting the input data. The multiplication in recursive computation is replaced by shifting. Complexity of the algorithm is studied. A factor η is introduced and presented. When the ratio of multiplier's period Tm to adder's period Ta is greater than the factor η (i.e.Tm / Ta >η), the new algorithm is faster than FFT. The necessary condition and error of the algorithm are studied. The signal-to-noise ratio for different length N is presented. A high accuracy scheme is proposed for improving the SNR about 20 -30dB.

基于N⁃gram算法的网络安全风险检测系统设计

针对传统网络安全风险检测系统存在数据包检测性能较差的问题,设计一种基于N⁃gram算法的网络安全风险检测系统。系统的硬件模块包括数据预处理模块、协同分析模块,其中数据预处理模块主要负责处理被捕获的、存在安全风险的数据包,由检测引擎与包解码器组成;协同分析模块主要由协同采集器、协同分析器、协同传感器以及协同管理器构成。基于N⁃gram算法设计网络安全风险检测模块,该模块主要通过协议分析与特征匹配实现网络安全风险检测,其中协议分析主要通过构建协议分析树实现;而特征匹配则主要通过N⁃gram算法实现。为了证明该系统的数据包检测性能,将传统网络安全风险检测系统与该系统进行对比实验,实验结果证明该系统的数据包检测性能优于传统网络安全风险检测系统,实现了性能跃升。

Gram-Schmidt算法与GRNN融合的加工番茄早疫病高光谱预测

加工番茄早疫病的准确预测,有助于及时采取防治措施,降低产量损失。测定加工番茄早疫病冠层光谱,对380～760nm进行连续统去除变换,提取波段深度、波段位置、波段宽度、斜率、面积等特征参数,并对原始光谱提取红谷、绿峰、红边及相应波段位置等特征参数。利用Gram-Schmidt算法对特征参数进行成分提取,作为广义回归神经网络(GRNN)的输入变量,对加工番茄早疫病病情严重度进行预测。研究结果表明,与多元线性回归和偏最小二乘法预测模型比较,Gram-Schmidt算法与GRNN融合模型的预测精度相对较高,R2为0.843,RMSE为0.136,该方法能够对加工番茄早疫病病情严重度进行快速、准确的预测。

分块Gram-Schmidt正交化算法及其应用

Gram-Schmidt正交化算法是数值线性代数中的基本算法之一,主要用于计算矩阵QR分解.经典和修正Gram-Schmidt正交化算法基于level1/2BLAS运算,低级BLAS运算对cache的利用率比较低,从而限制了算法性能.提出一种新的分块Gram-Schmidt正交化算法.新算法通过重正交保证产生矩阵Q的正交性达到机器精度,并且利用level3BLAS运算提高了算法性能.数值试验表明,新算法能使得矩阵Q的正交性达到机器精度,并且新算法使得性能得到显著提高.

一种基于尾匹配q-gram的近似串匹配算法

近似串匹配是生物信息学、文本检索、信号处理等领域的一个基础问题,如何提高近似串匹配的速度一直都是研究的关键问题。提出一种新的在大文本库中快速查找近似匹配的无损过滤算法。为保证在大文本库中的匹配速度,本算法使用了查询速度较快的q-gram索引。为通过提高过滤算法的过滤效率达到提升算法整体性能的目的,详细分析了含有匹配串的文本区域,提取了一些基于尾匹配q-gram特征的新过滤条件,然后用这些特征优化了过滤算法的过滤标准。实验数据表明,新过滤条件有效地提高了算法的过滤效率,提升了算法的整体性能。结果显示新算法适合各种匹配错误率下的近似匹配,算法的通用性较强。