基于流式计算的垃圾短信治理关键技术研究

某运营商在现网垃圾短信治理中,常采用关键字+规则的方法,难以在拦截成功率和误拦正常短信之间找到平衡。基于文本语义分析识别垃圾短信,则需要解决大数据挖掘算法、海量数据处理、响应时效等问题,因此在大业务量的集约化平台上应用并不广泛。通过算法研究、开发原型系统等工作,探索基于流式计算的垃圾短信治理技术方案,研发了一套基于Storm+Mahout架构的垃圾短信识别原型系统,完成了性能和准确率测试,取得了较好的效果。

基于BERT-TextCNN融合模型的垃圾短信识别方法

当今社会智能手机已经成为人们生活的必需品,庞大的智能手机用户数量使得垃圾短信充斥在整个通讯网络环境中,因此对于大量垃圾短信识别的研究非常重要。文章基于一种将BERT模型和TextCNN模型融合的垃圾短信识别方法,同时聚焦于垃圾短信文本的上下文语义以及关键词特征。该方法利用开源的垃圾短信数据集进行试验,试验结果表明,BERT-TextCNN融合模型在垃圾短信的识别在精准度、召回率以及F1值这些指标上都有不错的表现,相较于现有模型有明显提高。

基于机器学习的垃圾短信过滤识别研究

随着信息技术的快速发展,人们享受着信息科技带来的便利,但同时也承受着垃圾短信对信息泄露及生活所造成的影响。通过机器学习算法对垃圾短信进行过滤识别,可以有效地屏蔽垃圾短信,提高用户的沟通效率。针对此,文章基于朴素贝叶斯算法和支持向量机算法进行垃圾短信过滤识别研究,并在同一数据集下验证两种机器学习算法的识别效果及算法模型的有效性和可用性。实验表明:朴素贝叶斯算法模型的准确率为98.63%,支持向量机算法模型的准确率为95.57%,两种算法对垃圾短信的识别均取得较好的效果,在特定数据集下,朴素贝叶斯较支持向量机算法具有更好的识别效果。该研究对于机器学习算法在文本分类领域的应用和发展提供坚实的基础。

基于多维数字化方法的智能垃圾短信检测与实现

随着垃圾短信发送模型不断变化,传统的基于发送频次与内容的检测方法已经不能满足新型垃圾短信检测的需要。在治理垃圾短信的实践过程中,创新性使用了基于短信发送位置(城市)不易变化的特征作为垃圾短信的检测依据,并使用Simhash算法、改进的朴素贝叶斯算法等新方法对待检短信进行智能判断,有效提高了垃圾短信检测查全率、查准率,实现对垃圾短信的精准拦截,降低了垃圾短信举报率。

基于文本内容的垃圾短信识别实验教学研究与设计

针对垃圾短信在内容、表达结构、点数、位数等方面的价值,识别空间信息模式特征,并将自然语言处理算法和文本分类与特征相结合,实现中文空间信息识别。在此基础上,采用随机选取森林特征、光学变量的方法进行设置;描述了与可配置为定义新消息格式和解释短信的消息识别系统相关联的系统、方法和其他实施例。方法包括分析从远程设备接收的短信以确定短信的消息类型。查询消息类型数据结构以确定消息类型是否在消息类型数据架构中定义。生成包括用于定义消息类型的一个或多个输入字段的消息类型配置接口。通过消息类型配置接口的一个或多个输入字段接收参数,并且基于一个或更多个参数生成消息类型定义。消息类型数据结构被重新配置为包括消息类型定义。

基于局部敏感哈希的K邻近算法识别垃圾短信

针对目前垃圾短信的识别算法存在的关键字及频次的规则死板,易于被不法分子探测和规避等问题,提出将局部敏感哈希的K邻近算法应用于垃圾短信分类识别;首先定义特征,然后采用局部敏感哈希算法计算向量距离,通过得到的距离衡量矩阵的相似性,量化矩阵相似程度,对本文中提出的优化模型进行实现和训练;基于短信文本内容,运用词频-逆向文本频率算法生成矩阵,利用局部敏感哈希算法求解最相似样本,记录样本类别,将训练结果导入K邻近算法分类器得到最优近邻,在测试集或验证集上对优化模型垃圾短信分类识别准确率进行评测。结果表明,经过K邻近算法分类器后,优化模型垃圾短信分类识别准确率达到98.7%。

基于Bert模型的垃圾短信识别研究

针对现有垃圾短信识别方法,在复杂场景中特征表示效率低的问题,提出文本预处理结合Bert模型的垃圾短信识别方法。首先对数据集进行预处理,消除冗余信息对分类器的影响,然后将预处理后的数据按8:1:1比例划为训练集,交叉验证集和测试集三类。将Bert模型引入垃圾短信识别分类场景,利用动态掩码提高了文本特征表征能力。实验结果表明,本文提出的垃圾短信识别方法具有较好的识别效果。

重拳出击 打击“106垃圾短信”乱象

近日,上海市消保委的一则“‘106’开头垃圾短信鱼龙混杂,多成坑害消费者工具”的消息发布引起了人们的广泛关注。在这则消息中,上海市消保委调研结果显示,76%的消费者表示经常收到以“106”开头的垃圾短信;对于以“106”开头标注为“工商银行”的短信,只有21%的被调查者认为一定不是工商银行发送的,而大多数被调查者相信就是工商银行发送的。经查,消费者反映较多的标注为“工商银行”和“建设银行”的贷款类短信,竟然没有一条是真的。

基于关联规则的垃圾短信分类器模型

针对垃圾短信分类问题,提出了一种通过挖掘垃圾短信关联规则来构造垃圾短信分类器,从而实现垃圾短信过滤的模型.该方法采用改进的FP-grow算法挖掘垃圾短信关联规则集,以关联规则集为基础构建垃圾短信分类器模型,在分类过程中考虑垃圾短信特征词权重和垃圾短信的变异行为进行分类.实验结果表明,该方法的分类精确率和非垃圾短信错分率优于其他常用垃圾短信分类方法.

多举措防治垃圾短信

2007年以来,各大运营商都通过技术手段对垃圾短信进行了治理,但随着信息技术与信息传播更新迭替,垃圾短信制造者的手段不断更新变化,不断寻找管理上和系统上的漏洞,近期发现这些垃圾短信制造者利用月初"1日"系统出账这个特殊时间进行大量垃圾短信发送,造成大量欠费;本文主要针对此问题对"1日零时"现象进行有效治理,并通过实现网间垃圾短信治理,优化垃圾短信拦截系统能力等多方面对垃圾短信问题进行了全面有效治理,使垃圾短信得到有效遏制。

基于复杂网络的垃圾短信过滤算法

对垃圾短信发送用户的识别和过滤具有十分重要的研究价值和社会意义.随着新形式和内容的垃圾短信出现,传统的关键字匹配和发送速度频率过滤方法无法有效地处理这一问题.在对短信发送/接收网络形式化表达的基础上,以真实短信发送和接收以及通话关系数据为例,统计和分析了短信发送网络的网络特性.进一步分析和挖掘了垃圾短信用户在网络上发送接收的异常模式和行为,并以此提出了一个基于语音关联程度和短信回复比率的过滤算法(NASFA算法).通过实验和分析表明,本文的算法能够高效地识别垃圾短信发送用户,同时能够有效地控制将正常用户误识别为垃圾短信用户的比率.

基于朴素贝叶斯和支持向量机的自适应垃圾短信过滤系统

随着短信业务的不断发展,垃圾短信的特征和内容也在不断变化,传统垃圾短信过滤系统中存在的主要问题是,短信特征和内容未能得到及时更新而导致过滤性能降低。考虑朴素贝叶斯的快速统计分类及支持向量机(SVM)的增量训练等特点,将其应用于垃圾短信过滤中,并把分析结果及时反馈给在线过滤子系统,使得系统具有更好的自适应性。实验结果表明,该方法可有效地解决当前垃圾短信过滤系统中存在的问题。

基于内容的垃圾短信过滤

研究一种基于最小风险贝叶斯决策的垃圾短信过滤方法。对于以文本信息为主的短信,采用信息增益的方法进行特征选择,使用基于最小风险贝叶斯决策方法进行分类。通过自建短信语料库对该方法进行了实验。实验结果表明,该方法能够准确地对短信进行分类,降低合法短信的分类错误率,分类正确率达到99.3%,符合了短信分类要求。

基于抽样的垃圾短信过滤方法

现有垃圾短信过滤系统主要采用对短信进行逐条分析判断的技术,因此处理的效率比较低。针对这一过滤技术的不足,提出了一个基于抽样的垃圾短信过滤方法,该方法引入用户信任度的概念,根据用户的信任度对用户发送的短信进行抽样过滤,极大地提高了处理效率。

基于Hash函数和贝叶斯方法的垃圾短信在线过滤系统

提出了一种综合集成黑白名单过滤模块和综合评价函数模块的垃圾短信在线过滤系统架构,引入了两层Hash函数和基于朴素贝叶斯的概率计算方法,对疑似垃圾短信从内容、长度、频率等特征上进行深入分析,实现了海量短信的实时高效过滤,并有效地解决了传统垃圾短信过滤系统中存在的问题。

垃圾短信的识别与追踪研究

首先分析了短信传输方式:SP-手机和手机-手机,给出基于内容的识别和基于状态的识别方法,设置黑白名单和利用随机验证码的技术在一定程度上可以预防垃圾短信。最后,从短信的传输入手,提出了垃圾短信追踪的两种途径,最终为垃圾短信的诉讼提供法律保证。

移动环境下的垃圾短信过滤系统的研究

提出了一种分布式的垃圾短信过滤系统,它适合于移动网络,具有自学习能力,能够及时发现垃圾信息源,有效的过滤垃圾短信。在传统以词为属性的贝叶斯过滤算法的基础上,加入了规则和长度信息,利用互信息减小单词属性的个数。实验表明,它在短信过滤方面具有空间占用小和性能更好的特点,适合在移动电话上使用。同时还提出了一种垃圾短信发送者的可能性排名的方法。

基于特征词的垃圾短信分类器模型

针对垃圾短信分类问题,提出一种计算词分类权重的方法,并以此为基础通过降维来得到分类特征词集合。提出了短信分类隶属度概念,通过计算短信分类隶属度和分类隶属度密度的方法来实现分类。为了提高分类的准确性,还对特征词进行了分类权重的迭代学习,从而保证了词分类权重取值的合理性。实验结果表明,该分类模型具有良好的分类效果和较低的时间复杂度。

改进的人工免疫算法及在垃圾短信过滤系统中的应用

鉴于人工免疫原理在信息处理中体现的极大优势,提出了一种用于垃圾短信过滤的改进的人工免疫算法,给出了一种亲和力的新计算方式,分别对抗体细胞和抗体细胞基因的变异进行了双重控制,确保抗体库的稳定性和自适应性。实验证明:算法的鲁棒性、自学习性和自适应性均得到了提高,在垃圾短信过滤中取得了良好效果。

“垃圾短信”监控的中文多模式模糊匹配算法

针对"垃圾短信"中有害关键字的4种常见伪装方法,提出了"垃圾短信"监控的中文多模式模糊匹配算法.首先进行关键字和检测短信的模糊化预处理,然后运用WM算法进行中文信息的初步匹配,最后进行多模式匹配.实验证明,该算法在执行效率等方面均优于原有系统中的算法.