-
题名基于字频分布的中文网页编码识别算法
被引量:2
- 1
-
-
作者
侯整风
张浩
张娜
-
机构
合肥工业大学计算机与信息学院
安徽移动淮南分公司
-
出处
《计算机工程》
CAS
CSCD
2014年第12期199-204,共6页
-
基金
教育部广东省产学研基金资助项目(2009B090200049)
-
文摘
编码识别是网页内容过滤的必要前提,多种中文编码共存给中文网页的内容过滤带来不便。针对上述问题,提出一种基于字频分布的中文网页编码识别算法。根据汉字的使用频率,选取使用频度较高的字符构成高频字符编码表,以高频字符编码作为关键字,使用改进的模式匹配算法查找待识别网页,并统计匹配次数。将编码的匹配结果作为分析的依据,最终判定待识别网页的真实码制。实验结果证明,与Unigram算法相比,该算法对目前通用的中文编码识别率较高,适合对未知编码的中文网页进行快速编码识别。
-
关键词
中文编码
网页过滤
高频字符
模式匹配
有限状态自动机
-
Keywords
Chinese encoding
Web filtering
high frequency characters
pattern matching
finite state automata
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-
-
题名邮件内容过滤的中文编码盲识别算法
被引量:1
- 2
-
-
作者
祝佳
李生红
李建华
-
机构
上海交通大学信息电子工程系
上海交通大学信息安全学院
-
出处
《计算机工程与应用》
CSCD
北大核心
2005年第10期131-133,共3页
-
基金
国家863高技术研究发展计划项目(编号:2003AA142160)
上海市科委"‘软损坏’文件修复系统"项目(编号:035115015)
-
文摘
邮件内容过滤是信息安全领域的重点课题。文章着重介绍了一种中文文本编码自动识别算法,可以对目前互联网通信所使用的各种常用中文编码(GB2312,GBK,BIG5,UNICODE)进行盲识别,基本解决乱码问题,从而降低邮件内容过滤系统的虚警和漏警率,提高其处理范围。
-
关键词
中文编码
邮件过滤
高频字符
GB2312
GBK
BIG5
UNICODE
UTF
-
Keywords
Chinese encoding charset,E-mail filtering,high frequency Chinese characters,GB2312,GBK,BIG5,UNICODE,UTF
-
分类号
TP391.1
[自动化与计算机技术—计算机应用技术]
-