-
题名基于最大熵模型的柬英平行网页获取
被引量:2
- 1
-
-
作者
莫源源
潘丽同
严馨
余正涛
刘小惠
-
机构
上海师范大学语言研究所
云南省计算机技术应用重点实验室
云南民族大学东南亚南亚语言文化学院
昆明理工大学信息工程与自动化学院
-
出处
《计算机工程》
CAS
CSCD
北大核心
2016年第5期194-200,共7页
-
基金
国家自然科学基金资助项目"柬埔寨语命名实体识别及汉柬双语语料库构建方法研究"(61462055)
云南省计算机技术应用重点实验室开放基金资助项目"汉柬双语语料库构建及柬埔寨语词法分析方法研究"
-
文摘
由于平行网站的异构性和复杂性,如何自动有效获取双语平行网页以及提高平行网页的质量是构建语料库的关键问题。为此,应用最大熵模型,将平行网页的识别问题看作候选网页对的分类问题,对平行网页的获取方法进行改进。利用基于标题余弦相似性的方法或数据库查询的方法发现候选平行网页对。根据网页内容及候选网页对间余弦相似度特征和最大熵模型训练的分类器对平行网页进行识别。在特征选取上,提取网页的篇章结构特征、词汇化比例特征与页面元素特征等基本特征,并应用TF-IDF算法与余弦相似性提取文档向量的余弦相似度特征。实验结果表明,所提方法可有效提高双语网站中平行网页的召回率和准确率,所获取平行网页的准确率和召回率分别为98%,94%。
-
关键词
最大熵模型
柬埔寨语-英语
平行网页
平行语料库
余弦相似性
-
Keywords
maximum entropy model
Khmer-English
parallel Web page
parallel corpus
cosine similarity
-
分类号
TP18
[自动化与计算机技术—控制理论与控制工程]
-