-
题名基于动态文本窗口和权重动态分配的中文文本纠错方法
被引量:10
- 1
-
-
作者
黄改娟
王匆匆
张仰森
-
机构
北京信息科技大学智能信息处理研究所
网络文化与数字传播北京市重点实验室
-
出处
《郑州大学学报(理学版)》
CAS
北大核心
2020年第3期9-14,共6页
-
基金
国家自然科学基金项目(61772081)
国家重点研发计划项目(2018YFB1402901)
科技创新服务能力建设-科研基地建设-北京实验室-国家经济安全预警工程北京实验室项目(PXM2018_014224_000010)。
-
文摘
提出一种基于动态文本窗口的中文文本查错方法,依靠窗口的不断滑动来检测文本错误。当中文文本有疑似错误时,采用聚类词集平滑数据稀疏问题,然后采用权重动态分配的纠错词集进行纠错,若纠错结果仍不符合检错规则,则用缩小文本窗口法和拓展窗口法来检查具体错误。构建纠错词集则采用基于最小编辑距离和权重动态分配的方法。实验结果表明,基于动态文本窗口查错方法的F值达到了77.9%;再结合权重动态分配的纠错方法,纠错准确率达到78.1%,相较黑马校对系统和基于平均权重的纠错策略,准确率分别提升了9.7%和15.8%。
-
关键词
语义搭配
数据稀疏
动态文本窗口
权重动态分配
-
Keywords
semantic collocation
data sparse
dynamic text window
weighted dynamic allocation
-
分类号
TP391
[自动化与计算机技术—计算机应用技术]
-