自学习结合部分句法分析的汉语词性标注

针对词性标注中单独使用概率方法或规则方法的缺陷 ,将概率方法和规则方法有机地结合起来 ,并引入了部分句法分析排除切分歧义和标注歧义 .利用机器学习得到的规则对输出结果进行修正 。

基于预训练模型的中文电子病历实体识别

为提升传统中文电子病历实体识别预训练模型的语义特征提取能力并增强中文隐含特征表示,提出基于改进预训练语言模型的医疗命名实体识别方法。提出动态词长的逆向最大匹配算法对病历文本进行标注歧义处理,在此基础上构建用户自定义医疗实体字典辅助PKU分词,提高预训练模型掩码效果。输入向量层加入字向量,引入注意力机制学习字向量的全局语义特征。改进预训练模型mask策略和机制并去掉下一句预测,提升词向量语义表征能力。实验结果表明,该方法有效提高了医疗实体的识别效果,F1值达到90.57%。

汉英机器翻译系统中统计消歧的多步策略

汉语的歧义分布在语言的不同层面上,从词形变化到句子结构都存在歧义.针对汉英机器翻译不同阶段遇到的歧义问题,采用了隐马尔柯夫模型和贝叶斯分类法来进行排歧.实验表明:基于统计的多步消歧策略在汉英机器翻译系统中具有较高的排歧准确率.

一个比较不同中文分词法的软件

介绍了一个比较不同中文分词算法在分词上异同的软件,特别是在歧义词条切分上的异同之处,它包括了容纳各种分词算法的框架结构及其设计,人工干预歧义切分的界面和显示不同分词方法切分统计结果等功能;通过测试统计,本软件基本可以比较出不同的分词方法在歧义切分上的优劣异同之处。