基于柔性粒度的文本摘要自动化技术创新研究

本文对使用序列到序列模型进行文本摘要时的方法进行研究,重点分析了集外词难以生成以及单词间联系缓慢两个不足产生的原因;结合字节对编码算法,提出了柔性粒度字节对编码算法FG-BPE。改进后的FG-BPE算法将完整单词分割为不相交的子词单元,通过降低文本粒度大小解决缓解集外词难以生成的问题,通过子词单元二次分割实现单词之间联系的更好学习。关于Gigaword集的实验证明,与原始子词分割算法相比,FG-BPE实现了一元组、二元组及最长公共子串的共现召回率整体提升。

作文语料标签智能化提取方式设计

文本通过自然语言处理的自动化摘要方法以去除冗余,设计了语文作文语料标签智能化提取方式。明确了标签智能化提取效果评估指标,确保提取效果与精确度。以自动化抽取文本摘要方法、词典分词方法、有监督命名实体识别方法为技术框架,设定语文作文语料标签实践运用场景设置评估指标,以此开展测试试验分析。结果表明,基于本文设计的语文作文语料标签智能化提取方式在关键描述层面明显优于传统关键词算法,标签提取效果显著,值得大力推广应用。