Hedge Trimmer句子压缩技术的算法实现及改进

压缩技术旨在模拟人类的文本概括和信息提取能力。句子压缩技术是自动生成能够保留原句核心内容的,合乎语法的,语义连贯的简短句子。文章分析了英文句子压缩技术中基于句法分析的Hedge Trimmer压缩技术,讨论了相关压缩理论,探索其压缩过程并用类C语言进行算法实现。提出了好的压缩句应该至少满足以下3个标准:第一是保留原句的核心内容,第二是具有正确的语法,第三是压缩长度合理。在算法的评估工作中,从DUC 2003语料库中选取了624个原始句子和对应的人工压缩句,与Hedge Trimmer压缩算法自动生成的压缩句进行对照分析。发现5种压缩效果不理想的情况,分析其原因并提出了改进策略。最后,通过实例对改进算法生成的压缩句和原来算法生成的压缩句进行对比评估,证明了改良算法能够获得更理想的压缩句。在英文句子压缩领域,改良的Hedge Trimmer句子压缩算法值得推广和应用。

一种融合语法信息的句子压缩方法

英文句子压缩任务由于词典容量等限制,使用深度学习方法容易造成压缩后的句意与原句不同并一定程度影响语法逻辑。针对这一问题,文中提出一种融合语法信息的句子压缩方法。首先通过两组编解码器来对单词和词性分别进行编解码,在解码阶段通过带有语法注意力机制的长短期记忆网络(Syntax-LSTM)融合单词和词性信息产生语法注意力机制进而引导输出结果。与现有方法相比,实验结果表明该算法的F1值在领域数据集上达到了0.7742,在跨领域数据集上达到了0.4186,证明了其输出具有更好的可读性和鲁棒性。

基于概率和句法的句子压缩技术对比研究

句子压缩是自然语言处理领域的一个基础应用方向,是开发自动文摘生成系统和自动标题生成系统的第一步.句子压缩技术主要是以简短的形式重写句子并且保留原句中最重要的信息.好的压缩句子应该是合乎语法的和表述连贯的句子.选取Noisy-Channel Model压缩算法和Hedge Trimmer压缩算法作为两种压缩技术的代表范例进行对比研究,分析了两种方法的优势和劣势,探索了一种混合式句子压缩技术.混合式压缩技术将会改善英文句子压缩效果,相关研究将成为自然语言处理领域的一个新方向.

基于词语热度的启发式中文句子压缩算法

传统的句子压缩方法多基于难以获得的"原句-压缩句"对齐语料库,因此提出了不依赖于对齐语料库的中文句子压缩算法。通过研究人工压缩结果并结合语言学知识,提出了词语层面和分句层面的两组压缩规则。算法在原句句法分析树和词语间依赖关系的基础上,使用两组规则进行压缩,同时为了保证压缩算法具有更强的适应性和准确性,引入词语的热度加强了压缩算法,最后通过句子整理和语法修复得到最终的压缩句。对比了人工压缩、只使用规则压缩和引入词语热度压缩三种压缩方法。实验结果表明,基于热度的启发式中文句子压缩算法可以在压缩比、语法性、信息量都损失较少的情况下,提高压缩句的热度。

基于预读及简单注意力机制的句子压缩方法

针对英文句子压缩方法进行研究,提出一种基于预读及简单注意力机制的压缩方法。在编码器—解码器(encoder-decoder)框架下,以循环门单元(gated recurrent unit,GRU)神经网络模型为基础,在编码阶段对原句语义进行两次建模。首次建模结果作为全局信息,加强二次语义建模,得到更全面准确的语义编码向量。解码阶段充分考虑删除式句子压缩的特殊性,适用简单注意力(3t-attention)机制,将编码向量中与当前解码时刻最相关的语义部分输入到解码器中,提高预测效率及准确率。在谷歌新闻句子压缩数据集上的实验结果表明,所提压缩方法优于已有公开结果。因此,预读及简单注意力机制可有效提高英文句子压缩精度。

基于Markov逻辑网的句子压缩方法

提出了一种基于Markov逻辑网通过删除单词进行英文句子压缩的方法。通过一阶逻辑公式表示单词的局部特征以及单词之间的相互依赖关系,确定单词是否应该删除。与现有方法相比,该方法把判别式学习和整数规划的优点相结合,既融合了丰富的句子特征,又以逻辑公式方便地表示全局约束。在书面和口语两个新闻数据集上的实验结果表明:该方法与L3和SVTL系统相比具有明显优势,在压缩率接近时,以人工压缩结果为评测标准,压缩后句子的依存关系F-score有较大提高。

Study on Compressed Sentence Teaching

Compressed sentence is a kind of special sentence pattern, and its particularity is like a sentence in the form, but it expresses the content of complex sentence, its advantage is simple and quick, so it is widely used, especially in oral language. But in modem Chinese teaching materials, its space is very cramped, which is easy to be ignored, and it is hard to meet students＇ knowledge demand, and this is also an opporttmity and a challenge for teaching.

浅谈英语教学中长短句如何有效拆分理解

长句子的理解和掌握在英语教学中一直是难点,那么,长短句的拆分和转换对于学生理解长句子并进行下一步学习就非常重要。因此,如何有效地进行长短句的拆分理解应该是每一位英语教师高度重视的问题。在这里,我们来探讨关于如何攻克此难题的几个方案。