基于边界点词性特征统计的韵律短语切分

由于基于规则方法的文本处理系统在系统建立时需要总结大量的规则 ,而且很难保证它在处理大规模真实文本时的强壮性 ,因此本文在使用统计方法进行韵律短语切分方面做了一些有益的探索。先对文本进行自动分词和自动词性标注 ,然后利用从已经经过人工标注的语料库中得到的韵律短语切分点的边界模式以及概率信息 ,对文本中的韵律短语切分点进行自动预测 ,最后利用规则进行适当的纠错。通过对一千句的真实文本进行封闭和开放测试 ,词性标注的正确率在 95%左右 ,韵律短语切分的召回率在 6 0 %左右 ,正确率达到了 80 %。

统计机器翻译中短语切分的新方法

基于短语的统计机器翻译是目前主流的一种统计机器翻译方法,但是目前基于短语的翻译系统都没有对短语切分作专门处理,认为一个句子的所有短语切分都是等概率的。本文提出了一种短语切分方法,将句子的短语切分概率化:首先,识别出汉语语料库中所有出现次数大于2次的词语串,将其作为汉语短语;其次,用最短路径方法进行短语切分,并利用Viterbi算法迭代统计短语的出现频率。在2005年863汉英机器翻译评测测试集上的实验结果(BLEU4)是:0.1764(篇章),0.2231(对话)。实验表明,对于长句子(如篇章),短语切分模型的加入有助于提高翻译质量,比原来约提高了0.5个百分点。

汉语韵律短语切分研究

首先分析了汉语中韵律短语的边界情况,然后提出了一个韵律短语切分方法。开放和封闭测试表明该方法取得了相当好的结果。

带有短语切分的中文文本分类方法(英文)

Internet文本信息量极速增加,在组织和处理这些文本数据时,文本分类技术显得尤为重要。利用统计学理论,特征提取和权重计算常常忽略了特征项之间的语法关系。文中提出了一种将短语切分与文本分类相结合的新方法。在经过TFIDF计算之后,在同一个短语中,特征项之间的关系被计算出来,然后调整权值向量,最后可以得到文本分类的正确率。同一般地文本分类方法相比,加入短语切分的文本分类方法的正确率平均提高了1.5%以上。

统计机器翻译中短语切分的新方法

本文提出了一种新的短语切分方法,通过该方法可以将句子的短语切分进行概率化处理:首先把汉语语料库中次数>2次的词语串全部都识别出来,作为汉语短语,然后通过最短路径方式实现短语切分,同时应用Viterbi算法对短语出现频率进行迭代统计。

师范院校英语专业学生语调短语意识调查

有效传递信息是英语教学和学习的终极目标之一;语调短语意识是影响信息传递有效性的重要因素。从语调短语切分意识和调核意识两方面调查师范院校英语专业学生的语调短语意识,调查结果显示师范院校英语专业学生的语调短语切分意识和调核意识都较弱,从而证明学生的语调短语意识弱。结果有助于更好地了解中国学生的语调短语意识现状。

句长对英语学习者语调切分的影响

本研究从停顿、起首轻音节、延时音节与音高重设四个语调短语边界指征考察英语学习者的英语语调切分状况。作为参照标准的六名英语本族语者和三十八名中国英语专业学生参加了本研究。所考察的六个句子包含长、中、短三种长度类型。研究结果显示，学习者在中长句的语调切分不同于本族语者，经卡方检验，二者之间存在显著性差异。而在短句切分中，学习者与本族语者之间未见显著差异。英语本族语者比学习者更经常使用音高重设与起首轻音节，而中国学习者则更多依赖停顿，切分手段单一。