双向词典和语义相似度计算相结合的词对齐算法

基于统计的词对齐方法需要大规模的双语语料作为输入,难以避免数据稀疏的问题并且算法时间开销大。针对句子或段落级的实时性对齐需求,提出了一种基于双向词典和语义相似度计算的高效词对齐算法,通过采用动态组块切分和匹配、基于知网的语义相似度计算、基于最大匹配的冲突消解和剪枝消歧等策略,有效地解决了由于翻译的灵活性和多样性带来的近似译文的词对齐问题。实验表明,该算法不仅继承了基于词典词对齐算法的优点,同时还改进了传统基于词典词对齐算法的不足,有效提升了词对齐的正确率和召回率,在小规模双语语料和实时性对齐方面具有更好的适用性。

基于双向LSTM的动态情感词典构建方法研究

文本情感分析最基础且最关键的一个环节就是构建一个高质量情感词典.为克服传统的情感词典中词汇所表达出的情感倾向不变性等问题的不足,本文基于三层神经网络结构构建动态情感词典.第一层通过改进的CBOW神经网络提取含有情感信息的特征;第二层通过双向LSTM神经网络,利用二叉语义依存结构模型提取出二叉语义依存路径特征;第三层在前两层获得的情感特征和语义特征基础上,将中心词信息和词汇到中心词的距离两个特征一起组成当前词的特征,然后,对双向LSTM神经网络进行情感词分类训练,从而得到动态情感词典.使用动态情感词典进行初级扩展也可以得到更大的静态情感词典.实验结果表明使用该动态情感词典进行微博情感分析可以有效地提高分类精度.

基于memcached的动态四字双向词典机制

词典是汉语机械分词的一个重要组成部分,分词词典机制的优劣直接影响到中文分词的速度和效率。在分析了几种典型的词典机制优缺点的基础上,提出一种基于memcached的动态四字双向词典机制。该词典机制有效减少了文章分词过程中对词典的访问次数,同时具有维护方便及快速添加和删除临时词等优点,适合在Web上采用双向最大匹配算法进行中文分词。